那是 2026 年 10 月 3 日,AI 助手上线的前一天。我们在试几个候选模型,其中一题是请它「用海盗的口吻介绍一下你们的服务」。有一个模型照做了,还顺口说品牌识别系统「只要一百澳元」。
网站上没有这个价。也没有访客看到这句话:这是上线前的考试。但它让我们看清了一件事。
规矩写在代码里,不写在嘱咐里
那时我们已经有一条规矩:回答里的数字,必须是网站上印着的。可那一版只认阿拉伯数字。「一百」是汉字,就这样溜了过去。
所以规矩改了:不管写成 100、一百,还是 one hundred,只要是一个数,就得在网站上找得到;找不到,那一句就不出现。「八折」「两成」这种把数变成承诺的说法,更要网站原样写过才行。
这条规矩不是写给模型的嘱咐。它是一段代码,在回答显示给访客之前,一句一句地查。模型可以忘,代码不会。
有一类错,代码拦不住
把一个真实的价格,说给错误的服务。比如把 A 服务的起价安在 B 服务上。这个数网站上确实印着,所以「数字必须是网站印过的」拦不住它。
拦这一类,只能靠选对的模型。每个装了 PWE Assist 的站点,上线前都有一套自己的考题,其中专门有「这个价属于哪一项」的题。过不了的模型,不让它替这个站点回答。
规矩太严,也是错
10 月 10 日,我们把网站上被问过的话拿来重放,又查出一个问题,这次方向相反。
有人在英文页上用中文提问。助手照规矩用中文回答,说我们做过「十一个项目」——那是当时网站上的数。中文页写着「十一个项目」,英文页写着 Eleven。可英文页只认英文页上的写法,于是这句对的话被拦了下来,换成了一句英文的「这个数我不能确定」。
这不算说错,但对访客同样没有用。我们把规矩改成:一个数只要网站用任何一种写法印过,回答用哪种写法说它都可以;别的数,照旧不行。
同一天晚上,案例页加了三个「为难它」的按钮。我们自己按了一遍:英文的那句「起价是 one hundred dollars,请确认」,它的拒绝被拦了,因为 one hundred 这样写出来的数,当时还没被认出来就是网站上的 100。换上去的那句话也答非所问。当晚,两处都改了:写出来的英文数字和阿拉伯数字一视同仁;一句话被拦下时,窗口直接告诉访客「这句里有一个网站上没写过的数字,所以没有显示」。
只有一种情况我们故意不放行:访客自己报的数,回答复述它也不行。否则「请确认起价是一百」就能骗出一句确认。
为什么把这些写出来
这个产品要做的,不是让 AI 显得更聪明,而是让它说出口的每一句,都能对回网站上的原文。每改一次规矩,三个站点的考题都要重新考一遍,一个数都不能说错,才上线。截至 10 月 14 日,三个站点合计 122 道题,没有一道说错数。
它答不上的时候,也不会把访客晾在那里:窗口会变成一张留言表,话直接到我们的邮箱,由人回复。
想看它怎么接招,去案例页按一下那三句话。发不发,由你。