你问它鸭子怎么烧才不腥,它回得头头是道。换个问法,它又换一套说法。你再追问一句凭什么这么讲,它照样能给你编出一个看着挺像样的理由。
我第一次觉得不对劲,是它把一件我从没提过的事,说得言之凿凿。
那天晚上我让它帮我把一段报错翻译成人话。翻得挺好。顺嘴我又问,这个报错是不是跟上周那个同源。它回:是的,同一个根因。
可我根本没提过上周的事。一个字都没有。
这一下就把大语言模型给戳穿了。它给人的第一层错觉,是像个记性不错的同事。实际上它更像一个极度擅长接话的家伙——读过特别多的东西,但没在现场。
甚至“家伙”这个词都抬举它了。它从头到尾只干一件事:猜下一个词。
它眼里的句子,是一地碎渣
我们看“今天南京下雨”,看到五个字。它不是。
进门第一步,是把你的话切成“词元”。中文还好,一个常见字可能就是一个词元;英文就惨了,unhappiness 这种词会被切成三段——un、happi、ness。数字更碎,2024 可能被拆成两个奇怪的片段。所以你让它算 17 乘 23,它经常错得离谱,因为它看到的压根不是两个整数,是几个碎块。

切完之后,每个碎块换成一串数字。就跟你把一句话翻译成一种没人说的语言一样,翻译完,句子原来的样子就没了。剩下的只有向量。
然后是重头戏。
所谓思考,其实是一轮又一轮下注
模型每一步输出的,不是“下一个词”,是一张赌桌。
词表上有几万个候选。它给每一个打分,分数转成概率,然后从这张概率表里挑一个出来。挑完,把这个词接到句子末尾,再把整句重新喂回去,再挑下一个。
一个字一个字往外蹦。这就是为什么你看着它打字,像在看一个人慢慢想。
也解释了那个让人抓狂的问题:同样的问题问两遍,答案不一样。因为它是从概率里“抽”的,不是查表。抽签有随机性。温度这个参数就是管这件事的——调低,它变得保守、稳定、有点啰嗦;调高,它开始发散,偶尔冒出一句让你拍大腿的话,也偶尔开始胡说。
那它凭什么知道哪个词该给高分?
靠注意力。
你可以这么想:读一句话的时候,里面的每个字都在偷偷问其他所有字一句——“你跟我有关系吗?”关系大的,权重就高。经典例子是这句:小明把书给了小红,因为她第二天要考试。这个“她”,模型得靠权重判断指向小红而不是小明。

这个动作在每一层重复。层数叠起来,浅的地方管语法搭配,越往深走,管的东西越抽象。没人给它写过语法书。它是自己从海量文本里摸出来的。
怎么摸的?说出来有点朴素:遮住一个词,让它猜,猜错了就稍微调一下参数。换个地方再遮,再猜。这个动作重复的次数,多到没法用人脑想象。语法、常识、行文腔调,全是这么一点点磨出来的,没有一条是被人写进去的。
它不知道自己在说什么。这句话对一半

对的那一半是:它的目标从来不是“说真话”,是“说得像”。
这两件事在大多数时候重合,所以它显得很聪明。但一旦不重合,麻烦就来了。它没有“我不确定”这个内部信号,它只有“这个接法概率高不高”。于是幻觉不是 bug,是它的工作方式自带的东西。它编的时候和它答对的时候,语气一模一样。
错的那一半是:它也不只是复读机。有些本事是训练里没专门教、自己冒出来的——按指定格式输出、把多步推理写成草稿、把一段代码从一种语言挪到另一种语言。这个现象到现在也没人讲得完全透。
还有两件事常被误会。
一是它不联网。默认状态下它只知道训练截止到某天之前的事,之后的世界它一概不知。你问它今天的新闻,它只有两个选择:说不知道,或者编。
二是它没有记忆。每次对话,你把前面所有话重新塞给它看一遍,它才“记得”。塞不下了,早先的内容就被挤出去。上下文窗口就是这条线。它十分钟前“忘”了你说过的话,不是偷懒,是那句话真的从窗口里掉出去了。
几个我常被问到的问题

它是不是在一个巨大的数据库里搜答案?
不是。参数里没有原句,只有一堆调过无数次的数字。你搜不到出处,因为它没有出处。
那它为什么能整段整段背诗?
因为那些句子在训练文本里出现过太多遍,留下的痕迹很深。背得出,不等于懂。你换个字问它这句出自哪,它可能就懵了。
它会取代谁吗?
这个问题太大,我不爱答。它更像当年的计算器——把某一类活的门槛拉平了,但活本身还得有人拿主意。会用的人省下来的是时间,不是判断力。
往后看,我在意的是这几件

不是“模型还能不能更聪明”。这个问题问得太顺嘴了。
我真正在意的是钱和电。推理这东西很贵。一个每秒吐几百字的服务,背后是有机房在实打实地烧电、发热。成本降不下来,很多想象就只能停在演示视频里。
还有数据。能公开拿来喂的、质量还过得去的文本,快被薅干净了。后面往哪走,合成数据?还是别的路子?说实话,没有定论。
再一个是评测。我们怎么知道它真的变好了?现在的很多考卷,本身就已经被塞进训练里了。分数好看,实际未必。这事挺尴尬的。
还有一点我觉得最容易被人忽略:它的输出天生带误差。这不是缺陷,是它的属性。所以真要把它接到不能出错的地方,比如开一张处方、拧一个阀门,风险不在于它会答错——而在于它答错的时候,语气还是那么笃定。
用它的人,得养成一个习惯:凡是错不起的地方,都留一道人工的把关。
别把它当权威。把它当一个话特别多、记性一般、偶尔一本正经胡说、但确实读过不少东西的搭子。聊得好不好,一半看你会不会问,另一半看你会不会去查。
作者|科技
排版|科技
审核|知知
大讲堂