大模型算法：它只是在猜下一个词，为什么听起来像懂你

凌晨一点，我盯着屏幕上那行慢慢往外吐的字。

我问的是：“我妈做的红烧肉，为什么凉了之后更咸。”

光标闪了两下，答案一个字一个字地蹦出来。它先说盐分没变，是味蕾对温度的敏感度不同；接着扯到脂肪凝固、汤汁回渗。逻辑清楚。清楚得有点吓人。

可它到底是怎么做到的？这问题我从去年想到现在，越琢磨越觉得不对劲。

它真的只是在猜下一个词

先把最反直觉的事实摆出来：大模型算法的核心工作，是预测下一个词元出现的概率。就这一件事。没别的。

你把“今天南京的天气真”丢进去，它算出下一个位置上各个候选词各自有多大概率。“好”可能是零点六，“热”零点一五，“怪”零点零二……然后照着这个分布抽一个。抽完，把新词接上，再算下一个。循环往复。

听起来很蠢对吧。我一开始也这么觉得。

关键在于——为了把“下一个词”猜准，它被迫学会了一堆别的东西。要知道“红烧肉凉了更咸”后面该接什么，你得先懂盐、懂温度、懂舌头上的受体，起码得懂这些词在人类文本里怎么一块儿出现。这是个副产品极多的任务。

有点像让你每天猜一万次“下一句是什么”，猜错就扣分。猜上几个月，人情世故你大概也摸清了。

注意力机制，算法里最像人的那一块

2017 年那篇《Attention Is All You Need》出来之前，处理序列主要靠循环网络，一个词一个词往后传。慢，而且记性差。长句子的开头，读到结尾基本就丢了。

Transformer 换了个思路。它不再“顺着读”，而是让每个词同时去看句子里所有其他词，自己决定该看谁多一点。

打个不太严谨的比方。一屋子人开会，每人手里一份发言稿。谁的话对“我”重要，我就多听两耳朵，这就是注意力权重。句子里那个“它”指代谁？权重会告诉模型，往前面某个名词上多瞟几眼。

多头注意力更微妙——同一层里好几组“耳朵”并行工作。一组盯语法结构，一组盯指代关系，还有一组，可能盯着某种说不清的语用习惯。谁也不知道每一头究竟学到了什么。

这是大模型算法里最让人坐立不安、也最迷人的地方。说实话，我们能拿到权重矩阵，能画出热力图，但图好看不等于解释清楚了。中间那几十层到底在算什么，到今天也没个让人服气的答案。

几个被讲歪了的说法

“参数越多越聪明。”这话对一半。2020 年讲缩放律的那篇论文（Kaplan 等人）确实发现，参数量、数据量、算力跟损失之间有一条相当平滑的幂律曲线。可 2022 年 DeepMind 的 Chinchilla 工作又泼了盆冷水：不少模型其实是长得太大、喂得太少，反过来在数据上多下功夫，小个子也能打。参数从不是唯一变量。

“温度调高就更创意。”温度调的是采样时概率分布的陡峭程度。调低了，模型几乎只挑最稳妥的词，输出四平八稳；调高了，长尾词有机会被抽中，句子开始飘。但飘不等于有创意。多数时候它只是更容易胡说。这个旋钮，本质上管的是随机性，不是想象力。

“幻觉是 bug。”不太好这么说。模型的目标函数是“让下一个词更像训练数据里的下一个词”，它从来没被要求“不知道就说不知道”。一个永远倾向于给出流畅答案的系统，碰上知识盲区时，编造反而是阻力最小的那条路。所以后来的对齐工作里，教模型说一句“我不确定”，比教它多说几句难得多。

从 n-gram 走到今天，其实没几步

往回看，路不算长。

早年的统计语言模型靠数词频，看前两个词猜第三个，就这么点本事。后来有了词向量，词变成空间里的点，语义开始有了距离这个概念。2017 年 Transformer 出现，次年 BERT 和 GPT 分道扬镳——一个专攻理解，一个专心生成。2019 年 GPT-2 让人嘀咕“这玩意儿有点意思了”，2020 年 GPT-3 把“上下文学习”直接摆上台面：不用微调，给几个例子，它就照做。

再往后就是大家更熟的那段。指令微调、人类反馈强化学习、工具调用、多模态。算法骨架没怎么变，变的是怎么把它调教得肯听话。

有人问过我几个问题

“它是不是在数据库里搜答案？”

不是。起码不全是。知识被压进那几千亿个参数里，是一种模糊的、分布式的记忆。这也是为什么它能把两个真实存在的人名，缝合到一段根本不存在的事迹上。检索增强能让它去翻外部资料，但那是外挂，不是它本身。

“那我想学大模型算法，从哪下手？”

我的建议可能有点反常识——先别碰 Transformer 的代码。自己动手写一个字符级的 n-gram 模型，跑通一遍，看着它生成的句子胡言乱语。你会立刻明白语言模型的本质是什么，也明白后来那些复杂结构，到底在补哪个洞。

“它会一直这样下去吗？”

不知道。真的不知道。自回归这条路已经走了很久，也有人在试别的方向。但眼下，这套“猜下一个词”的算法，依然是绝大多数你叫得出名字的模型的地基。

凌晨那会儿，我最后问了它一句：你觉得你会一直只是猜下一个词吗。

它回：这个问题本身，可能也是被猜出来的。