上周三凌晨一点半，我蹲在出租屋的地毯上，对着对话框敲字，让大模型帮我写一段给楼下猫咖老板的道歉信——毕竟我家那只三花上周趁我开门取快递的功夫，窜到他店里掀了三罐金枪鱼冻干。结果打出来的草稿里，居然顺嘴提了一句“我家那只左耳缺了个小口子的三花”。我当时手里的冰可乐都差点洒在地毯上。
我啥时候跟它提过我家猫的耳朵缺个口子？
那些你以为它“记住”的东西，全是算出来的概率
很多人对大模型的第一印象，是它像个记性特别好的学霸，把所有见过的内容都存在脑子里，你问什么它都能从记忆库里翻出来给你。真不是。
它根本没有所谓的记忆。
你每打出来一个字，它的核心算法就在后台跑一次全量的概率计算：从训练阶段见过的几十亿份文本里，找跟你当前输入的上下文最匹配的内容，算出下一个字出现的概率高低，哪个概率最高，就优先输出哪个。整个过程就像你攒了半仓库从报纸、小说、聊天记录、论坛帖子里撕下来的碎纸条，有人问你问题，你就从堆里扒拉一堆看起来相关的纸条，拼出一段读起来通顺的话，根本不是你真的理解了这个问题的本质。
大模型从来没有真正“理解”过你说的话，它的所有输出，本质上都是概率计算的结果。就像我那次让它写道歉信，它根本没存过我之前跟它闲聊时提过的猫的特征，只是在训练时见过几十万份“给猫咖老板道歉”的文本，见过无数次“三花”“左耳缺口”“掀冻干”这几个元素在同一段上下文里出现，算下来顺着这个逻辑接内容的概率最高，才会顺嘴把这些细节写进去。
说起来有点可笑。我之前有个做新媒体的朋友，天天在大模型上吐槽自己的奇葩老板，还怕公司偷摸把她的聊天记录导出去当商业机密，天天提心吊胆的。其实她那些碎碎念，在模型里就是一堆浮动的权重数字，连个能单独拎出来的独立文件都算不上——这操心操的。
别信吹出来的“零成本智能”，它的算力贵到离谱
还有人觉得大模型就是一段写得特别精巧的小代码，跟你电脑上跑的Word、修图软件没区别，装在自己家电脑上就能随便用。真的太天真了。
你现在每在对话框里发一句话，背后是几千张专门用来做并行计算的GPU同时运转，电费、服务器折旧、带宽成本算下来，每生成一千字的内容，成本够你买两杯加了珍珠的冰奶茶。
之前有个在大厂做推理优化的朋友跟我吐槽，他们团队天天抠的细节，就是怎么把生成同样内容的算力成本砍下来1%——因为哪怕只降1%，一个月省下来的电费都够给整个团队发一次季度奖。现在大家用的所有能流畅跑长文本的通用大模型，核心框架都来自2017年那篇论文里提的注意力机制，说白了就是跟你看书的时候遇到重点句子会多停两秒一样：模型在算下一个字的时候，不会把所有之前输入的字都一视同仁，会给跟当前语境相关的内容更高的权重。就这么个看起来简单的思路，撑起来现在几乎所有的通用大模型。
我上次算过，我让它帮我生成三版去紫金山的露营攻略，那点算力成本，够我在山脚下买十套加烤肠的杂粮煎饼。
你吐槽的“模型瞎编”，根本不是什么bug
现在网上吐槽最多的，就是大模型总爱瞎编：编不存在的学术论文，编不存在的人名，编根本没发生过的历史事件。很多人觉得这是代码写漏了，有漏洞，只要把bug修了，模型就全对了。
真不是。
它从生出来那天开始，核心目标就从来不是“说真话”，是“说最符合上下文逻辑的话”。我上次问它南京有什么值得逛的独立书店，它给我列了个“老梧桐书店”，地址写在升州路的老小区门口，连老板喜欢给熟客泡桂花茶的细节都写得有鼻子有眼。我当时真的坐了二十分钟地铁过去找，沿着升州路走了两圈，晒得后颈发疼，才反应过来——这地方根本不存在。
模型幻觉不是程序出错，是算法原生的特性。为什么会这样？因为它在训练的时候，见过太多描写南京独立书店的文本，知道这类书店一般开在老城区，门口有梧桐树，老板爱泡桂花茶，那它顺着这些细节拼出来一个不存在的书店，在算法看来是完全合规的输出——就像你让一个从来没去过南京的人，看了一百篇写南京的游记，让他给你推荐书店，他也能编得跟真的一样，对吧？
现在大家在算法层面做的很多改进，比如加检索增强，说白了就是让模型在张嘴之前，先去真实的、经过核验的数据库里扒拉内容，把真实的信息和之前的概率计算结合起来，不是让它凭空从碎纸条堆里瞎拼内容。本质上还是在给它的概率计算套个缰绳，不让它顺着逻辑跑太偏。
上周跟那个做算法的朋友在老门东吃鸭血粉丝汤，他说现在行业里天天卷参数，卷模型规模，卷到最后都快忘了，当初最早做这个算法的人，初衷就是想让机器能听懂人说的大白话，不用人非得学机器的逻辑跟它对话。风卷着梧桐叶吹过桌角的时候，他夹了一块鸭肝丢给旁边凑过来的三花流浪猫，说你看，这算法其实跟猫差不多，你喂它什么内容，它就长成什么样子，从来不会凭空变出什么超能力。
作者|科技
排版|科技
审核|知知