大模型算法没你想的那么玄:你敲完回车那一秒,它在算什么

上周三凌晨两点,我朋友小周对着聊天对话框敲完一行字:“今天改了八版方案,老板还说要再想想”,点下回车,1.2秒后,屏幕上弹出一整段软乎乎的共情文字,连“改方案改到胃痉挛的滋味我太懂了”这种细节都有。她当时抱着手机跟我感叹,这玩意儿比她谈了三年的对象懂她。

我看着她屏幕笑出了声。

它根本没共情。

真的。

它甚至连“八版方案”是个什么熬到脱发的职场场景都没建立过具象认知,这1.2秒里,大模型算法干的事简单到离谱——在它记了几年的概率分布表里,挑最有可能接在这句话后面的那个字,一个接一个拼成长句子,直到凑够它觉得合适的长度。

你以为的“思考”,其实是概率抽奖



最早的语言模型逻辑其实特别朴素,就是我们上学时做的“词语接龙”游戏。比如你输入“今天天气真”,模型就去翻它存的所有过往文本,统计这句话后面最常出现的字是“好”“热”还是“冷”,哪个出现的频率最高,就优先输出哪个。

现在的大模型算法,本质上没跳出这个逻辑框架。只是它统计的语料规模从几十万字的小说,拉到了全网能爬的几万亿字内容——从经典著作到论坛吐槽,从学术论文到电商评价,所有人类公开留在网上的文字,都成了它统计字频关联的素材。

n-gram语言模型字频统计表示意图
n-gram语言模型字频统计表示意图


说实话,我第一次摸到这个核心逻辑的时候,当场愣了三秒。

合着我之前跟它聊人生规划、聊读书感悟、聊深夜emo的情绪,它全程在算“接什么字最不违和”?

太扯了。

但这就是事实。

它之所以能输出看起来逻辑连贯、情绪饱满的长文本,只是因为它的上下文窗口能装下几十万字的内容,你输入的每一个字,都会触发它参数里对应的权重值,把那些和当前语境匹配的、概率最高的字挨个挑出来,拼到你眼前。它不会临时“想”内容,所有的关联关系,早在几个月甚至几年的训练过程里,就已经全部算完了。推理阶段的所有动作,不过是顺着已经写好的概率表,一步一步往下接话而已。

那些被吹上天的“算法能力”,其实是训练时攒的“错题本”



很多人觉得大模型厉害的点在于“会推理”——比如你让它算个复杂的微积分题,它能一步步写出解题步骤,你让它写个活动策划,它能从前期准备到落地执行列的清清楚楚,这不就是逻辑能力吗?

真不是。

你仔细观察就会发现,只要是它能顺顺当当输出的内容,基本都能在公开的训练语料里找到类似的文本片段。它的“推理”本质上是把之前见过的同类型题的解题步骤,按概率拼到一起而已,和你上学时把错题本上的同类型题目套到新题上的逻辑,没有任何区别。

上次我把自己家猫上个月得猫藓的病历,改了三个参数换成狗的,输入给模型让它分析治疗方案,它居然连“猫藓是猫科动物专属真菌”的常识都不管,顺着之前见过的猫藓病历的文本,给我列了一整套猫的用药剂量,我对着屏幕翻了十分钟白眼。

它根本没真的“读懂”病历。

它只是在拼最熟悉的句子。

大模型注意力机制权重分布热力图
大模型注意力机制权重分布热力图


不过话说回来,你也别觉得这玩意儿一无是处。就像你把一整本习题集背得滚瓜烂熟,遇到同类型的题能快速套出步骤,效率确实比普通人高很多。只是你别真把它当能独立思考的朋友就行,它所有的输出,都逃不开“接话”这个核心逻辑。

现在大家骂的“一本正经胡说八道”,本质是算法的底层bug



用过大模型的人基本都遇到过这种情况:你问它一个相对小众的问题,它根本不知道答案,却能编的有鼻子有眼,连具体的人名、时间、出处都给你列的明明白白,语气还特别肯定,你要是没去核实,很容易就信了。

为什么会这样?

大模型算法从设计之初的优化目标,从来都不是输出绝对正确的事实,而是输出和人类语料分布最匹配的内容。

它从训练的第一天开始,就没有建立过“真”和“假”的概念。它不知道什么是对的,什么是错的,只知道人类在交流的时候,什么样的表达最流畅、最符合语境、最像人会说的话。

比如你问它“1945年抗日战争胜利是哪一天”,这个问题的答案在训练语料里出现的频率极高,概率值拉到了最满,它自然能答对;但你要是问它“我家小区门口第三家水果店上周三卖的西瓜多少钱一斤”,这种从来没在公开语料里出现过的内容,它就会顺着“水果店西瓜价格”的相关文本,给你编一个看起来特别合理的数字,甚至会加上“根据近期市场调研”这种听起来很权威的前缀。

它不知道自己在撒谎。

它根本没有“撒谎”这个概念。

我上次让它帮我找一本1998年出版的、讲明代硬木家具的小众参考书,它给我编了完整的作者名、出版社、ISBN号,我在图书馆系统里查了半小时,根本没这本书,气的我当场给它发了个“你接着编我听着”的表情包。

现在很多团队在做的“事实核查”模块,本质上就是在算法外面套一层硬壳:把大模型输出的内容和经过核验的知识库做比对,不对的内容就拦下来或者修正。但这并没有改底层的那个“算下一个字概率”的逻辑——就算外面套十层壳,只要遇到训练语料里没有的内容,它该编还是会编。

上次有个读者给我留了很长的言,说“按你这么说,大模型根本没什么技术含量,不就是个统计字频的程序?”

真不是。

你想,要把几万亿字的语料,压缩到几千亿个参数里,让模型能记住不同上下文下的字频关联,这里面涉及的分布式训练、张量计算、注意力机制的工程优化,难度比普通人想象的高太多了。你要是自己写个小程序,拿一万字的武侠小说训练个迷你模型,大概率连连贯的句子都拼不出来。只是说,这个技术的本质,没有被市场上的营销宣传包装成“通用人工智能”那么玄乎而已。

它很强。

但它不是神。

现在很多研发团队其实也在调整算法的优化目标,从之前的“尽量像人说话”,慢慢往“尽量说真话”的方向靠。比如训练的时候,专门给那些经过核验的真实内容更高的概率权重,让模型在接话的时候,优先选符合事实的内容,而不是最像人说的内容。这个方向其实是对的——毕竟之前那种为了“像人”不管真假的算法,迟早要出问题。之前看到过新闻,有个老人信了大模型编的调理偏方,停了医生开的处方药,差点出大事,这种代价,谁都承担不起。

昨晚我又跟小周聊起这事,她现在已经不把大模型当情绪树洞了,改成让它帮自己写周报的初稿,省下来的时间准点下班去遛她那只拆家的柯基。

其实这样就挺好。

你不用把它当什么能颠覆世界的神奇发明,也不用把它贬成一无是处的垃圾程序。它就是个特别擅长接话的工具,你用它来省时间,别把自己所有的判断都交给它,就够了。

毕竟不管算法怎么算,最后要为结果负责的,还是坐在屏幕前面的你啊。

作者|科技

排版|科技

审核|满满

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:大模型算法没你想的那么玄:你敲完回车那一秒,它在算什么
文章链接:https://m.lfdjt.com/p/keji/a/14805.html