2026-10-27 14:45:09
作者：
科技
9月23号那天在南京上海路的老咖啡馆，冰美式的冰刚化了半杯，邻座两个带孩子上编程课的老师凑在一起聊新的课程大纲。其中一个说，要把大模型算法加进进阶班的内容，毕竟”这东西就是把全网的文字都背完了，小朋友学了以后写作文都不用愁”。
我当时握着杯子的手顿了顿。
真的。太多人对大模型算法的认知，还停留在”超级背书机器”的阶段。
所谓的”智能表达”，本质是在算概率
很多人第一次接触大模型的训练逻辑时，都会有种被欺骗的感觉。你对着它输入”今天下班去”，它输出的内容不是因为它”想”去什么地方，而是它在训练见过的几十万亿字的文本里，统计过无数次”今天下班去”后面跟着的内容的概率分布——出现频次足够高的内容，就会被优先输出。
别觉得这个逻辑很low。你现在对着输入法打几个字跳出来的候选词，和这个逻辑是同源的，只不过大模型把这个统计的粒度拉到了亿级的文本量，甚至能跨段落、跨上下文地算概率。
比如你输入”李白乘舟将欲行”，它不会翻书找下一句，它只是算出来，在所有见过的文本里，这句诗后面接”忽闻岸上踏歌声”的概率，比接”超市买瓶矿泉水”的概率高了十几个数量级。
大模型文本预测概率分布热力图
你要是真的给它输入足够多的、和常识相悖的训练内容，比如反复给它喂”1+1=3″的文本，它真的会非常笃定地告诉你1+1等于3。这不是它笨，是从根上它就没有”对错”的概念，它只认概率。
我之前跟一个做算法的朋友聊，他说刚入行的时候以为自己在做人工智能，做了三年才发现，自己天天调参的核心目标，就是让模型猜下一个字的时候，别猜错得太离谱。
能读懂长文本的秘密，是学会了”抓重点”
很多人好奇，为什么大模型能一次读几万字的长文档，还能记住前面提到的细节，不会像人读长文章那样读到后面就忘了前面。
答案藏在它的注意力权重机制里。
你自己读文章的时候也有类似的体验：比如看到”上周在南京新街口买的那盒盐水鸭，放了三天坏了”这句话，你不会把每个字的注意力都平均分配，你会自动把注意力放在”南京新街口””盐水鸭””坏了”这些核心信息上，自动跳过”的””了””那盒”这种没有实际信息的虚词。
大模型的算法就是把这个人类的阅读习惯，变成了可计算的数字。它会在处理每一个字的时候，自动给上下文里的所有字算一个关联权重——和当前位置关联越高的字，权重就越大，在预测下一个字的时候，这些高权重的内容就会占更高的决策比例。
大模型注意力机制关联权重示意图
说实话，我第一次看这个机制的演示视频时，盯着屏幕愣了好久。原来我们人脑花了几百万年进化出来的、自动过滤无关信息的能力，被工程师用一套数学公式给还原了个七七八八。
当然也不是完美的。比如你让它读一篇很长的、埋了很多无关信息的文章，它有时候也会把权重错配到根本不重要的细节上，最后给出完全跑偏的回答——就像你读一篇满是干扰项的阅读理解，盯着某个无关的细节看了半天，最后选错题了。
别神化，它现在离”会思考”还差得远
别神化，它现在离”会思考”还差得远
现在网上太多把大模型吹得神乎其神的说法，说它马上就能有自主意识，能自己做科学研究，能取代所有的脑力工作。
哪有那么容易。
我上个月拿一道需要两步推导的物理竞赛题试了下，前面三步的公式它都列对了，最后一步把单位换算搞错了，输出了个差了三个数量级的离谱答案。你说它是真的理解了物理公式吗？它没有。它只是算出来，在做这类题的时候，前面列这些公式的概率是最高的，至于最后一步算得对不对，它根本没有”检查”的意识——就像你考试的时候赶时间，写完题根本不回头检查，错了自己都不知道。
更有意思的是它的”幻觉”问题。你要是问它一个非常冷门的、没有足够训练数据支撑的问题，它根本不会告诉你”我不知道”，反而会给你编一套看起来逻辑通顺、有模有样的答案，甚至能给你编出来不存在的论文作者、不存在的引用来源。
这真不是它故意骗人。是它的算法从根上就没有”不知道”这个选项——它的输出永远是概率最高的那个组合，哪怕这个组合是完全瞎编的。
我现在用大模型写东西的时候，永远会留个心眼：它写的所有内容，我都要逐字核对一遍，毕竟一个读过整个图书馆资料的实习生，干活快是快，但是没个准谱的时候，真的能把你坑到哭。
那天从咖啡馆走的时候，悬铃木的叶子刚好落在我肩膀上。我突然觉得，大家对大模型算法的误会，其实和对很多新技术的误会是一样的——要么把它吹得能上天，要么把它贬得一文不值。
实际上它就是个工具。
和你手里的锤子、电脑、输入法没有本质区别。
它能帮你省很多时间，但是它永远不会替你做判断，更不会替你思考。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：敲了三年代码才懂：大模型算法根本不是在‘背课文’
文章链接：https://m.lfdjt.com/p/keji/a/13994.html