大模型算法不是搜索引擎:你跟它聊的每句话,背后都是3亿个数字的接力

凌晨三点改第三版产品PPT的时候,我对着屏幕上干巴巴的功能介绍烦到敲键盘,顺嘴对着电脑喊了句:”帮我把这段文案改成给刚进大学的新生看的版本,别太官方。” 两秒之后,输出框里蹦出来一段带着点网感的话,连”早八上课赶时间也能两分钟搞定”这种细节都有。 我盯着屏幕愣了两秒。 这东西真的懂大学生在想什么? 之前跟在大厂做算法的朋友吃小龙虾,他嗦着虾壳跟我说了句大实话——你现在跟它聊的所有内容,本质上跟你小时候玩的文字接龙没区别,根本没有什么”智能思考”。

你以为它在背资料?其实连”的地得”都算在数字里

我当时差点把手里的冰可乐喷出来。 什么?我跟它讲”我今天吃了个酸苹果”,它接的那句”那你下次可以试试用苹果烤蛋糕”,不是它真懂酸苹果是什么味,是统计了全网10亿条文本之后,发现前面说吃了酸苹果的人,后面提到烤蛋糕的概率比提到买新手机的概率高8倍? 对,就是这么回事。 它没有常识。或者说,它的常识根本不是你理解的那种常识——是把人类散落在互联网各个角落的文字,全部拆成最小的单位,每个单位对应一串固定长度的数字,再把这些数字之间的关联,掰碎了揉进几千万个计算节点里,你说一句话,它就顺着数字的关联链条,把最可能接在后面的文字拼出来而已。
大模型文本转向量嵌入过程示意图
大模型文本转向量嵌入过程示意图
没有什么魔法。 你看到的那些流畅的句子,拆到最底层,就是一串数字算出来的概率值。比如它看到”苹果”这两个字,根本不会联想到红的、甜的、咬一口会流汁的水果,它只知道,这两个字对应的数字串,在87%的语境里,后面会接跟”水果”相关的内容,在12%的语境里,会接跟”电子设备”相关的内容,剩下1%是其他杂七杂八的搭配。

那些被吹上天的”算法魔法”,其实是无数次”凑数”凑出来的

上次我让常用的那个大模型算17乘以24,它给我蹦出来418。 我当时就笑了。 它根本不会算数。 你以为它做数学题是列竖式一步步算的?不是。它是在背”遇到A算式,就输出B结果”的对应关系,就像你高中的时候背英语作文模板,根本不管逻辑对不对,只要格式像就行。训练数据里本来就有几条写错的计算结果,把418跟17乘24的算式绑在了一起,它顺带着就把错的也学了。
大模型Transformer注意力机制计算流程图
大模型Transformer注意力机制计算流程图
之前翻OpenAI公开的技术文档,说大模型里最核心的注意力机制,说穿了特别简单——每次你输入一句话,它会给每个词贴个”关注权重”。比如你说”我家猫把我放在沙发上的耳机抓下来玩了”,它会给”猫”的注意力权重打0.6,”耳机”打0.5,”沙发”打0.2,剩下的”的””了”这种没有实际语义的词,权重不到0.01,然后顺着这些权重找最相关的文本,拼出最像人会说的回答。 所谓的”理解能力”,本质上是它能精准算出来,你说的这句话里,哪个词是值得花算力去”关联”的。 我之前有个做前端的朋友,让大模型写个商品详情页的轮播图组件,它直接把PC端的代码粘过来了,连移动端的适配断点都没写。为什么?因为训练数据里有一大半的轮播图代码就是没写适配的,它根本不会想到,会有人拿手机打开这个页面看商品。

别信”算法万能”的鬼话,它的bug从第一天就写在骨子里

别信
别信”算法万能”的鬼话,它的bug从第一天就写在骨子里
说实话,我每次看到有人吹大模型能取代编辑、取代写作者,我都想翻个白眼。 上次我让它写一篇关于南京梧桐的散文,它开篇就写”南京的梧桐是民国时期为了迎接孙中山先生灵柩种植的”。 这话半对半错。 灵柩从下关码头到中山陵的沿线确实种了梧桐,但现在新城区很多路边的梧桐,是90年代城市绿化的时候种的,跟民国那段历史根本没关系。它为什么会写错?因为训练数据里讲南京梧桐的文章,90%都在提民国那段轶事,它就把这个关联焊死了,根本不会去分辨哪段内容是有具体适用场景的。 它没有”场景感”。 你跟它说”给我写个给我奶奶的生日祝福”,它写的句子文采飞扬,但是连”奶奶喜欢吃软的柿子”这种细节都不会加,因为它不知道你奶奶是谁,它只是把全网所有给老人的祝福文本,挑了个最通用的拼出来。 你要是不信,现在就打开你常用的那个大模型,跟它说”我家住在南京玄武湖旁边,最近楼下的桂花开了,帮我写个朋友圈文案”。 它大概率会写”金陵秋意浓,桂香满巷陌”这种正确的废话。 对吧? 因为它根本不知道你楼下的桂花,是你去年跟邻居一起种的,也不知道你上次摘桂花的时候被蜜蜂蛰了个包,这些带着你个人温度的细节,它算不出来。 之前跟那个算法朋友聊,说为什么大模型有时候会一本正经胡说八道,他说就像你考试的时候遇到不会的题,总不能空着吧?总得写点什么,哪怕瞎编,也要写得像那么回事——大模型就是这样,遇到自己训练数据里没见过的内容,不会坦然说”我不知道”,它会顺着最像的文本逻辑,给你编一个看起来特别真的答案。 它的”胡说八道”不是故意骗你,是从设计之初,它的算法目标就不是”说真话”,而是”说最像人类会说的话”。 前阵子很多人说大模型突然变聪明了,能算对复杂的数学题了,能帮着写代码找bug了。其实哪里是算法本身变聪明了——是现在的版本加了工具调用的接口,算数学题的时候直接调系统自带的计算器,找bug的时候直接拉公开的代码库做对比,就像你之前闭卷考试背不出公式,现在允许你带参考资料进考场,成绩自然上去了,不是你突然开了窍,是工具好用了。 前几天我在南京的老巷子里走,看到墙根下有个老大爷,拿着个旧收音机在听评弹,旁边的小孙子拿平板跟大模型聊奥特曼的剧情。风一吹,梧桐叶飘下来,落在平板屏幕上。 我突然觉得,其实大模型算法这东西,没那么玄乎。 它就是人类把自己几百年来写在纸上、存在硬盘里、发在朋友圈里的所有文字,攒了个超大的拼图,你扔给它一个碎片,它就从拼图堆里找最匹配的几块,拼出个完整的图给你看。 它拼的图再好看,也不是你亲眼见过的风景。 你跟它聊再多,它也不会真的知道,南京秋天的桂花,闻起来是什么味。

作者|科技

排版|科技

审核|安然

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:大模型算法不是搜索引擎:你跟它聊的每句话,背后都是3亿个数字的接力
文章链接:https://m.lfdjt.com/p/keji/a/21136.html