我把大语言模型的聊天记录逐句拆完,才发现它的‘记忆’全是凑出来的

上周三熬到两点多,本来想让大语言模型帮我写个周末露营的装备清单。

结果它给我列了个“南极科考专用防寒帐篷”。

我盯着屏幕愣了三秒。

合着我上次跟它提我要去哈尔滨出差的事,它记混了?

说起来这大半年,我前前后后跟十几个不同版本的大语言模型聊过,从最早的只能接短句子,到现在能帮我改脚本、列旅行计划,踩过的坑能装半麻袋。很多人对它的印象还停留在“什么都懂的超级AI”,但真的拆碎了看,它的运行逻辑简单到有点好笑。

它根本不是在“想”,只是在算概率

很多人第一次打开对话框的时候都有过类似的错觉——这玩意儿怎么什么都知道?上到航天飞机的燃料配比,下到我家猫最近软便该喂什么药,答得头头是道,逻辑顺的像个读了一辈子书的老教授。

但你要是往深了挖,比如问它“你刚才说的这款处方猫粮,是哪个工厂生产的?”,它立马能给你编出来个连商标都没注册过的牌子,连客服电话都能给你凑的有模有样。

大语言模型逐词概率预测流程图
大语言模型逐词概率预测流程图

所有你看到的通顺句子,本质上都是它在算“接在这句话后面,哪个字出现的概率最高”。

举个最简单的例子,你输入“今天天气真”,它在训练的时候读过的几十TB公开文本里,统计出来接“好”的概率是72%,接“差”是18%,接“奇怪”是7%,剩下的杂七杂八的字凑3%。它根本不知道“好”是什么意思,也不知道窗外今天到底是晴是雨——它只是在无数本小说、新闻、网友发的帖子里,见过太多次“今天天气真好”的组合而已。

说穿了,它就是个读了全网所有公开文本的超级接梗王。我之前见过有人拿它模拟高考作文,得出来的分数比背了十年满分作文模板的学生还高。为什么?因为它太知道阅卷老师想看什么句子了。它根本不是自己“想”出来的立意,是把几十万篇满分作文的句子拆碎了,按概率拼到一起的。

真的。没有什么魔法。

那些你以为的“记忆”,全是临时凑出来的

很多人吐槽过,为什么我跟它聊了半小时,它就忘了我开头说的“我对百合花粉严重过敏”?上次我让它帮我推荐花束,聊到最后它给我推了个满是白百合的套餐,我盯着屏幕差点气笑。

大语言模型上下文窗口记忆边界示意图
大语言模型上下文窗口记忆边界示意图

它根本没有永久硬盘,也不会把你说的每句话都存到自己的“脑子”里。你每次跟它对话的内容,就摆在它面前的一张固定大小的临时草稿纸上——有的草稿纸窄,只能写一千个字,有的草稿纸宽,能写十几万字。

写满了怎么办?最开头的字就被新挤进来的内容顶出去了。它不是故意忘事,是真的没地方放了。我之前试过,跟它聊到第三十轮的时候,它已经把我最开始说的“我养的是三花英短”当成了“我养的是金毛”,给我推荐了一堆大型犬的磨牙棒,给我笑的差点把手里的冰可乐洒键盘上。

之前有人说大语言模型会“越用越懂你”,其实根本不是。你每次新开一个对话窗口,它就把之前跟你聊的所有事全忘了——就像你每次去楼下便利店买咖啡,遇到个记性不好的店员,上次你说你不要糖,这回来他还是给你加了满满两勺。不是他不想记,是他的脑子真的没地方存这些零碎的事。

别神化它,也别把它贬得一文不值

别神化它,也别把它贬得一文不值
别神化它,也别把它贬得一文不值

现在网上对大语言模型的评价基本走两个极端。要么说它再过两年就要取代所有白领,把写代码、写文案、做设计的人全炒了;要么说它就是个高级聊天机器人,说的话全是瞎编的,半毛钱用没有。

说实话,我现在用它最多的场景,根本不是让它写完整的文章或者方案,是帮我“扫盲”。比如我最近想了解一下家里屋顶装光伏的成本,之前查资料要翻二十个网页,看一堆带专业术语的参数表,头都大了。我就把问题拆成“我家100平的斜屋顶装光伏,大概要花多少钱,要避开哪些坑”,它给我列的条目,比我找小区里装过的邻居问的还全。

不过话说回来,你要是指望它帮你做专业决策,那纯纯是找错人了。比如你问它“我最近连续头疼一周该吃什么药”,它给你列的药方,你敢照着吃?上次我朋友问它类似的问题,它给推了个连孕妇都不能碰的成分,吓得我朋友赶紧把对话框关了去医院挂号。

我上周用它帮我改PPT的文案,把原本干巴巴的“我们的产品具备更高的处理效率”改成了“你之前要花3小时整理的报表,现在10分钟就能导完”——就这一下,我汇报的时候老板直接抬头看了我三秒,说这个点讲得不错。

说起来也有意思。这两年大语言模型的更新速度快到我都追不上,去年还只能写个两百字的小短文,今年都能帮我列视频脚本的分镜了。但我到现在还是觉得,它最厉害的地方,根本不是能写多少东西,是它能把那些普通人要花好几个月才能搞懂的知识,拆成你能听懂的大白话讲给你听。

昨天我又试了下,让它帮我算个给猫买罐头的凑单满减方案。

它算出来的金额,比我自己凑的还便宜两块七。

你看,就这点用处,其实就够了。

作者|科技

排版|科技

审核|阿辰

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:我把大语言模型的聊天记录逐句拆完,才发现它的‘记忆’全是凑出来的
文章链接:https://m.lfdjt.com/p/keji/a/19399.html