把大语言模型关在离线环境里,我才看清它藏了多少破绽

上周三凌晨两点半,整层实验楼的灯都灭得差不多了,就我工位那盏台灯还亮着。 为了测离线环境下的模型表现,我半小时前拔了工位上所有的外网网线,连路由器的电源都给拔了。屏幕上的对话框安安静静停在输入状态,我本来想敲那句刷到过八百遍的问题——“你觉得未来会有多少工作被你取代”,结果手滑,把打了一半的半句吐槽直接发了出去:“你刚才连着外网的时候,是不是偷偷记了我输入框里没发完的半句话?” 发出去我就笑了。我明知道它根本没有“偷偷记东西”的意识,甚至不知道网线被拔了是什么意思。

你以为的“智能”,其实是翻了千万本旧书的记性

很多人第一次用大语言模型的时候,都会被那种“对话像活人”的感觉惊到。你说半句,它能接下半句,你提个需求,它能给你列得整整齐齐,恍惚间真的会觉得屏幕对面坐了个博古通今的聪明人。 但真相说出来挺扫兴的。它从被训练出来的那天起,就没有“独立思考”这回事。整个训练过程,就是把过去十几年散在公开互联网上的所有人类文字——论坛上吵了几百楼的吵架帖,学术论文的公开摘要,网络小说没写完的番外,外卖平台上用户写的长差评,甚至是各个学校官网的招聘启事——全部塞到模型的权重参数里,教它一件事:看到前面一串字的时候,算出来最符合人类表达习惯的下一个字,到底是什么。
大语言模型逐字预测下一词的流程示意图
大语言模型逐字预测下一词的流程示意图
举个最直白的例子。你问它“今天中午吃什么”,它根本不知道你楼下有几家面馆,也不知道你上周连吃了三顿黄焖鸡已经吃腻了,更不知道你今天早上称体重发现涨了两斤得少吃点。它只是把网上所有人类被问到这句话时给出的回答、对应的语境、大家普遍觉得合理的选择,揉成一团概率云,从里面挑出最顺、最不容易被人挑出错的那句给你。 我之前做测试的时候,曾经喂给它一段我自己写的、从来没上传到任何公开平台的实验草稿——开头第一句是“上周在实验室测模型的时候,发现它对带方言的句子识别率特别低”。它给我接的下半句,居然是我三年前写在私人笔记本里、从来没给任何人看过的吐槽:“毕竟它从来没听过南京大妈在菜市场砍价的语速”。我当时鸡皮疙瘩都起来了,愣了半天才反应过来:我之前在一个公开的技术论坛回帖里,写过几乎一模一样的开头,关于南京方言、关于模型识别率的那部分内容,早就被它吃到训练数据里了。

那些被吹上天的“超能力”,一半是我们自己脑补的

刷短视频的时候总能刷到离谱的宣传——说这东西能自己写代码救濒临倒闭的创业公司,能自己写论文拿奖学金,能帮人搞定所有复杂的工作。真上手用过的人都知道,它犯的错有时候离谱到你不敢信。 比如你让它算17乘以24,它可能一本正经给你报个389,错得毫无波澜。它根本不会算数学。它只是知道“17乘以24”这串字符后面,在过往的所有公开文字里,最常跟着的结果是什么。
大语言模型生成内容出现事实错误的真实截图
大语言模型生成内容出现事实错误的真实截图
说实话,我上次给一个开社区生鲜店的朋友演示,他本来以为这东西能帮他写全套的门店运营方案。结果我输完他的店的基本情况——主打老小区的生鲜配送,周围三个大型社区——模型给的方案里,把他的核心竞品写成了三年前就已经关门的连锁超市,连他主打的“当日现摘蔬菜免费送上门”的服务,都给改成了预制菜礼盒团购。他当时脸都绿了,说这东西还没他店里的收银小妹靠谱。 很多人觉得模型“聪明”,其实是我们自己在给它补逻辑。它说的话里如果有半句是对的,我们就自动把剩下的半句错的给圆上了,就像你跟一个记性特别好但经常走神的朋友聊天,他说的话一半是蒙的,你因为觉得他靠谱,就自动把前后的逻辑顺完了。 它不撒谎。 它只是不知道自己在说什么。

我把它断网三天后,才发现最该警惕的根本不是“它要取代人”

之前为了测离线模型的能力边界,我把装在旧工作站上的模型彻底断网跑了三天,没接任何外部的实时数据更新。刚一开始我还挺震惊的,不管是问它怎么修水龙头漏水,还是怎么写一封给客户的道歉信,它都能给我答得头头是道,逻辑顺得挑不出错。 到第二天晚上,我问它“现在最值得关注的科技方向是什么”,它给的答案,居然是2021年的时候全网讨论烂了的元宇宙。我突然反应过来,因为断了网,它接触不到新的内容,所有的记忆都停在训练数据截止的那个时间点,就像一个被冻在时间胶囊里的人,对外界正在发生的事一无所知。 到第三天,我让它帮我润色一段实验记录,它给我改的句子越来越像十年前百度知道上的那种官方回答——每一句都正确,但是没有任何活人会带的细节。它会把“上次测模型的时候它把我写的实验步骤记错了,害得我白跑了一下午”改成“本次实验过程中存在模型记忆偏差,导致实验效率出现非预期波动”。你读着觉得挺专业,但是完全看不到那个白跑一下午的人站在走廊里喘气的样子。 我那时候突然觉得,之前全网吵的“模型会不会取代人”,其实是个有点偏的问题。真正该警惕的,根本不是它会不会抢你的工作,而是我们自己用着用着,就慢慢习惯了拿它的输出当模板。 比如你本来想发个朋友圈,写的是“今天下班路上买的西瓜特别甜,籽少,风一吹特别舒服”,结果你先把这句话丢给模型润色,出来的是“傍晚的风裹挟着夏末的余温,切开的西瓜淌着清甜的汁水,消解了整日的疲惫”。你读着觉得挺顺,但是发出去之后,没有一个朋友能从这句话里看出来,你当时因为西瓜太甜,站在路边啃了半块,差点赶不上最后一班地铁。 上次我帮我表妹改她的大学申请文书,她本来写的是“高中的时候我跟着外婆在菜市场帮人杀过鱼,手上的鱼腥味三天都洗不掉,那时候我就想研究怎么让菜市场的鱼摊排水不堵”,结果她之前用模型改的版本,把这段全删了,改成了“我从小对公共空间的基础设施建设抱有浓厚兴趣,参与过社区公共环境优化的实践项目”。我当时看着那段话差点背过气去。这哪是写她自己的经历啊,这是把一个活生生的、带着鱼腥味的故事,给磨成了没有任何棱角的通用模板。 上周六我下班的时候,又路过楼下的水果摊,老板给我挑了个最熟的西瓜,我抱着瓜坐在电动车上,突然想起实验室里那个断网的模型。 它永远不会知道,夏天的西瓜切开的时候,那声脆响有多好听。 它也永远不会知道,鱼摊的排水口堵了的时候,那股混着鱼鳞和污水的味道有多让人头疼。 它就是个装了满屋子旧书的管理员,记性好到能背下来每本书里的每一句话,但是他从来没出过那间图书馆的门。

作者|科技

排版|科技

审核|阿辰

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:把大语言模型关在离线环境里,我才看清它藏了多少破绽
文章链接:https://m.lfdjt.com/p/keji/a/21189.html