逛奶茶店的时候,我想懂了大模型算法到底在干嘛

昨天在南京新街口排队买奶茶,前面站着两个穿校服的学生,凑在一起小声聊。一个说“我最近用大模型写作业,它怎么什么都懂”,另一个说“还不就是大模型嘛,不就是把网上的东西都存起来拼一拼”。我拿着号站在后面,突然觉得挺有意思。很多人对大模型算法的印象,要么是神乎其神的黑科技,要么就是“拼文案的骗子”,两个极端。说实话,我跟算法工程师混了快五年,也花了快一年泡各种行业沙龙,才把这事儿捋得稍微明白点。

你手机里的输入法,早就藏了大模型算法的雏形

你有没有想过,为什么你打“我今天要去”,输入法第一个跳出来的词是“南京”,不是“南非”? 很简单啊,输入法统计过,上亿用户输入的时候,“我今天要去”后面接“南京”的概率,比接“南非”高得多。原来的小输入法模型,就这么点本事。 大模型算法呢?本质上干的是同一件事。只不过它把这个“猜概率”的游戏,放大了不知道多少倍。原来的小模型,统计的是一两个词前后的关系。大模型会看一整段话,甚至一整篇文章里,所有词之间的关联。你说你要写一篇南京秋天的旅游攻略,它会把“中山陵”“梧桐”“糖炒栗子”这些词之间的关联都算一遍,然后一个字一个字给你拼出来。
手机输入法联想预测词界面截图
手机输入法联想预测词界面截图
别觉得这事儿简单。就说输入法,早年的输入法联想错得离谱,你打“今天天气”,它能给你跳出“今天天气预报今天”,重复得让人想摔手机。现在大模型做联想,你写一半的文案,它能接得比你自己想的还顺,核心就是这个猜概率的本事变高了。

大模型算法最反常识的一点:它根本没“背”答案

我听过最多的误区,就是“大模型把整个互联网都存在它脑子里了,所以能回答问题”。这真的错得离谱。 大模型从来不是“背答案”,它是每次都重新“猜答案”。 怎么说呢?你问它“南京秋天最值得去的地方是哪”,它不是从存好的知识库里面搜一篇攻略复制给你。它是从第一个字开始,一个一个算,第一个字放“南”概率多大,放“中”概率多大,算出来第一个字是“钟”,然后再算第二个字放“山”概率多大,接“陵”概率多大,就这么一点点把整段话拼出来。整个过程,它都不知道自己要说什么,它只是一直在算,下一个字放什么最合理。
大模型Transformer注意力权重热力图
大模型Transformer注意力权重热力图
这个逻辑是不是挺反常识?那它训练的时候干嘛了?训练就是调参数啊。它那上百亿甚至上千亿的参数,本质就是一堆用来算概率的小系数。训练的时候,给它喂几万亿的公开文字,每猜一次错了,就微调一下这些系数,猜对了就多给点权重。猜得多了,这些系数就慢慢摸清楚了人类说话写文章的规律,再猜就越来越准。 说白了,大模型算法的核心,就是基于海量数据训练的概率预测模型,没什么玄乎的。不过话说回来,就这么简单的逻辑,堆够了参数和数据之后,居然能冒出各种各样之前没人想到的能力,比如写代码,解逻辑题,甚至能跟你聊人生,这才是最神奇的地方对吧?我第一次让大模型帮我改一篇专栏的稿子,改完比我自己写的还顺,当时差点把下巴惊掉。真的。

现在很多人都踩错了坑:把大模型算法当万能钥匙

现在很多人都踩错了坑:把大模型算法当万能钥匙
现在很多人都踩错了坑:把大模型算法当万能钥匙
这两年大模型火了之后,我见了太多创业者张嘴闭嘴就是“我要用大模型颠覆XX行业”。上次在一个创业路演上,有个哥们说要做大模型财务系统,能自动生成审计报表。我听了十分钟,越听越不对。 大模型天生就会算错数啊!因为它是猜的啊,它不是按逻辑一步步算的。你让它算19乘28,它都有可能给你算出534,正确答案明明是532,差一点就错,放到财务报表里,那就是天大的问题。 说白了,很多人根本没搞懂大模型算法擅长什么,不擅长什么,就跟着风口往上冲。它擅长处理模糊的、没有标准正确答案的事儿,比如帮你找灵感,帮你把口语整理成文案,帮你把零散的信息归纳成提纲,甚至帮你给客户写一封语气合适的回复。这些事儿,原来要你花半小时一小时捋,它几分钟给你出个草稿,你改改就能用,效率提升一大块。 但它不擅长干那种百分百不能出错的事儿,算精确的账,写严谨的法律条文,控制工业设备的运行,这些活儿真不能交给大模型自己干,它大概率给你整出幺蛾子。对吧? 还有个坑,就是大家都在比参数大小,觉得参数越大,算法越厉害。说实话,参数堆到一定程度,提升真的越来越慢。我那个在南大实验室做算法的朋友跟我说,他们现在做项目,反而更喜欢调小模型,针对具体的场景做微调,出来的效果不比那些大模型差多少,成本还只有几十分之一,跑起来还快。 这事儿挺有意思的。大家追了半天“大”,原来最后还是要落回“合适”两个字。 刚才排队买奶茶,我前面那个学生掏出手机,让大模型给他写一篇南京一日游的攻略,几秒钟就出来了,排版整齐,景点美食都全,两个人欢欢喜喜拿着走了。你看,大模型算法本来就是个工具啊。用对了地方,它就是帮你省时间的好帮手,没必要吹得神乎其神,也没必要骂得一无是处。太阳底下没有新鲜事,它就是把我们几十年前就懂的“猜概率”,做到了极致而已。 哦,我的奶茶叫到号了。

作者|科技

排版|科技

审核|知知

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:逛奶茶店的时候,我想懂了大模型算法到底在干嘛
文章链接:https://m.lfdjt.com/p/keji/a/2787.html