昨天在南京新街口的咖啡馆蹭空调，碰到一个学计算机的本科生拉我聊天，张口就问，大模型算法到底是什么？是不是就是有钱堆参数，找一堆数据塞进去就完事了？我一口冰美式差点喷出来。
很多人对大模型的印象都停留在”参数几个T”，”训练花了几个亿”，好像只要钱砸够了，就能出来一个聪明的大模型。
真不是这么回事。
最容易踩的误区：大模型算法不是单纯堆参数
这么说吧，参数大只是结果，不是原因。早在十多年前，就有人训过亿级参数的模型，效果差得一塌糊涂，连个通顺的句子都写不出来。为什么最近五六年突然就活了？核心是Transformer架构的注意力机制，这个才是捅破天花板的那一下。
说白了，注意力机制就是教模型读文字的时候，该把重心放哪。举个例子，你说”小明把书包放进了他的抽屉，它是红色的”。这里的”它”到底指书包还是抽屉？十年前的老模型大概率分不清楚，因为它是按顺序一个词一个词算的，到最后早就忘了前面的”书包”长什么样了。
注意力机制不一样，它不管你哪个词在前哪个在后，反正我读完整句话，挨个给每个词打分，和”它”关系近的分就高，关系远的分就低，这么一搞，一下就能知道”它”指的是谁。
说实话，这个思路说破了真的很简单，可就是没人早点想到。哦，不对，其实早就有人提过类似的思路，只是没人把它放大了试过。等Transformer出来之后，大家才突然发现，哦，原来这么搞，参数越大效果真的线性涨，才有了后来堆参数的玩法。
顺序搞反了啊朋友们，是算法先对了，堆参数才有用，不是堆了参数算法就自动变好了。
普通人看不懂，但能摸得到的算法变化
你不用记住Transformer是什么，也不用搞懂注意力怎么算，你只要用的时候能感觉到就行。之前的人工智能，你要让它干个什么事，比如识别个猫，翻译个句子，都得专门给它找一大堆标好的数据，比如给一万张猫的图片标上”这是猫”，再喂进去训，训完只能干这一件事，别的啥也不会。
大模型算法的思路完全变了。它先做预训练：把网上能找到的所有公开文本、图片、视频一股脑喂进去，让它自己学语言规律，学这个世界是什么样的，这个过程没人给它标答案，它自己找规律。等预训完了，你再让它干具体的事，只需要一点点数据微调一下就行，甚至说两句话给它提示，它就能干活。
这个思路转变有多夸张？举个例子，之前你要做一个会写邮件的AI，得找几百上千人给你标好各种邮件，花几个月训。现在呢？大模型已经学会了怎么写人话，你只要说”帮我写一封给客户的延期邮件，客气一点”，它几十秒就给你写出来了。
说白了，之前的AI是专门训练出来干一件活的工人，现在的大模型是一个读遍了所有书的毕业生，你让他干嘛，他学两天就能上手，甚至看你说一遍要求就会了。
不过话说回来，这个本事也不是白来的，它也带来了毛病。比如大家都吐槽的”幻觉”，就是大模型会一本正经的胡说八道。为什么？因为从算法原理上来说，它就是在猜下一个字该说什么，它不是真的”知道”这件事对不对，它只是觉得，这么说通顺，符合你要的风格，它就说了。
我上次让一个大模型算1234乘以5678，它给我算了个错的数，你说它连乘法都算不对吗？其实不是，它就是没真的算，它只是按照说话的逻辑给你凑了个数。
接下来大模型算法往哪跑？
现在整个行业都在往两个方向走。一个方向是做小，把大模型算法压缩压缩再压缩，压缩到能直接跑在你手机里，不用连云端。这个太重要了啊，你想，你要让大模型帮你整理你的私人聊天记录，整理你的体检报告，这些都是隐私，要是传到云端，谁也说不准会不会泄露。
如果算法压缩好了，整个大模型都在你自己手机里跑，所有数据都不出去，这不就安全了？现在不少手机已经能跑端侧大模型了，用起来和云端的差不了多少，日常聊天写点东西完全够用。
另一个方向是给大模型接”外脑”，刚才说大模型会胡说八道，现在算法上的解决思路就是给它加个检索模块，你问它问题，它先去靠谱的知识库搜一圈，把找出来的正确内容拼进去再回答，这样幻觉就少多了。比如说你问它今年南京梅花山的梅花节什么时候开，它不会再给你说去年的时间了，它搜完最新的消息再给你回答，准多了。
很多人说大模型现在已经到顶了，就是拼钱拼参数，我不这么觉得。算法上还有一堆问题没解决呢，怎么就到顶了？你想，现在大模型读一本十万字的书都要花好久，能记住的内容也有限，哪天算法改一改，让它能像人一样，长期记住自己学过的东西，那又会是不一样的玩法。
昨天那个学弟还问我，现在学大模型算法是不是晚了？我告诉他，哪有什么晚的，十年前谁能想到Transformer会改变整个行业？指不定哪天，一个新的算法思路出来，又把所有人拉回同一起跑线了。
我喝光了冰美式，起身去坐地铁，风刮过来，珠江路路边的梧桐树开始落叶子了，南京的秋天来了，谁知道下一个改变行业的算法点子，现在在哪个人的脑子里转着呢。
作者|科技
排版|科技
审核|安然