上周三我拖着电脑去南京徐庄软件园找朋友,本来只是想蹭个空调喝杯咖啡,结果被他拉进了他们实验室的封闭工位区——门口的白板上写着”非工作人员禁止入内”,下面还贴了张歪歪扭扭的便签:”谁再把鸭血粉丝汤写成炒鸡蛋,谁就去给实验室换一周的桶装水”。
我当时就笑了。
这和我之前刷到的那些酷炫的科技宣传图,半毛钱关系都没有。
你以为的算法,和实验室里的算法根本不是一回事
之前我对大模型算法的印象,全来自各种短视频里的夸张描述:什么能自主思考、能创造艺术、能取代人类工作,听得我都快开始投简历转行学算法了。真蹲了三天才发现,这帮人每天90%的工作,根本不是在”创造新算法”——
他们在擦屁股。
昨天刚调完的注意力头权重,今天测出来生成的南京美食攻略里,居然把科巷的藕饼摊写成了”位于新街口地铁站出口的连锁餐饮”;好不容易改对了美食部分,转头生成的灵谷寺桂花攻略里,又把最佳观赏期写成了10月底——南京的桂花9月下旬就开了啊喂。

我蹲在旁边看了一上午,博二的张哥连头都没抬,手指在键盘上敲得噼里啪啦,屏幕上全是密密麻麻的损失函数曲线,偶尔停下来抿一口已经凉透的冰美式,皱着眉骂一句”这破曲线怎么又飘了”。
说实话,之前我以为搞算法的人每天都是对着屏幕写几行代码,然后模型就自己跑起来了。结果才知道,他们要给模型喂数据、洗数据、给错误的输出打标签、调各种奇奇怪怪的参数,有时候为了改一个小错误,能熬两个通宵。
就像你养了一只特别聪明但记性不好的狗,你每天要教它哪个是拖鞋哪个是你的脚,教不对就拍一下脑袋,教对了就给个零食——只不过这只狗的”零食”,是几万亿条人类写的文本。
所谓的”理解人类”,本质是在算概率
我中午和张哥在食堂吃饭的时候,忍不住问他,你们天天说的大模型算法,到底是怎么”听懂人话”的?
他扒拉了一口餐盘里的鸭血粉丝汤,抬头看了我一眼,说你高中做过完形填空吧?
我愣了一下,说当然啊,谁没做过。
他说就那么回事。
你输入”今天下班想去新街口吃____”,模型不是真的知道新街口有什么好吃的,也不是真的懂”下班””吃饭”这些词的意思——它只是在训练的时候,见过几百万条类似的文本,算出来”鸭血粉丝汤”这个词出现在这个位置的概率是78%,”烤串”是12%,”地铁”是0.3%,所以就把概率最高的那个填进去了。
你接收到的所有模型输出,本质都是它从见过的几万亿个文本片段里,拼出来的概率最高的那串字符。

我当时差点把嘴里的汤喷出来。
合着我之前跟它聊了半小时的人生困惑,问它”要不要裸辞去开一家卖鸭血粉丝汤的店”,它给我输出的那一大段看起来特别有道理的文字,本质是在做完形填空?
张哥笑了,说不然你以为呢?它根本不知道”裸辞”是什么感觉,也不知道开一家店要花多少钱,它只是见过几万个”裸辞”相关的帖子,算出来在这个问题后面,接”要考虑好现金流””要评估自己的抗风险能力”这些话的概率最高而已。
哦对,它甚至不知道我是男是女,不知道我有没有房贷,不知道我昨天刚被老板骂了一顿——这些我没输入的信息,它全靠猜,猜的依据就是之前见过的文本。
不过话说回来,猜得准的时候,确实挺吓人的。比如我昨天让它帮我写一个给老板的汇报提纲,居然准确把我上周跟张哥吐槽的”老板喜欢看数据不要废话”的点给抓出来了——后来我才知道,我之前在小红书发过一条吐槽”汇报的时候老板只看数据”,被爬进了训练数据里。
别信那些”算法要取代人类”的鬼话
晚上我和张哥在实验室楼下的便利店买水,我问他,现在网上好多人说大模型算法这么厉害,以后要取代一半的工作,你怕吗?
他拧开矿泉水瓶盖,喝了一口,说怕什么?
你知道我们现在跑的这个模型,全量微调一次要花多少钱吗?他给我算了一笔账,机房的电费、服务器的折旧、人工的成本,跑一次的钱够我在南京付个小公寓的首付了。
而且绝大多数你能碰到的民用大模型,背后都有几十上百个人工规则在兜底——比如它不能输出违法的内容,不能输出错误的美食地址,不能把鸭血粉丝汤写成炒鸡蛋,这些全是人工加的规则,不是算法自己能想出来的。
我之前以为模型出错是因为算法笨,结果才知道,很多时候出错是因为训练数据里有错误的内容。比如之前模型把鸭血粉丝汤写成炒鸡蛋,是因为训练数据里有一条用户发的吐槽”我昨天在新街口点的鸭血粉丝汤怎么像炒鸡蛋”,被模型当成了正常的表述,所以才会写错。
你说这是算法的问题吗?根本不是,是数据的问题。
昨天我离开实验室的时候,已经快十点了,张哥还坐在工位上改参数,屏幕上跳出来一行生成的文字:”南京的秋天,要去灵谷寺看桂花,配一杯热的桂花酒酿。”
他挠了挠头,对着旁边的师弟说,这次总算没写错。
窗外的风刚好吹过来,带着点桂花的香味。
我突然觉得,那些听起来玄乎的大模型算法,其实也没那么可怕。它就像一个刚学会说话的小孩,每天在人类的文本里摸爬滚打,偶尔会说错话,偶尔会给你惊喜——而那些蹲在实验室里改参数的人,就是教这个小孩说话的保姆。
哦对,临走的时候张哥跟我说,要是下次再看到有人把大模型算法吹成能自主思考的超级大脑,你就给他看我们工位上的便签。
我笑了笑,把那张写着”别把鸭血粉丝汤写成炒鸡蛋”的便签拍了下来。
作者|科技
排版|科技
审核|见微