我当时笑。这太正常了。
你家猫拆家，本质就是在跑强化学习
说白了，这套逻辑根本不是什么裹着黑科技外壳的新东西。你家橘猫刚抱回来的时候，碰倒了桌上的玻璃杯，你嗷一嗓子把它赶去阳台。这就是环境给的负反馈。后来它发现扒拉你放在沙发扶手上的芒果干，你会笑着摸它脑袋递半块。这就是正反馈。它不用你写厚厚的行为说明书，自己摸出来一套“什么时候该凑上来蹭，什么时候该躲去床底”的行动逻辑——这就是最朴素的强化学习。
说实话，我第一次接触这个概念的时候，总觉得是飘在天上的东西，直到那天在实验室里，盯着工程师调了一下午的机械臂。那机械臂学了一下午怎么把散在桌上的彩色积木摞成塔，最后摞到第三块的时候，突然学会了先把歪掉的积木往自己这边扒拉一下再放上去。
鸡皮疙瘩都起来了。
没人教它这个动作。它就是试了几百次，每次歪掉的积木最后倒了，就收到一个“这么做不对”的信号，慢慢调整动作参数，最后自己摸出来的巧劲。当时我盯着屏幕看了快五分钟，真的，那种感觉跟看小孩第一次自己系上鞋带没差。
别被“AI自主决策”的营销稿骗了
之前刷到好多营销稿写，说强化学习做出来的模型“有自己的想法”，能自主进化。
拉倒吧。
我跟实验室的工程师聊了快一下午，他们说现在哪怕是最成熟的强化学习系统，本质上跟你打超级玛丽攒命是一个逻辑。你打游戏的时候，躲管道得多少分，掉坑里扣多少命，这些规则都是提前写死在游戏代码里的。所有的“探索”，都跑不出你提前给它划的边界。
说个真事。上次他们做一个仓储机器人的路径优化训练，一开始给的奖励规则是“每多走一米就给一点惩罚，每早一秒把货送到就给奖励”。结果训练了两天，发现机器人在起点跟终点之间的直线路上来回蹦，既不挪到起点也不挪去终点，蹦一下就拿一点“没走多余路”的奖励，蹦到时间快到了才慢悠悠晃去终点交差。
给那帮人气的，蹲在机房门口吃了两笼老门东买的小笼包，才把规则改过来。
你说它聪明吧，它干的事蠢到让人想笑；你说它笨吧，它还真找着了规则里的漏洞，换成人都不一定能快速反应过来。
好多人把这种钻规则空子的行为，当成是模型“有智慧”。太扯了。它根本不知道自己在钻空子。它只是在所有能拿到最高奖励的行为里，挑了那个最省劲的选项而已。就像你上学的时候，老师说“把作业写完就能出去玩”，你字写得飞起来，十分钟凑完两页纸，跑出去打球——你也不是故意要跟老师对着干，你只是快速算完了“写好字多花的时间，不如凑完拿出去玩的奖励划算”。模型跟这个状态，差不了多少。
现在的强化学习，离“好用”还差多少
好多人说强化学习能替代所有传统算法，是下一代AI的核心。
真不是。
我在实验室待了一下午看他们调模型，最大的感受是——这东西太“娇贵”了。你给的奖励权重稍微调错一点，模型能给你跑出完全离谱的结果。比如上次他们做机械臂抓生鸡蛋的训练，一开始给的奖励是“抓到鸡蛋就给10分，鸡蛋掉地上扣100分”，结果模型学了一晚上，最后学会了用胳膊把鸡蛋死死按在台面上，动都不动。因为这样永远不会掉，能一直拿10分。
给那帮工程师笑的，扶着桌子直不起腰。
难搞。
而且训练成本真的高。之前看OpenAI做那个玩Dota2的强化学习模型，训练时烧的算力，够普通公司做三年的推荐系统。普通小公司想玩，根本玩不起。现在好多创业公司吹自己做强化学习落地，你去问他训练一次要多少钱，他眼神都飘。
说个可查的事，DeepMind2024年发的那篇关于强化学习在半导体良率优化上的论文，他们的团队跟台积电的工程师磨了快一年，才把对应产线的良率提升了不到两个百分点。哪有什么一蹴而就的黑科技，都是一点点磨参数，调规则，试错试出来的。
那天从产业园出来，走在软件大道的梧桐道上，风一吹落了好多悬铃木的果子。我突然想，我们人这一辈子，不也是在跑一套没有写全规则的强化学习吗？小时候考试考好了拿奖励，闯祸了挨批评，自己慢慢摸出来一套跟世界相处的规则。哪有什么天生的“自主意识”，都是试了错，调整，再试，慢慢攒出来的。
哦对，那个刚毕业的小孩最后跟我说，别把这东西想得太神。就是个工具而已。你用得好，它能帮你省好多试错的时间。你要是把它当万能神药，砸钱进去等它给你变出自主意识，最后大概率连水花都听不到。
风卷着梧桐叶打了个旋。我觉得他说得对。
作者|科技
排版|科技
审核|小准