上周半夜刷视频，冰可乐洒了半杯。
就是那个跑初代马里奥的AI，从连第一个坑都跳不过，摔了八百多次，最后12分钟通全关的那个。我当时盯着屏幕看了十分钟，鸡皮疙瘩都起来了。
别信什么”AI天生聪明”的鬼话
很多人刷到这类视频，第一反应是”AI怎么这么厉害，学什么都快”。拉倒吧。
最开始加载完模型的AI，站在马里奥的出生点，晃了两秒，直愣愣往前冲，摔进第一个坑，连反应都没有。比我小学三年级第一次摸手柄的状态还烂——我那时候至少还能连走三步，它走两步就掉坑。
别觉得这是夸张。我之前跟着实验室的朋友看过一次训练过程，那个AI在第一关的前100秒，整整摔了127次，有时候是跳早了，有时候是跳晚了，有时候甚至会在坑边突然停下来发呆。
跟以前你见过的所有AI都不一样。
以前教AI认猫，你得攒几万张标好”这是猫””这不是猫”的图，喂给模型，它学完了才敢对着新的图片判断。强化学习根本不搞这套”有人喂正确答案”的模式。从训练开始到结束，没人告诉AI”马里奥要往右走””碰到乌龟要跳””掉坑会没命”。它所有的判断，全靠每做一个动作之后收到的反馈攒出来的经验：跳过了坑，加分；碰到乌龟掉命，扣分；原地站着不动，扣分。
它根本不知道”通关”是什么。只是在无数次试错里慢慢摸出来：做什么事能拿到更多的分，就多重复。
那些被传歪的认知
说个最常见的误解——好多人觉得强化学习就是”让AI打游戏”。
真不是。打游戏只是成本最低的测试场景而已。你知道现在工厂里那种拧螺丝的机械臂，以前要给它写几百行代码，精准到每个关节转多少度，差一毫米都不行。换个零件型号，就得重新改代码，麻烦得要死。现在用强化学习训练的机械臂，就把它放在一堆螺丝和零件旁边，每对准一次位置拧对了，就给奖励，练个几天，精度比写死代码的还稳。甚至碰到零件滑了一下，它能自己调整角度凑上去——以前的程序碰到这种意外，直接卡壳报错。
还有人说，这种训练出来的模型，是绝对理性的最优解。
哪有那么玄乎。OpenAI早期做的玩Dota的AI，为了拿更高的分，居然学会了故意送一个人头给对面，等对面把技能全交完了再冲出来反打。这哪是理性最优？这分明是打游戏打精了的老油条，甚至有点损。还有之前训练的捉迷藏AI，居然学会了跳上地图边界的墙，藏在人类玩家根本看不到的地方。开发团队看到回放的时候都懵——我们根本没写这个规则啊。
当然也不是什么都能学。
你总不能靠这套方法训练AI去当急诊医生吧？总不能让它在病人身上反复试错，试错一次可能就出人命了，哪来那么多即时反馈给它攒经验？所以现在它能真正落地的场景，全都是试错成本极低、反馈能立刻算出来的地方：游戏训练、小范围的工业机械臂操作、外卖平台的动态派单、短视频推荐的实时调整。你以为外卖派单是写死的规则？现在好多平台的派单模型，已经在无数次”派单之后骑手有没有超时”的反馈里，自己摸出来了比人工写的规则效率高不少的逻辑。
没被说透的冷现实
说实话，我刚接触强化学习那几年，总觉得这东西马上就要改变世界了。毕竟当年AlphaGo赢李世石的时候，多少人刷着新闻喊”AI要超过人类了”。
结果真蹲在实验室旁边看了两次完整的训练过程，才发现这东西有多”笨”。
那个能拼好魔方的机械臂，最开始训练的时候，转魔方的力气大到魔方都快飞出去了，整整熬了几十个小时，耗了不知道多少电，才能把六个面拼齐。换个人类小孩，看两遍教程十分钟就学会了，它得连着转好几天。
不过话说回来。
这种”笨”，恰恰是它最特别的地方。人类学东西太快了，快到经常被旧的经验捆住手脚。比如你玩马里奥玩了二十年，看到第一个坑就知道要按跳，根本不会去试”直接往前冲会怎么样”。但这套方法训练出来的AI没有这种预先装在脑子里的经验包袱，它什么都愿意试，有时候就能摸出来人类根本想不到的路子。
之前有人训练AI玩吃豆人，AI居然学会了把四个幽灵往同一个拐角引，等幽灵挤成一团动不了的时候，慢悠悠把整个地图的豆子吃完。整个过程比顶尖人类玩家还快一倍，那个操作逻辑，人类看了都得愣三秒。
别觉得这是小技巧。
这种跳出固有经验的能力，是所有靠固定规则写的程序永远做不到的。固定规则的程序，只能处理你提前写在代码里的情况，碰到没见过的场景，就直接卡死。但这套模型不一样，它能在不断的试错里，长出从来没被人预设过的能力。
我上次看完那个马里奥AI的训练视频，随手把视频转发给了我那个在实验室泡了三年强化学习的朋友。他回了我个表情包，说”你看到的是它12分钟通关的爽文，没看到它前面摔的那八百次坑，耗的几千块电费”。
也是。
哪有什么突然就变聪明的AI。所有看起来开挂的表现，背后全是数不清的试错。
作者|科技
排版|科技
审核|满满