被AI在贪吃蛇对局赢了半杯冰美式后，我才搞懂强化学习根本不是‘教出来的’

上周跟朋友在公司楼下的桌游吧泡了半晚上，本来我对着复古街机的贪吃蛇快打破自己的纪录，坐旁边的技术部实习生凑过来，说要不他开个小模型跟我对打？

我当时差点笑出声。脚本嘛，不就是提前写好路径，沿着边绕圈走，碰不到墙就算赢？

结果三局下来，我连他一半的分都没摸到。最后输了半杯冰美式的时候，他挠头跟我说，这根本不是写死规则的脚本，是用强化学习训了两小时的小玩意儿。

我当时真的愣了。

别把它当“背题库的学生”，这货是靠挨打攒经验的

之前我对这类AI的印象，还停留在“给什么学什么”的阶段——就像识别猫的模型，得喂它十万张标好“猫”“狗”的图片，它才能慢慢摸出猫的耳朵是尖的、尾巴是长的这些特征，下次见了能认出来。说白了就是个背题库的学生，老师把正确答案塞给它，它记熟了就能答题。

但强化学习根本不是这个路数。

那个实习生说，这个打贪吃蛇的小模型，刚启动的时候啥也不会，蛇头直愣愣往墙上撞，连第一个豆子都没吃到过。他当时盯着训练日志看了快十分钟，眼看着这个小模型撞墙、咬到自己、原地打转，扣了快几百分，突然有一次，它歪歪扭扭拐了个弯，吃到了屏幕上第一个豆子——系统立刻给它加了10分。

从那之后，它就像突然开了窍。

强化学习的核心逻辑从来不是“被灌输正确答案”，而是在一次次试错里，把“做了能拿奖励的动作”刻进自己的决策链里。它根本没人告诉它“玩贪吃蛇要沿着屏幕边缘绕圈，不要随便拐急弯”，就是撞了几十上百次墙之后，发现“哦，刚才往左边挪了一步，没撞墙，还吃到了豆子，赚了”，就把这个动作的权重调高一点。下次遇到类似的场景，就优先选这个能拿奖励的动作。

说穿了，这跟你家猫偷罐头的逻辑一模一样。猫一开始扒柜门，扒半天开不了，被你骂了两句，后来它发现跳到柜子顶上用爪子勾把手，一下就开了，还能叼到藏在里面的金枪鱼罐头。下次它根本不会再傻站着扒门，直接就往柜子顶上跳。哪有那么多玄乎的自主思考，就是试错攒经验，拿到奖励就记下来，没拿到就换个动作再试。

很多人对它的误解，全来自把它当万能魔法棒

自从知道那个赢了我半杯美式的小模型是强化学习做的，身边好几个朋友跑来问我，说既然这个东西这么厉害，为啥不直接训个AI帮我写周报、帮我做职业规划、帮我选对象啊？

我每次都翻个白眼。

哪有那么万能啊。

说白了，这东西的命门就是“奖励”。你得给它一个即时的、清晰的反馈，它才能知道哪步走对了哪步走错了。比如打贪吃蛇，吃到豆子立刻加分，撞墙立刻扣分，反馈是秒到的，它当然能慢慢摸出门道。但你要是让它帮你写周报，你给它啥反馈？写得好给它发奖金？还是写得不好扣它的算力？更别说职业规划了，“三年做到部门主管”这个结果，可能要等三年才能知道成没成，中间它根本不知道哪步做对哪步错，训到服务器宕机都摸不到门道。

之前看到过一个特别离谱的案例，有人用强化学习做短视频推荐，给模型设的奖励就是“用户的停留时长”。结果训出来的模型，根本不管内容有没有价值，专挑最容易让人上头的土味片段、冲突剪辑推给用户，用户刷三个小时都停不下来，看完只觉得空虚，但停留时长确实拉满了。你看，它根本没有错，它只是严格按照你给的奖励规则，选了能拿最多分数的动作而已。

还有人觉得强化学习训出来的结果一定是最优解，这也是想多了。之前AlphaGo赢了李世石的时候，全网都在吹AI棋术无敌，结果后来有人用强化学习训了个走法特别偏的模型，专挑人类棋手不熟悉的怪路径走——它根本不管棋理是不是符合大家的共识，只要能赢棋，能拿到那个“赢”的奖励，哪怕走一步看起来离谱到看不懂的棋，也完全没关系。

它现在悄悄藏在你每天用的东西里，根本没声张

说实话，我之前总觉得强化学习是实验室里离普通人很远的东西，直到那次输了半杯冰美式才反应过来，这东西早就藏在我们每天用的软件里了，只是从来没跳出来说过话。

比如你每天用的导航软件，实时算路线的时候，背后就有强化学习的影子。它不会一开始就有一套完美的规则，就是每次给你推荐一条路径，就会记录你实际走了多久——要是比预计时间早到了，下次遇到同样的路况组合，就优先推这条路；要是给你导到了堵死的路上，你多花了二十分钟，它下次就把这个路径的权重调低一点。跑的单子多了，它自然就知道哪条路看着近其实走不通，哪条路绕一点但是能快十分钟。

还有外卖平台算的取餐时间、打车软件算的预估到达时间，甚至你刷的外卖列表里哪个商家排在最前面，背后都有这类试错攒经验的逻辑。它不是一开始就有一套完美的规则，就是在几十万、几百万次的用户交互里，慢慢调整自己的决策，把能拿到最多“用户满意”奖励的动作，一点点串成自己的服务路径。

那个实习生说，他们之前用强化学习调公司服务器的算力分配，一开始模型直接把所有算力全给了最热门的那个视频流，结果其他几个小业务直接卡到加载不出来——因为当时设的奖励只有“热门业务的播放流畅度”，根本没给其他业务设约束。后来调了快一周的奖励规则，加了“其他业务的加载速度不能低于阈值”的约束，模型才学会把算力匀着分，不让哪个业务掉链子。

上周我又去那个桌游吧，那个实习生把贪吃蛇的模型改了改，现在已经能稳拿街机的最高分了。我又输了一杯冰美式。

他说下次要训个打消消乐的模型，赢了的游戏币全归他。

行吧。