去年9月23号，我在南京老巷绕路找朋友，降温风吹得鼻子发红，老远就看见阿婆的奶茶推车亮着暖黄灯。挤进去买了杯热芋泥奶茶，一口下去糖度刚好，不抢芋泥的香，也不淡得像开水。
我夸阿婆调糖调得准，比连锁品牌的标准化机器还懂我。阿婆笑着擦杯子，说开了五年摊，哪有不准的，试多了就会了。
我当时突然反应过来——阿婆这一手，不就是活生生的强化学习吗？
没人教阿婆，她怎么就练会了？
很多人一听到强化学习，第一反应就是AlphaGo下围棋，就是AI实验室里堆着算力的高大上玩意儿，跟普通人的生活不沾边。
真不是这么回事。我们每个人从学走路开始，就一直在用强化学习。别扯那些看不懂的公式，说白了就是：试错拿奖励，攒经验调动作。
阿婆开摊，哪有人给她提前备好一万份标注好的数据集？告诉她多少斤的芋泥要配多少克糖，一百斤的客人要放多少，一百二十斤的客人要放多少？没有的。她就是靠每一个客人的反馈调整：客人说甜了，下次少放半勺，客人说淡了，下次多舀一勺。客人满意了，付了钱下次还来，这就是正奖励；客人皱着眉头喝一口放下就走，再也没来过，这就是负惩罚。
就这么一天一天试，五年下来，阿婆脑子里的模型，比任何连锁品牌的标准化手册都准。熟客过来站着说一句“老样子”，她手一伸就放对糖量，误差不超过五克。
你说这不是强化学习是什么？只是阿婆不知道这个名字而已。
拆穿纸老虎，核心逻辑其实就三步
网上很多讲强化学习的内容，一上来就甩马尔可夫决策过程，甩Q值函数公式，把好多感兴趣的人直接吓退了。说实话，核心逻辑真的简单到三岁小孩都懂。
第一步，选动作。你当下要做什么，阿婆给客人放半勺糖还是一勺，你换工作选互联网还是选体制，周末出门宅家还是约会，都是你选的动作。
第二步，拿反馈。环境给你什么回应？客人满意给你发了好评，就是加分；你选的工作天天加班熬到脱发，就是减分。没有谁给你提前说对不对，你做了才知道结果。
第三步，改策略。下次遇到差不多的情况，就往拿高分的方向靠，避开拿低分的选择。就这么简单。
很多人分不清楚监督学习和强化学习，我给你掰碎了说：监督学习就像老师给你发了一本习题集，每道题后面都附了标准答案，你背会了去考试就行。强化学习不一样，习题集没有答案，你得自己做完了自己改，错了下次换个做法。
不过话说回来，我们这辈子遇到的大部分事儿，不都是没有标准答案的吗？高考填志愿，没人给你标好选哪个专业十年后肯定赚钱；谈对象找伴侣，哪有完美对象的标准答案给你对照；甚至就是每天晚上点外卖，你也得试个十次八次才知道哪家合你口味。
我们活一辈子，本质上就是一直在跑自己的强化学习过程。
好多人踩过坑，对强化学习的误解真的挺坑
第一个误解，就是觉得强化学习是AI专属，跟普通人没关系。刚才说了，我们从学走路开始就在用，小孩学走路摔了两次，就知道怎么调整重心不摔倒，这就是最原始的强化学习。现在AI领域玩的强化学习，不过就是把人类天生就会的这套逻辑，写成代码让计算机跑而已。
第二个误解，觉得强化学习就是瞎试乱撞。阿婆调糖会瞎试吗？不会，她记着哪类客人爱喝啥，每次只调一点点，不会今天放一勺明天放十勺。很多做AI项目的团队不懂这点，上来就堆算力瞎试，美其名曰强化学习搜索，烧了大几百万的电费，最后出来个啥也不是的模型，那不叫强化学习，那叫拿钱打水漂。
还有个常见的坑，就是觉得一定要等最终结果出来，才能调整策略。其实不是，你可以拿中间反馈提前调啊。比如你写稿子投公众号，最后被拒是最终结果，但编辑给你留了一句话说“开头太拖沓”，那你下次写开头就改短点，不用等下一次投稿被拒再调整，这就是圈内说的奖励塑形，说白了就是别傻等最终结果，抓住每一个小反馈调整就行。
现在大模型火了，大家都在说RLHF，也就是人类反馈的强化学习，ChatGPT就是靠这个调出来的，好多人觉得这是什么划时代的新发明，拆穿了看，核心逻辑不还是那套：把人类的好评差评当奖励，调整模型的输出，跟阿婆调糖度，本质上一模一样。
有意思吧？最前沿的AI技术，根儿上和巷口卖奶茶的阿婆用的逻辑是同一个。
我之前跟一个做强化学习的研究员聊天，他说现在最厉害的大模型，学新东西的效率，还比不过一个五岁的小孩。为啥？因为小孩会主动找反馈，会避开同一个坑，会总结规律，AI还得靠堆算力试，差远了。
那天阿婆看我冻得发抖，特意多给我加了一勺热芋泥，说小伙子减肥也得吃饱啊。我心里暖得不行，之后只要去那附近，肯定绕过去买一杯。你看，阿婆这一个小动作，又拿到了一个正奖励，下次遇到冻得发抖的客人，她肯定还会这么做。
哪有那么多高大上的黑科技啊。不过就是把人活了一辈子的道理，换了个名字，教给计算机罢了。
作者|科技
排版|科技
审核|见微