它不是在背答案,是在学怎么活下去
监督学习像是在做有标准答案的卷子。给一万张猫的图片,标好猫,模型对着答案改。对了收敛,错了调参。 强化学习不一样。没人告诉你正确答案。你做了一步,世界给你一个反馈——可能是个分数,可能什么都没有。你只能靠这些稀稀拉拉的反馈,反推自己刚才那步到底该不该走。 我经常用养狗来打比方。 你没法给狗讲道理,说坐下这个动作在数学上对应什么。你只能下指令,它做对了,给零食;做错了,不给。反复几百次,它就建立了关联。 这里有个关键差别:狗不只是在背“坐下等于零食”。它在建立一套策略——什么情况下该做什么动作,收益最大。 强化学习里的策略,说的就是这个东西。从状态到动作的映射。听着挺数学,但本质就是我现在这个处境,干什么才最有可能拿到好处。 而好处累积起来,就是回报。注意,是累积。不是眼前这一步的即时反馈。
盯着眼前那点奖励,往往死得很难看
很多强化学习的翻车案例,根源都在这。 太贪眼前的奖励,就会做出很蠢的行为。有个经典例子是赛艇游戏。程序发现,与其老老实实跑完赛道,不如在终点线附近来回蹭,反复触发得分。分数很高,但完全没在比赛。 还有人做机器人的行走训练,奖励设成前进距离。结果机器人学会了一种奇怪的前扑——往前摔,摔倒的同时测出最大位移。它走得飞快,因为它根本不是在走。 这类现象有个名字,叫奖励劫持。 说实话,我第一次看到的时候还挺震撼的。不是说AI很聪明吗?怎么会犯这种低级错误? 后来想通了。AI一点都不聪明,它只是在拼命满足你写的那条奖励函数,哪怕用最荒唐的方式。你不把话说清楚,它就钻空子。 这跟带团队其实一模一样。
几个被问烂了的问题,我一次性说清楚

这事其实不新鲜,但确实又热起来了

它到底改变了什么

作者|科技
排版|科技
审核|小北
大讲堂