9月23号那天我在珠江路旁边的老咖啡馆躲秋老虎。空调风裹着隔壁桌飘来的桂花香，邻座穿南大通识课校服的小姑娘对着电脑皱成了包子脸。
凑过去瞟了一眼，她的屏幕上跑着个图像分类模型，输出结果把她刚拍的桂花乌龙照片，全标成了“发霉的全麦面包”。
她盯着屏幕翻了个巨大的白眼，说自己花了一下午标注的训练集，合着全白喂了。
你以为的机器学习，是会背题的好学生？
很多人对机器学习的第一印象，是那种过目不忘的天才，你教它什么，它就能精准复刻什么，永远不会出错。
根本不是。
你要是把模型当成那种考前一周熬大夜背题库的学生，就会觉得它的离谱错误是故意跟你作对——但本质上它根本不知道“面包”是什么，“桂花茶”是什么，它只是在数每张图里的像素颜色分布，找和你之前喂给它的标注最接近的匹配项。
小姑娘之前给模型喂的“发霉面包”样本，全是暗黄带灰绿霉斑的面包特写，光线偏暗，像素偏糊。她拍的桂花乌龙刚好是琥珀色的茶汤，杯沿撒了点刚从树上摘的干桂花，颜色暗黄，杯壁上沾了点细碎的金桂——像素分布跟她之前标注的发霉面包太像了。
换你你也错啊！
它没有“常识”。它不知道面包是吃的，茶是喝的，不知道霉斑是摸起来滑溜溜的，桂花是闻起来香的，对吧？它能做的只有一件事：对着你给的一堆带标签的样本，找像素层面的相似性。
我花一下午搞懂的，根本不是什么高大上算法
说实话我第一次接触机器学习概念的时候，以为这是什么必须靠超算中心才能跑起来的黑科技。要读厚厚的教材，背满页的公式，没有个计算机硕士学位根本摸不到门道。
直到去年秋天我在自己那台用了五年的旧笔记本上，跑了个识别南京梧桐叶的小模型。
我当时在南大校园里捡了两百多片不同形状、不同颜色的梧桐叶，拍了照标上“梧桐叶”，又拍了一百多片其他形状的树叶标上“不是梧桐叶”，跟着开源教程敲了几十行代码，10分钟就把模型跑起来了。
当时我端着冰美式准备等结果，看到模型第一次准确认出我举在镜头前的梧桐叶时，差点把咖啡洒键盘上。
这个过程其实和教小孩认东西没区别。你给小孩看100张猫的照片，告诉他这是猫，再给他看100张狗的照片，告诉他这不是，小孩慢慢就会自己总结：哦，猫的耳朵是尖的，有长长的胡子，爪子是收在肉垫里的。
机器做的事一模一样。只不过小孩靠的是大脑里神经元的连接强度，机器靠的是一层一层的数值权重调整——每错一次，就把权重往正确的方向挪一点点，挪到最后，它就能在一堆图片里准确找出你要它找的东西。
但它的bug也跟刚学认东西的小孩一模一样。我当时拿了张春天刚长出来的嫩梧桐叶去测，叶子是嫩绿色的，薄得透光，模型直接给我标成了“小巴掌形状的绿萝”。
它根本没见过春天的叶子。我给它的训练集全是秋天掉在地上的枯叶子，它自然认不出刚长出来的新叶。
那些被吹上天的功能，其实藏着没被注意的小bug
现在打开手机，到处都是机器学习的影子。相册自动分类，短视频给你推感兴趣的内容，输入法猜你下一句要打什么字。
但你有没有碰到过这种情况？
你昨天手滑点进了一个南京盐水鸭的做法视频，接下来三天不管你刷什么，首页全是不同师傅教你切鸭子、卤鸭子，甚至连你根本没点过的“盐水鸭和南京烤鸭的区别”，算法都要反复推到你眼前。
我就想知道个区别。我不想连着一周看30个不同师傅教我切鸭子啊！
这真的不是算法故意跟你作对。它的逻辑简单到离谱：你之前在这个内容上停留了30秒，说明你感兴趣，那就给你多推同类内容。它根本不知道你当时是手滑点错了，还是只是好奇看一眼，根本不想把所有相关内容都刷完。
上次我帮我妈调她的手机相册，她手机里存了几百张我家猫的照片，还有几十张在玄武湖拍的荷花。结果模型把所有带猫的照片全分到了“户外风景”文件夹，把荷花的照片全塞到了“宠物日常”里。我妈举着手机跟我说“这手机是不是傻了”，我对着那个分类结果笑到半杯咖啡都洒在了桌布上。
更有意思的是之前看到MIT媒体实验室公开的研究：他们测了几个用来识别皮肤病变的机器学习模型，发现这些模型只要看到深肤色的皮肤，不管有没有病变，都更容易判成“有问题”。原因特别简单——训练集里的健康皮肤样本，90%以上都是白种人的，深肤色的样本本来就少，带病变的深肤色样本更是少得可怜。模型学来学去，自然就把“深肤色”和“有病变”划上了等号。
问题从来不在机器本身。
问题是喂给它的数据是谁选的，标注的时候有没有带自己的偏见，有没有把本来就存在于现实里的偏见，原封不动甚至放大了塞给机器，最后让机器带着这些偏见去做判断。
那天在咖啡馆坐了快两个小时，邻座的小姑娘终于把模型调通了。她补了几十张不同光线、不同角度的桂花乌龙照片进去，重新跑了一遍，这次模型终于能准确把她的茶和发霉的面包分开。她当时拍了一下手，端起杯子喝了一口，刚好窗外的秋风吹进来，把梧桐叶吹得沙沙响。
风很凉。
其实我们之前总把机器学习捧得太高，好像它是个无所不能的魔法师，能解决所有问题，能听懂所有的话。但那天看着小姑娘对着电脑一点点调整标注的样子，我突然反应过来，它根本不是什么魔法。
它就是个刚进公司的实习生，你让他干啥，他就照着你给的规则干。你没说清楚的，他绝对不会主动问。你给的资料有偏差，他做出来的结果就全是偏差。
哪有什么黑科技啊。都是人一点点喂出来的，跟教刚会走路的小孩认世界，没什么区别。
作者|科技
排版|科技
审核|满满