机器学会猜你下一句:机器学习到底在学什么?

早上八点,地铁三号线。你打开手机,输入“今晚”。候选词跳出来:加班、吃啥、早点睡。你点“加班”,它记住了。第二天,它又猜“加班”。你骂了一句,它没听见。但它的参数变了。

这就是机器学习。不是机器人眨眼睛,也不是电影里的天网。它更像一个躲在应用背后的统计装置:看很多例子,调很多旋钮,然后对下一次做猜测。猜对了,奖励;猜错了,调整。没有情绪,也没有“理解”这回事。

手机输入法联想词预测界面截图
手机输入法联想词预测界面截图

它不像人那样理解,只是在找规律

传统程序怎么写?人把规则写死。比如“如果温度低于零度,就提示结冰”。机器学习不这么干。你给它一堆照片,猫的、狗的,每张标好答案。它一开始瞎猜。把猫认成狗,把狗认成猫。然后它根据错误反向修改内部参数。这个修改过程,叫训练。

说实话,头一回看梯度下降的公式,我也头大。但你可以把它想成下山。山雾很大,你看不见谷底。只能摸脚下的坡度,往低处挪一小步。再挪一小步。损失函数告诉你,现在错得有多离谱。梯度告诉你,往哪个方向改,错得会少一点。

模型内部是什么?一堆权重。每个权重都是数字。输入进来,乘一乘、加一加、过个非线性函数,输出一个结果。深度学习就是很多层这样的运算叠在一起。它不背具体照片。它调的是边缘、纹理、局部形状这些抽象特征。输出一个概率:这张图有 0.87 的概率是猫。注意,是概率,不是真理。

机器学习训练数据标注与模型参数调整示意图
机器学习训练数据标注与模型参数调整示意图

那条从数据到预测的路,比你想的脆弱

问题来了。模型在训练集上考高分,不代表它真学会了。它可能只是把答案背下来。这叫过拟合。像考试前只刷原题,数字一换就懵。更麻烦的是数据本身有偏差。你喂进去的历史数据里,如果某些群体被低估,模型会把这个偏见当作规律。它不会反思。它只会复制。

有公开报道提过,一些招聘筛选工具因为训练数据来自过去多年的简历,结果对某些背景的候选人更不友好。后来项目被停掉。这不是算法有恶意。是数据里的旧世界被算法放大了。垃圾进,垃圾出。这句话老土,但在这件事上准得吓人。

还有一个坑:相关性不等于因果。夏天冰淇淋卖得多,溺水事故也多。模型可能学出“冰淇淋导致溺水”。荒唐吧。但它只认数字之间的相关。你问它为什么,它答不出来。它没有因果图,除非你专门设计。所以别把预测能力当成理解能力。这两个东西,差着一条河。

机器学习过拟合训练误差与验证误差曲线图
机器学习过拟合训练误差与验证误差曲线图

对话:机器学习是魔法吗?

朋友问我:那 ChatGPT 那种东西,是不是自己思考了?

我说,不是。它更像一个超级输入法。你给它前文,它预测下一个词。一个词一个词往外蹦。Transformer 的注意力机制,让它在长句子里知道该看哪里。哪几个词和当前词关系大,权重就高。听起来简单,但规模一大,效果就吓人。

他又问:那它会取代人吗?

看任务。重复、模式明确、有大量标注数据的活,先被改。翻译、客服初筛、代码补全,已经在变。可需要承担责任、处理冲突、判断价值观的事,还不行。它能把话说圆,但不知道疼。它可能一本正经地胡说。你让它给法律建议,它敢编判例。你让它写病历摘要,它可能漏掉关键否定词。

所以现在的用法,更像副驾驶。你握着方向盘。它帮你盯路。别睡。

时间线不是突然冒出来的

机器学习不是这两年才从石头里蹦出来的。1950 年,图灵发了一篇讨论机器能否思考的论文。1956 年,达特茅斯会议上,“人工智能”这个词被正式提出来。后来几起几落。八十年代,反向传播让多层网络能训练。九十年代,支持向量机在分类任务上很能打。2012 年,AlexNet 在 ImageNet 比赛里把图像识别错误率往下拉了一大截,深度学习重新回到聚光灯下。2017 年,Transformer 论文出来,注意力机制改写自然语言处理。2020 年,GPT-3 展示大模型的少样本能力。2022 年底,ChatGPT 让普通人头一回大规模摸到对话式 AI。

这条线里,算法、数据、算力,缺一个都跑不起来。不是某一天突然开悟。是很多年,很多人,很多次失败堆出来的。

冷思考:别把流畅当正确

现在模型写文章很顺。顺到让人放松警惕。可流畅是概率的结果,不是事实的保证。它会生成看起来像真的句子。引用可能不存在。数据可能过时。逻辑可能绕圈。你需要核对,需要追问,需要让它给出处。别偷懒。

趋势上,有几件事在发生。小模型往手机端跑,因为隐私和延迟。多模态把文字、图像、声音放进同一个空间。检索增强让模型先查资料再回答。这些方向都挺实在。但别急着说通用人工智能明天就来。机器学习的边界,还是数据边界、算力边界、任务边界。

它是个放大器。放大效率,也放大偏见。放大便利,也放大依赖。下一次输入法猜中你,你可以笑一下。但别真以为它懂你。它只是见过太多人,在“今晚”后面打了“加班”。

作者|科技

排版|科技

审核|小准

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:机器学会猜你下一句:机器学习到底在学什么?
文章链接:https://m.lfdjt.com/p/keji/a/23874.html