你以为的“看图说话”，根本不是多模态大模型的核心
很多人对多模态大模型的印象，还停留在“能识图的聊天机器人”阶段。觉得无非是以前的大模型只能读文字，现在加了个图片识别插件，能看懂你发的猫、狗、路边的花。 真不是。 之前的技术路线里，文字处理是一个模块，图片识别是另一个完全独立的系统。你给老版本的模型发一张带咖啡渍的笔记本照片，它能准确说出“图中有一本摊开的笔记本，封面上有浅棕色的咖啡渍”，但它根本注意不到笔记本边角贴的那枚2019年漫展的门票贴纸，和你三个月前跟它聊过的“当年为了抢喜欢的画师签售排了三小时队”之间，有什么关联。
别被营销号吹晕：它现在的“聪明”，很多时候是在“蒙答案”
说实话，我第一次用多模态大模型的时候，也被惊到过。直到上次我把我家猫踩在键盘上拍的满屏乱码截图丢进去，它一本正经输出：“这是一段经过加密的技术笔记，核心语义指向创作者对未来技术发展路径的焦虑。” 我当时笑到把手里的冰奶茶喷在键盘上。 哪是什么加密笔记啊。就是猫爪子踩出来的乱码。 很多宣传把多模态大模型吹得像有自主意识的智能体，能像人一样感知世界。真的没有。它现在的“理解”，本质上是超大规模训练数据的匹配游戏。它能认出你发的照片里是橘猫，不是因为它真的对橘猫有什么认知，是因为它在训练的时候见过几百万张带“橘猫”标签的图片，能从一堆视觉特征里，精准找到和“橘猫”最匹配的语义关联。
你手机里早就藏着多模态的小碎片
别觉得多模态大模型是离你很远的技术，要开网页、输很长的提示词才能用上。 你现在打开手机相册，在搜索框输入“去年冬天在雪地里追着球跑的狗”，系统能三秒内翻出你存在相册深处、自己都快忘了的那张柯基踩雪的照片——这背后就是轻量化的多模态模型在跑。 还有你刷短视频的时候，系统能识别你在哪段画面停下来，会拖动进度条，甚至会把你暂停时盯着看的那幕美食镜头，和你之前的浏览偏好做匹配，给你推类似的内容。这里面也有多模态的能力。 我之前找去年在重庆拍的洪崖洞照片，翻了十分钟都没找到，最后在搜索框敲了“挂满红灯笼的楼，下面有江”，它直接把那张照片弹出来了。 我当时愣了两秒。 我拍那两千张旅游照的时候，根本没给任何一张打标签。 不过话说回来，很多人现在讨论多模态大模型，总在说它未来会取代设计师，取代摄影师，取代所有跟视觉相关的职业。 我倒觉得没那么夸张。 就像当年Photoshop刚出来的时候，没人说它会取代摄影师，只是会用的人，比只会按快门的人效率高了一大截。你现在如果能把自己的想法，用随手拍的照片、语音备忘录里的碎碎念、文档里没整理的笔记丢给它，让它帮你把这些零散的碎片串成完整的方案，你就比只会对着聊天框打干巴巴文字的人，快了至少三倍。 它会看错，会瞎编，会在你情绪很低落的时候，输出一段根本不对味的安慰。 但这又怎么样呢。 本来技术就是拿来用的，不是拿来供着的。你不需要把它当成无所不能的神，也不需要把它当成要抢你饭碗的对手。 就像你用导航的时候，不会因为它偶尔带你绕错路，就再也不用它了对吧。 昨天我把我家猫踩键盘的那张乱码图再丢给它，它这次输出的是“这是一只猫在键盘上留下的创作痕迹”。 你看，它也在慢慢学。作者|科技
排版|科技
审核|小北