别拿“能识别图片”当多模态的全部本事
很多人对多模态的认知，还停留在“以前的AI只能读文字，现在能识别图片了”。真不是。 之前的那些图片识别工具，本质上是拿着放大镜逐行扫的巡检员——把图片拆成成千上万个像素块，匹配提前训练好的轮廓模板：圆形带尖耳朵的是猫，方方带屏幕的是手机，你让它说说“这张图里猫现在是什么心情”，它直接卡壳。 多模态大模型的逻辑完全不一样。
你听到的那些“多模态焦虑”，一半是没搞懂边界
刷到太多营销号的夸张表述了——什么多模态大模型能实时分析视频、能看长文档、能直接生成视频，以后内容创作者要失业，普通人的工作要被抢。 说实话，我见太多人给多模态大模型扔半小时的课程录屏，让它整理核心笔记，结果它把老师喝了三次水、两次揉眼睛的动作都记下来了，关键的知识点漏了三分之一。 为啥？ 因为现在的多模态，核心能力还停留在“信息对齐”的阶段。它能准确把“猫的动作”和“你说的吐槽的话”对应上，但它还不会主动判断“哪部分内容是值得被记住的重点”。它现在的水平，本质上还是个“记性特别好的实习生”——看过的所有素材都能给你找出来，比老员工快十倍，但你要是让它独立判断什么最重要、什么可以忽略，它大概率会给你整出点啼笑皆非的幺蛾子。 上次我让它帮我分析一段用户反馈的音频，内容是用户说“你们的产品bug导致我丢了三个月写的工作文档，真的快气死了”，结果它把用户的情绪识别成了“对产品设计的高度认可”，我当时扶着桌子笑了五分钟。 不过话说回来，它现在的好用之处，根本不是替你做决策，是帮你从一堆杂七杂八的素材里捞东西。比如你存了三年的手机相册，几千张照片，以前你要找“2021年在大理拍的、当时下着小雨、我朋友穿黄裙子举着冰粉的那张”，得翻半小时相册，手指划得都酸了。现在你把所有照片导进去，跟模型说这句话，它三秒钟就能给你筛出来。
现在的多模态，离“真的懂你”还有多远
总有人畅想，以后多模态大模型能接你的手机摄像头，实时帮你识别路边的店名，帮你看外文菜单翻译，甚至能感知你身边的朋友今天情绪好不好，提前提醒你别说错话。 听着挺酷的对吧？ 但这里有个特别容易被忽略的点：它的“懂”，是对公开信息的泛化理解，不是对专属记忆的共情。 比如它能认出猫，是因为网上有几亿张公开的猫的照片；它能听懂你说的“逆子”是吐槽，是因为网上有几百万条网友骂自家猫的发言。但如果是你家那只只有你知道的、一听到开罐头的声音就会从床底钻出来蹭你脚踝的三花，它根本不知道这背后藏着多少专属的细碎记忆。 之前有个做特殊教育的朋友找我测模型，说他们接触的很多有语言障碍的小朋友，没法顺畅跟老师、家长表达自己的需求，以前全靠老师观察表情猜，经常猜错——小朋友皱个鼻子，可能是想喝水，也可能是鼻子痒，猜错了小朋友就会闹情绪。后来他们用本地的小多模态模型，喂了几百条小朋友的日常影像，慢慢的，模型能准确识别出“小朋友皱鼻子+发出嗯嗯的声音=想喝水”“小朋友摆手+眼睛看向窗户=想出去走走”。 你看，这根本不是什么飘在天上的通用人工智能，就是个能帮小朋友说上话的小工具。 上周我又把猫拆家的视频扔给那个朋友的模型，这次它居然识别到视频里我藏在沙发缝里的无线耳机——就是我翻了三天都没找到的那个。我当时盯着屏幕愣了好久。 原来我们总觉得AI离我们特别远，是写在论文里的大参数、是发布会上的酷炫演示。但其实它已经悄悄钻到你手机相册的文件夹里，帮你找丢了的耳机，帮小朋友说出想喝的水，帮你从几千张旅行照片里翻出当年那个举着冰粉的瞬间。 它还不完美。 甚至经常闹笑话。 但那种你对着屏幕随便说句话，它真的能接住你抛过去的、带着温度的细碎小事的感觉，真的挺奇妙的。作者|科技
排版|科技
审核|知知