蹲在奶奶家修老照片的下午，我摸透了多模态大模型的真实逻辑

上周回南京郊区的奶奶家，翻出樟木箱里压了三十年的老相册。

最上面那叠是我小时候骑在爷爷脖子上看秦淮灯会的照片，边角磨得发白，还有半块当年洒的茶水印。我本来想着找个修图工具把照片弄清楚，随手把那张糊得快看不清人脸的照片拖进之前存的多模态工具里，没等我输修复指令，屏幕先跳出来一行字：”这张1998年的灯会照片里，小孩举的兔子灯纸边破了个洞，我可以帮你补全纹理。”

我当时愣了。

它怎么知道是1998年的灯会？我啥都没说啊。

别拿”能看图的聊天机器人”糊弄人

说真的，之前我对多模态大模型的印象，也停留在”你发图它能说图里有啥”的层面。直到那天，我才反应过来之前接触的好多号称”多模态”的产品，其实根本不算真的入门。

那种把图像识别模块和语言模型硬拼接的”多模态”，本质上是两个各干各的的工具，中间靠一层薄薄的文字描述当翻译，根本谈不上理解。比如你发一张猫踩了键盘的照片，它只会机械地告诉你”图中有一只橘色猫咪、白色机械键盘、米白色瓷砖地面”，就像个刚学会念说明书的新手，根本接不住你没说出口的后半句——你本来就是想吐槽自家猫踩乱了写了一半的方案，它要是能顺着你的情绪，直接帮你把键盘截图里露出来的半段文档文字抠出来，顺成通顺的段落，那才叫真的摸到了多模态的门槛。

我那天对着那张老相册的照片坐了半小时，试了好多之前的工具，要么是修出来的照片带着浓浓的网红滤镜，把爷爷的脸磨得连皱纹都没了；要么是识别不出来照片上的老建筑，把当年的中华门城堡说成了现代写字楼。只有那个工具，修出来的照片连我爷爷当年穿的那件藏蓝色中山装的毛球都保留着，还自动把茶水印的颜色调成了和老照片统一的棕褐色，没有一点突兀的修复痕迹。

之前总有人说，多模态就是让AI能像人一样同时看、听、说。这话听着对，其实没说到点子上。真的区别从来不是”能处理几种格式的文件”，而是它在处理这些文件的时候，是不是真的把不同来源的信息揉在了一起，而不是各跑各的流程。

你以为的”识别准确”，其实只是入门门槛

之前有个做宠物用品的朋友跟我吐槽，说他之前找的图像识别模型，把他家柯基踩在雪地里的照片认成了狐狸。我问他为啥，他说训练的时候，模型见的全是白底的柯基标准照，根本没见过沾了白毛的柯基，更别说把”柯基的短腿””耷拉的大耳朵”这些核心特征，和”雪地反光让毛发看起来发白”的场景关联起来。

真正的多模态模型，从训练初期就没有把图片、音频、文字拆成独立的处理流程，而是把所有信息拆成能互相映射的特征碎片，就像人在记一件事的时候，不会把视觉、听觉、情绪硬生生割开。

我后来把同一张沾了雪的柯基照片丢进那个多模态工具里，它根本没纠结照片里的白毛，第一反应就点出了那对垂到脸颊的大耳朵，还有短到几乎贴到地面的腿，准确判断是柯基。我顺着问了一句”能不能给这只柯基做个冬天的表情包，配个不尬的字”，它十秒钟就出了图，把柯基踩雪冻得缩脖子的神态截下来，配的字是”今天出门冻得耳朵不是我的了”，连表情包的圆角边框都做的刚刚好。

说真的，我之前用那种凑数的模型，问三个问题就露馅，像个背了标准答案的学生，碰到稍微拐个弯的问题就卡壳。你问它柯基的照片是什么，它答”是柯基”；你再问能不能做表情包，它就开始绕圈子，让你先把图导入修图软件，再把文字单独导出来排版，根本不会顺着你的需求把流程串起来。

对吧？我们平时用工具，哪有那么多精力一步步操作流程啊。

别神化，它现在的”懂事”还是有代价的

现在很多人对多模态的期待太满了，总觉得它应该是无所不能的万能助手，但实际上它现在的能力边界，比大多数人想的要窄得多。

我那天在奶奶家，翻到一本爷爷当年手抄的佛经，上面的字是用毛笔写的，还有很多歪歪扭扭的个人批注，我把这页纸拍了照丢进工具里，它居然读错了好几个字。为啥？因为训练数据里的这类个人手写的老抄本太少了，尤其是带着个人书写习惯的内容，它的特征库根本没覆盖到。

更有意思的是它的”脑补”能力。我给它看一张只有半个人的家庭合影，它居然自动补全了另一半的人脸，甚至编出来这个人当年在合影的时候说了什么话。我当时看到那段编出来的话，后背都有点凉——要是我真的把它当记忆助手，哪天它给我补的内容是错的，我根本察觉不出来。

上次我就被坑过。让它帮我整理老照片的备注，它居然把我小姨的生日写成了我妈的，我拿着备注准备礼物，被两个人笑了快半小时。

不过话说回来，那天最后我还是用那个工具把所有老照片都整理完了。把奶奶年轻时候在长江边拍的那张模糊的照片，补全了背景里的轮渡，还配了一段她当年最喜欢听的《茉莉花》的轻音乐片段，奶奶凑在屏幕前看了半天，说”这跟我记忆里的样子一模一样”。

我那会突然觉得，大家之前吵来吵去说多模态大模型到底是什么，其实根本不用讲那么多拗口的术语。

就是它能接住你藏在照片里、声音里、文字里的那些没说出口的情绪，不是冷冰冰的识别工具。

至于那些吹得天花乱坠的”全能模态”，什么能闻味道能摸材质的，等真的能用在日常里再说吧，现在扯这些都是虚的。