上周跟朋友在老门东逛，他举着手机蹲在梅花糕摊子前拍了十分钟，照片糊得快把摊主的脸磨成马赛克。本来想丢给之前常用的文字大模型写个朋友圈文案，结果输了半天文字描述，出来的内容全是“古城烟火气，岁月静好”——假得能抠出三室一厅。
换了个能传图的多模态模型，他把原图直接上传。我凑在旁边看输出，当时俩人全愣了：“你照片左下角蹲的橘猫都快等急了，手里攥的半块梅花糕掉了点渣在青石板上，文案就写‘风比糕先到，橘猫比我先等不及’。”
我们根本没在上传的图里特意指出来橘猫、掉的渣——这些细节它自己从像素里抠出来了。
先搞清楚：它不是给文字模型加了个图片插件
很多人对多模态的误解，停留在“原来的文字模型外面接个图片识别工具，把图转成文字再喂进去”。真不是。
如果是插件式的逻辑，你给它看一张手画的歪歪扭扭的路线图，它最多能把图上的字OCR出来念给你听，根本看不懂你画的那个抖抖索索的箭头指的是哪个冰粉摊子，更不知道你在“上次丢钥匙的地方”那个位置特意画了个大圈，是因为你当时画的时候，满脑子都是上次在桥上找钥匙找了半小时的狼狈。
真正的多模态，核心是把所有不同来源的信息，都揉进了同一个跨模态向量空间里。就像你自己感知世界的时候，不会把“看到的梅花糕冒的热气”“闻到的甜豆沙香味”“上次咬糕烫到舌头的记忆”拆成三个互不关联的信息块——这些东西在你脑子里是连在一块的，看到热气的瞬间，你自然能联想到烫嘴的触感。
之前的纯文字模型，就像把这些信息分别锁在不同的抽屉里，你要查哪个就得手动开哪个抽屉，永远没法把场景和情绪对应上。现在它把所有抽屉的东西都摊在同一张桌子上，能顺着关联把零散的细节串成完整的感知。
我之前测过个很日常的场景：给它看一张我家猫睡在键盘上的照片，旁边压着半杯冰美式，杯壁的水痕在桌面上印了个浅圈。换作之前的图片识别工具，最多列出来“猫、键盘、水杯”三个元素。结果多模态的输出是“这杯冰美式放了至少20分钟，水痕都干了一半，猫压的位置刚好是你平时打文档的快捷键区，等下你伸手拿杯子的时候，它肯定要伸爪子拍你手腕”。
全中。
这种像素级的细节感知，根本不是靠插件能拼出来的。
别吹得太神：它现在的“眼睛”其实还散光
说实话，这俩月我前前后后测了十几个号称全模态的模型，踩的坑能装满一个购物车。
最常见的问题，是它根本没真的“看”图，全靠之前训练的经验瞎猜。比如给它看一张很简单的图：A4纸上左边放个红三角，离纸边两厘米，右边放个蓝三角，离纸边一毫米，问它哪个离边缘更近。不少模型会直接答“红三角近”——它根本没数像素，是靠之前见过的“左边的物体离左边边缘近”的常见分布蒙的，就像人散光的时候看东西，大概知道有个轮廓，细节全是糊的。
还有更离谱的，艺术字稍微歪一点，它能把海报上的“第二杯半价”认成“第二杯全价”，然后煞有介事给你分析半天这个商家的定价策略有多离谱。手写字稍微潦草点，我上次写了“周末去吃火锅”六个字，它给我解读成“周末去吃火箭”，我盯着屏幕看了三分钟，差点把鼠标甩出去。
还有个很少有人提的硬伤：它对比例的认知偏差特别大。你给它看一张图，里面猫长到一米八，旁边站着拇指大的人，它根本反应不过来这个比例是反常识的，只会顺着内容给你讲“猫和人一起散步的温馨场景”——它不知道现实里猫不可能长到和门框一样高，就像刚戴眼镜的人，知道眼前是啥，但是对大小的判断全是错的。
不过话说回来，这也正常。人小时候看东西，还会把天上的月亮当成挂在树梢的小灯呢，哪有刚长出来的眼睛就1.5视力的。
你根本不用等它“完美”，现在已经能省你一半加班时间
很多人总觉得要等多模态大模型发展到“完全智能”的阶段才能用，其实根本不用。现在它能干的活，已经能把你从一堆重复的碎活里捞出来了。
做新媒体的朋友，以前给一篇稿子配10张图，要找版权、改尺寸、写图注，俩小时都不一定能搞定。现在把稿子丢给它，说“帮我从内容里拆5个需要配图的点，每个点写清楚场景、光线、构图要求，我直接喂给画图工具”，五分钟就能出完所有需求。
做设计的朋友更有体感。以前客户甩过来十几张参考图，说“我就要这种感觉，具体哪里改我也说不出来”。你得逐张翻，记下来哪张图的配色是客户反复提的，哪张是他明确说不要的排版，熬一个小时都不一定能整理全。现在把所有图一股脑丢给它，两分钟就能给你列得明明白白，比你自己逐张抠效率高太多。
甚至生活化的场景都好用。我妈现在学会了，在菜市场遇到不认识的菜，拍个照丢给它问做法，上次她在山边看到个长得很漂亮的蘑菇，拍了照问能不能捡回去炒，它直接标出来“这个是有毒的鹅膏菌，别碰”，给她吓出一身冷汗，现在逢人就夸这个东西实用。
当然也别吹得太狠。它现在更像你身边那个眼睛尖、记性好、坐那加班不喊累的实习生——能帮你把所有碎的、杂的、要反复核对的活都干了，但是最后要传递什么情绪，要表达什么想法，还是得你自己拿主意。
就像上次我朋友写梅花糕的朋友圈，最后还是自己把模型写的文案改了一句，把“橘猫等糕”改成“橘猫盯着我手里的糕，就像我盯着月底的工资”。这种带点自嘲的、沾着自己生活温度的表达，模型现在是写不出来的。
哦对，你上次拍的那些糊乎乎的旅游照，别删。丢给它试试，说不定它能给你找出来你当时没注意到的、藏在树后面的那个卖糖粥的摊子。
作者|科技
排版|科技
审核|安然