上周六去我姐家，她家三年级的小屁孩举着个歪歪扭扭的快递盒恐龙堵在我门口，说要交手工课作业，还差一段介绍词写不出来。
我本来想打开搜图，找个通用的恐龙介绍模板凑数。结果手滑点开了之前下载的多模态大模型，顺手把那张糊得要死的恐龙照片传了上去——背景里还露着半袋吃了一半的薯片。
我当时直接傻了。
它没念什么“恐龙是生活在中生代的爬行动物”这种屁话。先是说“你这个背棘贴歪了哦，是三角龙不是霸王龙，角是梧桐果做的对吧”，然后给的介绍词是“我用攒了三周的快递盒做了只走歪路的三角龙，它的角是我捡的小区里的梧桐果，上周被我家猫啃掉了一块”。
小孩看完直接蹦了三尺高，我站在原地愣了半天。
别再拿“能识图的聊天机器人”框住它
很多人对多模态大模型的印象，还停留在“原来的聊天机器人加了个识图功能”。甚至有人觉得，它就是先把图片转成一段文字描述，再把这段描述喂给原来的文本大模型，跟你聊的时候全靠中间的文字翻译。
真不是。
现在的多模态大模型根本不是“文本大模型+识图插件”的拼接品。它的训练逻辑从根上就不一样：训练的时候，它不是先给图片打个文字标签再喂进去，而是直接把图片的像素块、音频的波形、视频的帧，全部和对应的文本内容放在一起做对齐训练——就像你小时候学说话，大人指着苹果说“这是苹果”，你不是先把苹果的样子转成文字再记，是直接把“苹果”这两个字，和你看到的红的、圆的、咬一口脆的那个东西绑在一起记的。
说白了，它不需要一个“中间翻译”的步骤。你给它一张图，它不是先念一遍“这是三角龙手工”再跟你聊，是直接从图的像素里，看懂那个歪歪扭扭的背棘、粘在脑袋上的梧桐果、背景里露出来的薯片袋，甚至能看出来那个手工的胶水印还没干。
这和你先给人念一段“我做了个三角龙手工”，人家再跟你聊，完全是两回事。
它现在能摸透的细节，比你想的多得多
我之前认识个做古建筑测绘的朋友，之前每次去测老房子的斗拱，都得爬脚手架，拿尺子一点点量哪个构件多宽，哪个地方有开裂，有时候爬半天，还差点摔下来。
上次他给我发了张斗拱的照片，说现在直接拍个照，多模态大模型就能给他标出来哪个是翘，哪个是昂，甚至能看出来哪个木构件有细微的裂纹，需要上报修缮。
我当时还不信，直到他给我发了个截图：照片上的斗拱被标了好几个彩色的框，每个框旁边都标着构件的名字，甚至还有一行小字“第三根昂的端部有0.2mm的开裂，建议优先检查”。
太离谱了。
还有我那个做宠物医疗的朋友，现在有时候遇到外地的客户发猫的照片，先让多模态扫一眼：比如牙龈是不是红的，有没有耳螨，指甲是不是太长了。上次我把我家猫打哈欠的照片传上去，它直接给我弹了个提示：“你家猫的牙龈有点泛红，最近是不是喂了太多高油的罐罐？”
我鸡皮疙瘩都起来了。
我上周确实刚囤了半箱主食罐，连我对象都没注意到我家猫牙龈红了。
当然它也不是啥都能看明白。上次我把我家狗剃完毛的丑照传上去，它说这是只“棕色的大老鼠”，我笑了十分钟。不过也正常——你要是把我家狗那身毛剃得只剩一层贴皮的短绒，猛一看也确实像个大老鼠。
那些让人吐槽的“bug”，其实才是它最像人的地方
现在网上吐槽多模态大模型的人不少，说它经常看错东西：把猫看成狗，把图里的文字读错，甚至有时候会把你照片里的路人当成主角。
很多人说这是它“笨”，不行。
但你仔细想想，人不也这样吗？
你晚上走在小区里，树影晃一下，你也会以为是有个人站在那；你赶早八的时候，扫一眼路边的招牌，也会把“奶茶店”看成“茶奶店”；你要是连续熬三天夜，看什么都模模糊糊的，连自己家门牌号都能看错。
现在的多模态大模型，不是靠死记硬背来识别东西的。它的识别逻辑和人很像：是靠之前训练过的所有数据，形成一种“感觉”，来判断眼前的东西是什么。
就像你看到一个字，你不会特意去数它有几横几竖，扫一眼就知道是什么字。它也是一样的——它不会去数三角龙的背棘有几个，是靠“这个形状的背棘，应该是三角龙”的感觉来判断的。
所以它有时候会看错，太正常了。
说实话，我上次把我写的草稿纸拍给它，上面画的乱七八糟的箭头，还有半行划掉的字，它居然能看懂我本来想写什么。这种感觉，就像你把自己写的乱七八糟的笔记给你同桌，他居然能知道你上课在想啥一样。
不过话说回来，我也见过不少吹得没边的内容，说多模态大模型能替代设计师，替代老师，替代测绘员。
真的别扯。
它现在最多是个眼睛比你尖、记性比你好的助手。它能帮你标出来斗拱哪里裂了，能帮你写手工介绍词，能帮你看猫的牙龈红不红，但它不会知道你那个手工是想给喜欢的女同学看，不会知道那个老斗拱是你爷爷当年参与修的，也不会知道你家猫牙龈红了是因为你最近天天给它喂罐罐，它其实根本不爱吃，只是怕你伤心才硬吃。
这些东西，它看不懂。
也不需要它看懂。
现在很多人要么把它吹成无所不能的神，要么把它骂成一无是处的傻子，其实都没必要。它就是个刚学会睁眼看世界的小孩，有时候看得准，有时候看错，有时候能给你点小惊喜，有时候还得你帮它擦屁股。
就够了。
作者|科技
排版|科技
审核|见微