2026-11-06 23:17:29
作者：
科技
上周蹭去朋友的工作室。
他那台贴满动漫贴纸的工作站接了最新的多模态大模型，我本来以为就是那种对着麦克风喊”给我画个踩滑板的橘猫”就蹦出张糊图的玩具，结果刚端起冰可乐就被整得差点把可乐洒在他的机械键盘上。
真的离谱。
它不是“会看图的ChatGPT”，是把所有感官拧成了同一团脑回路
之前总有人把现在的多模态大模型说成是”给文字模型外挂了个看图插件”——说白了就是原来的文字大模型只会读字，现在接了个图像识别的工具，能把图片里的文字转出来给模型读。
错得离谱。
我之前用某款单模态的图像识别工具，给它传了张我家狗把勃肯拖鞋咬成碎布的照片，它给我返回的标签是”织物、破损、室内地面”。我当时就翻了个白眼——合着你认不出来这是我花三百多买的、穿了三年合脚到舍不得换的旧鞋？
多模态大模型跨模态信息流转示意图
这次测的模型，你给它扔同一张照片，不用你特意说背景，它能顺着你之前唠过的话接：”上次你说这双鞋洗干净还能当居家拖鞋穿，现在是不是要给我写个200字的控诉小狗拆家的朋友圈文案，还要配个搞怪的歪头表情包？”
它根本不是给文字模型外挂功能，而是从训练阶段就把文字、图像、音频甚至短片段视频的特征打散了，揉进了同一个参数矩阵里。就像人看东西的时候，不是眼睛只负责看、耳朵只负责听、脑子只负责想，所有感官的信号是一起传到大脑里，凑成一个完整的认知——它现在走的就是这个路子，只不过现在的”脑回路”还没人类那么顺。
别被演示视频骗了，它现在的“脑子”还漏风
我当时特意找了个刁钻的测试题：翻出手机相册里去年在南京老门东拍的照片——就是那种窄窄的青石板巷，卖梅花糕的摊子支在墙根，摊主手上沾着刚抹的红豆沙，旁边立了个歪歪扭扭的手写纸牌”梅花糕 5块钱一个 不甜不要钱”，穿校服的小孩举着刚买的梅花糕，嘴角沾了点白芝麻。
我把这张图丢给模型，说”帮我写个适合发小红书的配文，要带点南京本地的烟火气，不要那种假文艺的排比”。
出来的第一版文案确实有那味，什么”老门东的风里都飘着红豆沙的甜”，我刚要点头，顺嘴问了一句”摊主手上的红豆沙是刚熬出来的吗”。
它卡壳了。
隔了两秒才蹦出来一句：”根据图像显示，摊主手上的红色物体符合红豆沙的视觉特征，无法判断其温度。”
我当时就笑出了声。
合着你刚才还能感知到风里的甜味，现在连点常识都没了？
多模态大模型常识漏洞测试场景图
露怯是真的露怯。不是它笨，是现在的训练数据里，根本没有多少”手上沾的红豆沙是不是热的”这种没有明确标注的细碎常识——毕竟没人会特意给几百万张照片标上”这摊红豆沙刚熬了半小时，温度大概60度”。
我朋友说上周测试的时候，给模型看了张他家橘猫蹲在鱼缸边伸爪子的照片，它一开始憋了三秒，才慢悠悠输出：”这是一只橘猫，正在接触玻璃鱼缸。”
又过了两秒才补了句：”哦，它想捞鱼吃。”
三秒啊。
人看见这场景0.1秒就知道猫要干坏事了，它得愣三秒，中间还得卡一下。说实话，我之前刷到网上那些吹得天花乱坠的演示，什么模型能秒懂所有潜台词，能帮你剪片子、写脚本、做整套设计，我差点就信了。真上手用俩小时就明白，它现在更像一个刚进大学的新生——课本上的知识点记了一肚子，真要结合生活常识解决具体问题的时候，动不动就卡壳，甚至会闹点小笑话。
你根本不需要等它“完美”，现在就能拿它干很多有意思的事
我那天在工作室没干啥正事，就拿它玩了快半小时。
把我电脑里存了三年的猫的照片导进去，让它按”猫的表情”分类——什么”一脸不爽的嫌弃脸””偷喝牛奶被抓包的慌张样””睡成大饼的死宅姿势”，分的比我自己整理的还细，甚至能从一堆糊到看不清脸的夜景照片里，挑出哪几张是同一只猫在不同时间的睡姿。
普通用户用多模态大模型整理相册实拍图
我朋友更绝，把他去年秋天在南京陵园路拍的梧桐大道的视频导进去——就是那种风一吹梧桐叶往下掉，骑电动车的人裹着外套匆匆过，路边的糖炒栗子摊子冒着白汽的片段，他让模型从视频里截几个最有氛围感的帧，再配一段适合当短视频BGM的文字脚本。
出来的东西一点都不假大空。没有”梧桐大道见证城市浪漫”这种听了就起鸡皮疙瘩的句子，反而写的是”风卷着叶子落在电动车的后视镜上，卖栗子的阿姨翻了个锅，热气裹着糖香飘了半条街，你要是路过，一定要买十块钱的，刚出锅的烫得拿不住”。
我当时看完真的愣了两秒。
很多人现在对多模态大模型的期待特别拧巴，要么觉得它马上就要取代所有设计师、文案、摄影师，要么觉得它就是个花架子，啥用都没有。其实根本不是。
别神化它。
也别贬低它。
它就是个刚长出来的新工具。没有大家吹的那么万能，也没有大家骂的那么没用。它现在最大的价值，不是什么帮企业提高多少生产效率，是帮你把那些存在手机相册里积灰的、存了半年没剪的视频、写了一半的碎想法，重新捡起来，串成个你愿意拿给朋友看的东西。
你不需要等它变完美。
现在就能拿它玩点有意思的。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：蹲完3小时多模态大模型实机测试，我发现它根本不是网页里吹的那样
文章链接：https://m.lfdjt.com/p/keji/a/19048.html