2026-10-08 22:22:13
作者：
科技
0923在南京国展的数字展逛了三天，本来是冲着新款VR头显去的，结果在角落一个不到十平米的小展台，站了快一个小时没挪脚。就是因为那个演示，太刷新认知了。一个穿牛仔裤的小伙子，拿了张皱巴巴的A4纸，上面是歪歪扭扭手绘的社区咖啡店草图，对着麦克风说：改成带露天座位的日系风格，帮我算一下大概装修预算，写在图右下角，我待会要拿给房东谈租金。十几秒，屏幕上出来一张带尺寸标注的效果图，右下角清清楚楚列了分项目的预算，甚至还附了三句给房东说的客气话，直接就能用。我当时站在后面，哦，原来这就是最近刷屏的多模态大模型啊。
我第一次搞懂多模态到底比单模态强在哪
之前刷手机看报道，翻来覆去看不懂，一会儿说“融合模态”一会儿说“通用对齐”，看完还是一头雾水。那天看完演示突然就通了。以前我们用的大模型，都是偏科生。有的只会认字，你给它一段文字它能给你写方案，你给它一张图，它直接傻了。有的只会认图，你说给我画个猫，它能给你画一万种猫，你说帮我把这张图里的猫的尺寸改成适合做明信片的，它就搞不定，还要你把需求转成文字重新输。
多模态不一样，它是能同时读懂好几种信息的全科生。文字、图片、声音、甚至视频，它能一块捋明白，不用你来回换软件导文件，不用你把不同格式的需求拆成一块一块喂给它。
多模态大模型图文音频多输入交互示意图
那天我自己上去试了一手，我翻出手机里之前拍的一张我妈包粽子的糊照片，说：帮我把照片调清晰，写一段端午发家庭群的话，要夸我妈包的粽子比外面卖的好吃。五秒，搞定。照片锐化了，背景杂影去掉了，文字写得也像我平时会说的话，不是那种假兮兮的官样文章。放以前，我得开修图APP调，开微信输入法写，来回切个五六步，现在对着图张嘴说一句话就完了。
很多人对多模态的误解，我那天也踩了坑
一开始我也以为，多模态大模型就是把文字大模型和图像大模型拼一块，套个统一的界面就是了。展台的小伙子说，不对，这是最多的误区。拼出来的那叫“多模型”，不是真的多模态。真的多模态，从训练阶段就把文字、图像、音频这些不同类型的数据揉在一块训练，底层的特征是打通的。它不是说我看到一张图，先调用图像模型识别，再把识别结果转成文字丢给文字模型，再把文字模型的结果转回来，整个过程是在同一个底层逻辑里完成的。就像你看书看配图，你的大脑不会说先让视觉区处理图，再把结果传给语言区，你是一块就理解了图和文字的关联。这个才是多模态最核心的东西。
还有一个误解，很多人觉得多模态就是既能生成文字又能生成图，仅此而已。其实不是。它牛的地方是能读懂不同模态信息之间的关联。你拿一张手绘户型图，说我要在这里加个婴儿床，它得知道婴儿床多大，哪里能放哪里不能放，得把图里的空间信息和你说的需求对应起来，不是分开出个图再出个文字就完了。
南京数字展多模态大模型现场演示场景实拍
说实话那天我听了才反应过来，为什么之前很多工具用起来那么别扭，原来就是因为它们是拼出来的，信息不对通，你说的需求它理解不到位，来回折腾还是错。
多模态要走的路，其实还挺长
多模态要走的路，其实还挺长
那天演示也翻了车。有个带眼镜的大叔，拿了自己家的户型手绘，说我要把客厅隔出一块做婴儿房，家具尽量选小尺寸的，别挡着过道。结果出来的效果图，婴儿床直接塞在了承重墙的位置。全场都笑了，小伙子也挠头，说你看，这就是现在还没解决的问题。它能看懂图像像素，能读懂文字需求，但是它不懂现实世界的物理规则，承重墙是不能放东西的，这个常识它没有。
还有，现在市面上浑水摸鱼的太多了。随便套个开源的接口，拼个界面就说自己做多模态大模型，割投资人的钱，割中小商家的钱，这种情况不少见。再说隐私，你给多模态的信息，不光有文字，还有你家的户型图，你孩子的照片，你随口说的家庭情况，这些信息比纯文字敏感一万倍，一旦泄露，麻烦比纯文字泄露大得多。这些问题，现在都没找到完美的解决办法。
不过话说回来，这也不妨碍它已经开始改变我们的日常了。我认识一个做自由设计的朋友，现在接小单子，客户给的需求都是糊手绘加语音条，直接一块丢多模态，十分钟就能出初稿，剩下的时间只需要调细节，原来一天接两个单子，现在一天能接四个，实实在在省时间。我自己写稿子找配图灵感，现在就是把我脑子里想的画面画两笔歪歪扭扭的，输两句话，它就能给我出好几张参考图，比我在图海里面搜半天效率高多了。
那天从展馆出来，走在中山东路上，0923的南京，风已经带点秋天的意思了，两边梧桐叶子开始黄了，飘得满地都是。我掏出手机拍了张路景，对着麦克风说，帮我调暖一点，配一句话发给我在北京的朋友，说我想她了。不到十秒，东西就出来了。我点了发送，把手机塞回口袋，一片梧桐叶落在我领口。我那时候突然想，很多时候技术的改变就是这样，不是惊天动地的发布会，不是吹得神乎其神的概念，就是你掏手机的这十秒，帮你省了十分钟的麻烦，帮你把脑子里模糊的想法，变成了能发出去的一句话一张图。对吧？
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：逛了三天数字展，我被多模态大模型打了个措手不及
文章链接：https://m.lfdjt.com/p/keji/a/7948.html