多模态大模型:能读懂你拍糊的猫、断句的语音、潦草草稿的技术

上周三加班到九点,挤在晚高峰的地铁里,我想给合租的室友发消息。

说楼下便利店的冰美式最后两杯我都包了,手快拎不动了,让她下楼接一下。

结果手忙脚乱的。

先是对着冷柜拍了张糊到连可乐标签都看不清的照片,然后语音按到一半松了,只录了半段”楼下冰美…最后两…我拎不动…”,最后在备忘录里打了半行”记得带”,就把这三个零碎的东西一股脑丢给了我平时用的那个带多模态能力的大模型,让它帮我整理成能直接发的消息。

我本来已经做好了被它反问”请提供清晰图片””请补充完整语音内容”的准备。

结果它三秒钟就回了一段:”我现在在小区门口便利店,把最后两杯冰美式都买了,手快拎不动了,你换个舒服的鞋下来接我,顺便带个环保袋呗。”

当时我盯着屏幕愣了三秒。

换做两年前的AI,这堆碎东西根本拼不成有效信息。

它根本不是“把几个模型拼在一起凑数”

我身边好多朋友提起多模态大模型,第一反应就是把之前干文字的、干图片识别的、干语音转写的几个模型硬拼在一块,像那种几块钱的拼装玩具,每个部件各干各的,最后把结果凑一块输出。

根本不是。

真正的多模态对齐,从训练最开始就不是各部件独立工作再拼接结果——它是在最底层就把所有来源的信息,拉到同一个语义空间里做匹配。

什么意思?

就像你小时候认识苹果,你不是先背下来”ping guo”这两个音节,再记下来红苹果的照片,再写下来”苹果”这两个汉字,最后才把这三个东西对应上。你是摸着苹果凉丝丝的皮,咬一口尝到酸甜的汁水,听着大人念名字,看着红通通的果子在筐里滚,所有感知从一开始就是揉在一块的,根本不需要事后再去”拼接”。

多模态大模型跨模态信息对齐示意图
多模态大模型跨模态信息对齐示意图

之前那种硬拼出来的所谓多模态有多让人哭笑不得?你给它看一张你抱着胖猫的照片,旁边配一行字”我家猪今天又拆家了”,它会一本正经跳出来纠错:”检测到图片中的动物是猫,与文字描述的猪不匹配,请核对内容”。

就像那种读死书的书呆子,根本get不到你是在吐槽猫胖得像猪,只会对着定义死抠字眼。

别被宣传稿骗了,它现在还没到“通人性”的程度

说实话,现在刷科技新闻,总有人把多模态大模型吹得像能读心的神仙。

我上周特意拉着同事测了一堆场景,最后得出的结论是,它离真的”懂人”,还差得远呢。

就拿上次的外卖测试来说,我中午拍了一张桌上的照片:一盘宫保鸡丁、一碗白米饭、半瓶没喝完的冰红茶。我问它这顿饭大概花了多少钱。

它算得头头是道:宫保鸡丁均价28,米饭2块,冰红茶5块,总共35。

结果实际我只花了18。

因为那家小店的宫保鸡丁当天搞活动只要11块,米饭1块,那半瓶冰红茶是我从公司冰箱拿的,根本没花钱。

你看。

它根本没在”看”。它只是在调取记忆里的平均数字,根本不知道你家楼下的小店天天打五折,也猜不到哪样东西是你本来就带在身上的。

多模态大模型日常场景识别失误案例对比图
多模态大模型日常场景识别失误案例对比图

还有人说它能看懂人的情绪。

上次我拍了一张加班的桌面:揉皱的草稿纸、喝空的咖啡罐、亮着的电脑屏幕上是改了第八版的方案。我问它我现在心情怎么样。

它回:”你看起来很疲惫,压力很大,需要适当休息。”

但它根本不知道,屏幕上的方案最后一页,客户刚回了一句”就按这个来,下周给你发项目奖金”。我其实是熬太久脸垮了,心里正偷着乐呢。

它现在能接住的信息碎片,还远没到能完全共情人类情绪的程度。它能认出来画面里有什么东西,能转出来你说的什么话,但读不懂那些藏在细节里的、没说出口的潜台词。

真正有用的场景,从来不是让它替你做决定

我现在对多模态大模型的期待,早就从”它能帮我写方案、做PPT、代替我上班”,降到了一个特别实在的水平。

它不用什么都懂。

只要能帮我把零散的碎信息整理顺了,就够了。

比如上次去医院,医生开的处方字龙飞凤舞,我站在窗口盯了三分钟,连药名都认不出来。掏手机拍个照丢给它,它能把药名、服用剂量、饭前还是饭后吃、哪些食物不能碰,一条条理得清清楚楚,甚至能提醒我那个治过敏的药吃了会犯困,别骑电动车回家。

再比如我家那台用了八年的咖啡机,说明书早就丢没了。上次它突然不出水,指示灯闪三下红灯,我对着机器拍了一圈视频,把故障描述给它,它帮我排查出来是滤网没卡紧,拧一下就好,根本不用我找售后等半天。

哦对,上次我家猫把我刚画的设计稿踩了个梅花印,我拍给它看,它甚至能顺着被踩糊的线条,帮我把稿子补得整整齐齐——虽然补出来的猫比我画的好看一百倍,我甚至有点嫉妒。

最落地的多模态应用,从来不是替代人做决策,而是帮人省掉整理碎信息的精力。你不用费劲把所有想法都整理成规整的长文、清晰的照片、完整的语音,你哪怕随手丢过去一堆碎片,它能帮你把这些碎片拼成能直接用的东西,就已经足够好了。

之前总有人说,技术发展到最后,人会越来越懒得表达。

其实根本不是。

当你不用为了让工具看懂你,费劲把所有的碎想法都修剪成符合它要求的规整格式,你反而愿意说更多——毕竟你知道,哪怕你发的是半张糊图、半句断了的语音、一张乱涂的草稿,对面那个东西,能接住你所有没说全的部分。

风从地铁窗户吹进来,我把整理好的消息发给室友,三秒之后她回了个翻白眼的表情,说”我已经在楼下了,你快下来,冰美式洒了我就把你猫扔出去”。

你看。

这就够了。

作者|科技

排版|科技

审核|小北

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:多模态大模型:能读懂你拍糊的猫、断句的语音、潦草草稿的技术
文章链接:https://m.lfdjt.com/p/keji/a/19411.html