多模态大模型:它看见猫,听见‘喵’,然后呢?

上周我把一张照片丢给某个AI。照片里是我家猫在打翻水杯。我问它:‘这货在干嘛?’它回:‘一只橘猫正在用爪子推桌上的玻璃杯,水洒出来了。’

说实话,我愣了一下。不是因为它答对了——而是它怎么知道的?它又没长眼睛。

这就是多模态大模型在干的事。它把图片、文字、声音这些不同形态的信息,搅在一起,然后试图‘理解’。

它不是在“看”,而是在“猜”

视觉编码器先把图片切成小块,每一块变成一个向量。这些向量排成序列,和文字的词向量放在一起。然后Transformer的注意力机制让它们互相‘看’。图片块会看文字,文字也会看图片块。

多模态大模型视觉编码器图像分块示意图
多模态大模型视觉编码器图像分块示意图

但这里有个坑。模型看到的不是‘猫’,而是一堆数字。它根据训练数据里的统计规律,猜出这堆数字对应‘猫’。如果图片模糊,或者角度奇怪,它可能猜成‘狗’。

跨模态对齐是关键。不是简单拼接,而是让图片和文字在同一个语义空间里。比如CLIP,用对比学习,把匹配的图文拉近,不匹配的推远。这样模型就能知道‘猫’这个词和猫的图片是近的。

误区:多模态不是“多个模型拼起来”

有人觉得,多模态大模型就是拿一个视觉模型加一个语言模型,串起来。太天真了。串起来的结果是,视觉模型输出‘猫’,语言模型说‘猫在桌上’,但如果你问‘猫为什么在桌上?’它就傻了。真正的多模态需要联合训练,让模型学会跨模态推理。

举个例子。你给一张图:一个人拿着伞,站在雨中,但表情开心。问:‘他为什么开心?’纯视觉模型可能说‘因为下雨’。语言模型可能说‘因为伞是红色的’。但多模态大模型会结合场景:下雨天通常让人烦躁,但他拿着伞,可能因为终于用上了新买的伞?或者他喜欢雨?——这需要常识和推理。

多模态大模型跨模态注意力机制交互示意图
多模态大模型跨模态注意力机制交互示意图

问答时间:它到底能干什么?

问答时间:它到底能干什么?
问答时间:它到底能干什么?

问:它能看懂视频吗?

能,但视频是时空序列,比图片复杂得多。你给它一段视频,它需要理解动作、因果、时间顺序。比如‘他先开门,然后摔倒’,模型得把帧串起来。目前有些模型可以,但容易漏掉细节。

问:它能理解梗图吗?

有时候会翻车。梗图依赖文化背景、反讽、双关。模型可能看到‘一只狗坐在着火的房间里说“this is fine”’,它知道狗和火,但不懂‘this is fine’的黑色幽默。它会说‘狗在火灾中,很危险’。对,但没内味。

问:那它有什么用?

多了。比如给视障人士描述周围环境,或者帮医生看片子,或者你拍个冰箱问‘今晚能做什么菜’。但别全信,它会编。

时间线:这东西怎么来的?

2017年,Transformer出来了,本来是为了翻译。后来大家发现,这玩意儿处理序列很厉害,不管文字还是图像块。2021年,CLIP把图文对齐玩出了花。再后来,GPT-4V、Gemini、开源模型一堆。但别问我哪个好,我不做比较。

冷思考:它真的“理解”吗?

冷思考:它真的“理解”吗?
冷思考:它真的“理解”吗?

我不确定。它可能只是找到了统计相关性。比如‘猫’和‘毛茸茸’经常一起出现,所以它把毛茸茸的东西叫猫。但如果你给它一只无毛猫,它可能犹豫。人类理解猫,是因为我们有概念、有体验。模型没有。它只有矩阵乘法。

还有能耗。训练一个多模态大模型,烧的电够一个小镇用。你每问一次,背后都是GPU在转。隐私呢?你上传的照片,可能被用来训练。所以,别随便拍身份证。

不过话说回来,这东西确实在改变交互方式。以前我们搜图,得打字。现在直接拍。以前我们问问题,得描述。现在指一下就行。

但别把它当神。它会犯错,会幻觉,会一本正经地胡说八道。所以,用的时候,留个心眼。

对了,说个事。我后来又问那个AI:‘猫为什么打翻水杯?’它说:‘可能想喝里面的水,或者只是好玩。’我看了看我家猫,它正盯着我。我觉得AI说得对,但猫可能只是欠揍。

作者|科技

排版|科技

审核|白杨

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:多模态大模型:它看见猫,听见‘喵’,然后呢?
文章链接:https://m.lfdjt.com/p/keji/a/25443.html