上周三下班，在单元门旁边蹲了12分钟。
风卷着梧桐叶打在电动车座上，那只常蹲在这儿的三花猫团着身子，尾巴卷成个圈，眼神斜斜瞟着路过的人，跟我上次被领导临时拉去开两小时没结论的会时的表情，分毫不差。
我掏出手机拍了三张照片，翻来覆去想朋友圈文案，打了删删了打，半小时凑不出一句顺的。突然想起上周刚更的那个多模态工具，直接把最满意的那张拖进去，敲了半行字：”这猫蹲得跟我上次开大会的表情一模一样”。
没等我打完后半句，回复跳出来了。
“建议给它脚边放个温乎的豆浆，它看起来已经在这儿等了二十分钟了，比你上次等领导批假的耐心还足。”
我盯着屏幕愣了三秒。
它怎么知道我上次等领导批假等了快半小时？哦不对，我根本没说过这句话。它只是从照片里猫的姿态、我打的那半行字的语气，拼出来了那种又疲惫又有点好笑的松弛感。太准了。
别被“多模态”这三个字唬住
很多人第一次听这词，觉得是啥离自己八丈远的技术概念。真不是。
你回忆下两三年前用的大模型，本质就是个纯靠文字吃饭的笔友。你得把所有信息敲成字发过去，它才能接得上话。你要是忘了说”我现在在路边拍了张猫”，直接问”这猫可爱不”，它能给你扯半小时关于猫的品种科普，完全不知道你说的是哪只。
那时候的所谓“能看图”的功能，更像个外挂的识字工具。你拍张图，它先把图上的字转成纯文本，再喂给原来的文字模型读，整个过程是断开的——就像你跟人说话，中间隔了个只会逐字翻译的机器，人家得先把你说的话翻成另一门语言，理解完了再翻成中文回你，中间错漏能绕三圈。
现在的多模态大模型，从根上就换了思路。
它从一开始训练的时候，就没把图片的像素、语音的波形、文字的语义拆成互不相关的几堆。就像你自己感知世界的方式一样：你看到猫蹲在车座上的瞬间，不会先把眼睛看到的色块翻译成文字，再调动脑子里的情绪，你是一眼就get到”这猫好拽，跟我上次开会的状态好像”，整个反应是连在一起的，没有中间的翻译环节。
它能接住你没说出口的半句话，靠的根本不是啥读心术，就是把这种“看东西的时候同步带情绪、带联想”的人类习惯，揉进了训练逻辑里。
你以为它是“看个图说话”？差远了
我身边好多人对多模态的认知，还停留在“给图片配个文艺文案”“识别一下图上有啥东西”的阶段。真的把它想浅了。
上次我在厨房台面上摊了半袋开封的大米，倒了小半瓶生抽，台面上还撒了两滴没擦的酱油，我啥字都没打，直接拍了张台面的照片发过去，问”我现在要干啥”。
换作两年前的所谓看图工具，大概率会回”你台面上有大米、生抽、撒了酱油，需要清洁”。
但那次的回复是：”你大概率是要做酱油炒饭，大米先泡10分钟更软，台面上的酱油离你右边的插线板只有三厘米，记得擦的时候别蹭到电源，上次你做炒饭放多了盐的毛病，这次记得少舀半勺。”
我当时真的后背一麻。
它甚至连我上次做炒饭盐放多了的事都“知道”——哦不对，我之前跟它提过一次，说我做酱油炒饭总掌握不好盐量，它把那次的文字记忆，和这次照片里的场景，直接连起来了。
很多人说这是“跨模态理解”，听着玄乎。其实说白了，就是它现在能把你散在各处的、用不同方式说过的事，凑成个完整的认知。你之前打字说过你盐放多了，现在拍了厨房的照片，它不会把这俩事当成完全不相关的输入，而是像个真的跟你聊过天的朋友，能把前后的事串起来。
现在吹得太神的功能，其实还半残
别听网上那些宣传稿瞎扯，什么多模态能帮盲人实时导航，能一秒看懂病历直接出诊断，能陪老人聊天解闷还能识别老人是不是摔了。
真用的时候，bug能多到你笑出声。
我上周翻出来张小学三年级的运动会照片，照片里我举着个皱巴巴的参与奖奖状，站在跑道边的梧桐树下，我把照片发过去问”我这张照片里当时跑了第几名”。
它一本正经给我回：”你当时跑了100米第一名，站在领奖台上举着奖状，脸上带着笑，是运动会上最耀眼的小孩。”
拉倒吧。
我当时跑了倒数第二，奖状是只要参加就给的参与奖，我那时候因为跑太慢，站在树底下偷偷抹眼泪，照片上的笑脸是挤出来的。
它为啥错得这么离谱？因为它根本没有关于我的私人记忆。它只是从照片里的元素——奖状、跑道、小孩的脸——去匹配它训练过的海量照片里的常见场景，概率上”举着奖状站在跑道边的小孩”，大概率是拿了第一，那它就顺着这个概率编下去。对吧？你总不能指望一个连你私人记忆都没有的工具，比你自己还了解你跑了第几名。
所有靠概率生成的内容，永远会在你最意想不到的地方出错。
你给它发个10分钟的做饭视频，它能顺顺当当给你列出来每一步要放多少盐，但是要是中间你镜头晃了两秒，拍到窗台上站了只麻雀，它下一秒能把菜谱和麻雀的叫声混在一起，给你出个”炒鸟蛋要放三勺生抽”的离谱教程。
说实话，我现在用它，从来不让它碰需要精准判断的事。就当个灵感搭子——拍个路边看到的奇怪广告牌，让它帮我想两句吐槽的话；拍个手写的乱糟糟的会议笔记，让它帮我整理成顺的条目；甚至拍我家猫拆家的现场，让它帮我给猫写个检讨书。
就够了。
再过两年，你根本不会特意提“多模态”这三个字
现在大家还把“多模态大模型”当个新鲜功能，就像十几年前大家刚用上能上网的智能手机的时候，见人就会说”我这手机能刷网页”。
谁现在会特意提啊？
以后你打开手机，对着屏幕说两句话，拍张你正在拼的乐高的照片，甚至直接录一段你跑步的视频，它自动帮你找缺的乐高零件，帮你配下一步的拼接示意图，帮你算你今天跑的配速是不是比上周快了。你根本不会意识到，你现在用的这个工具，是个”多模态大模型”。
未来你不会刻意感知到多模态的存在，它就像你手机里的输入法，像你平时用的导航，变成个没什么存在感的基础功能。你不会天天把”我在用输入法”挂在嘴边，因为它已经变成了像空气一样的存在。
哦对，上次我把那张三花猫的照片发朋友圈，最后配的文案，还是它帮我补完的。
“它蹲在那儿等风，我蹲在那儿等下班，我们都有光明的未来。”
我盯着这句话看了半天。
真的，比我自己想的好太多。
作者|科技
排版|科技
审核|知知