2026-09-25 12:03:47 分类:正文
上周六,南京入秋。梧桐叶飘得咖啡馆窗台上都是。我坐那蹭空调,朋友掏出来内测的多模态工具,说你随便造。
我第一反应是,不就是能认图能说话吗?还能玩出什么花来?
直到我随手丢了三样东西进去,才发现我之前对这东西的理解,全错了。
别被「能说会看」骗了,它的核心是读懂「关联」
第一个丢进去的,是我存在手机里三年的老照片。拍糊了,是爷爷八十年代在南京中山陵拍的留影,脸模模糊糊,背景的碑也被树枝挡了一半。
我没说这是哪,就丢了一句话:给我讲讲这张照片的故事。
十秒不到,它出了回答:这张照片的拍摄地点是南京中山陵祭堂前的平台,从照片里人物的的确良衬衫款式、照片的泛黄程度来看,拍摄时间大概在1985到1990年之间。这个平台当年是允许游客站上去拍照的,现在已经围了护栏不对游客开放了。
我当时鸡皮疙瘩都起来了。
换做以前,纯图像识别只能告诉我“这是一张人物照片,背景有石碑”,纯文本模型也没法凭空从一张糊图里挖出这些信息。它厉害就厉害在,把图像里细碎的特征,和历史信息、地理常识、甚至拍照位置的变化,全串起来了。
多模态大模型跨信息关联逻辑示意图
说实话,我之前一直觉得多模态大模型就是“文本大模型加了个图片识别插件”,拼一拼就拿出来卖了。那次之后我才改了想法。
后来我又随手画了一张歪歪扭扭的户型图,门画歪了,尺寸标的歪歪扭扭,我说我家想买一个一米八直径的圆桌,你看放不放得下。它对着我那鬼画符一样的图,估了比例,结合我写的那几个歪数字,直接告诉我:去掉沙发占的位置,放完还能容一个人侧身过,请客吃饭没问题。
这不是识别图形,这是读懂我画的线背后的需求,把图形、数字、生活常识串成了有用的答案。
普通人最容易踩的三个误区
聊完那天的体验,我回去翻了不少网上的科普,发现好多说法都在带节奏。给你们捋捋最常见的坑。
第一个坑:参数越大,多模态越好用。
真不是。我试过好几个,那种被吹得天花乱坠的超大参数多模态,上次我拍了餐桌上一碗浇了红汤的皮肚面,它愣是把皮肚面认成了螺蛳粉。反而手机上一个不大的本地多模态模型,一口就说对了——它训了足够多南京日常美食的图片,能抓住细节特征。适合你场景的,才好用,和参数大小没绝对关系。
第二个坑:多模态就是用来做AI画图、拍视频的。
好多营销号都这么说,搞得普通人觉得这东西和自己没关系。其实现在用得最多的,都是些碎活。比如学生党拍了一整本手写的课堂笔记,字歪歪扭扭还有乱涂的批注,纯OCR扫出来就是一堆乱码,多模态能分清楚哪个是标题哪个是笔记哪个是你随手画的重点,直接整理成排版舒服的电子版。还有人用它整理旧家书,老人写字抖,很多字认错,多模态结合上下文能猜出来你爷爷写的到底是“保重身体”还是“保重重在”,比纯识别准太多。
第三个坑:多模态不会出错,什么都能做。
拉倒吧。我那天试错的经历还在这放着。我把演唱会大合照丢进去,让它找人群里的我,它三次找错了三个人。我站在角落,半个身子被前面的人挡住,只露了半个脑袋,它就把别人的卷发当成我的特征,认错了。还有一次我拿了张P出来的假“南京1930年新街口雪景”丢进去,它愣是给我编了一大段不存在的历史事件,说得有鼻子有眼,吓我一跳。
它只会找关联,不会分对错。关联错了,就是一本正经的瞎扯。
普通人日常使用多模态大模型场景实拍
接下来一年,最先改变我们生活的是什么
接下来一年,最先改变我们生活的是什么
别听那些人说什么多模态要改变世界、取代设计师取代摄影师,那些都远。我觉得接下来一年,最先变的,就是我们处理“零散信息”的方式。
你想想,你有没有过这种情况:出去玩一圈,手机里存了几十张门票、车票、小票照片,还有随手写在备忘录的碎感想,还有一堆风景照,想要整理成一篇游记,要导照片、要打字理时间线,弄大半天才能弄完。现在呢,你把这些照片一股脑丢给多模态,说“帮我整理成一篇游记,把开销也理清楚”,十几分钟就给你弄完,你改改几句话就能用。
再比如,你家里老人有一本手写的菜谱,传了两代,纸都黄了,字有的晕开了,有的改了又改,你想要整理出来保存,纯OCR扫出来一堆错,自己抄又要花好几天。现在拍几张照丢进去,它就能分清楚哪一步是配料,哪一步是步骤,老人写的“少许盐”,结合上下文能给你标出来大概是多少克,直接出一本干净的电子版,想印就印。
不过话说回来,现在的多模态,还是个半大孩子。它能帮你干碎活,不能帮你做决定。它能给你整理信息,不能帮你判断对错。拿到结果,自己过一遍脑子,总是没错的。
我现在越来越觉得,好的科技从来不是把你生活全部取代,而是帮你把那些耗时间的碎活干了,把时间留给你真正想做的事。
就像那天,我试完工具,省了本来要自己整理笔记的一下午时间,和朋友沿着珠江路走到玄武门,吹了半小时秋风,看了半天落日。
秋天的南京,桂花正香。与其蹲在桌子前整理碎信息,不如多出去走两步。这才是多模态大模型,给我这样的普通人,最实在的礼物。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:在咖啡馆试出来的:多模态大模型到底能帮你做什么
文章链接:https://m.lfdjt.com/p/keji/a/2835.html