我用多模态大模型帮我妈修了张旧照片,才发现它根本不是什么"聊天神器"

上周六我妈翻箱倒柜找出一张压在玻璃板底下快30年的老照片。 1998年的中山陵,梧桐叶落得满地都是,她扎着高马尾,穿洗得发白的牛仔外套,站在台阶上笑。照片角上折了个硬印,还有两块长了霉的黄渍,以前我用PS修了快一下午,把她的脸都修得变形了,看着像个假人。 我那天抱着试试的心态,把照片扫成电子版丢给多模态大模型。 它把照片上的霉点全擦干净了,连当年被梧桐树挡住的半只手都补得自然,甚至能认出我妈腕上那只磨得发亮的银镯子是我爸当年攒了三个月工资买的,顺嘴问我”要不要给你爸也补张同场景的合照凑个对”。 说起来那只镯子现在还在我妈抽屉里,上次我找剪刀的时候翻到,银面都磨得发乌了,她舍不得戴,怕再磨坏了。

你以为它是”会看图的ChatGPT”?其实根本不是一回事

好多人给多模态大模型下的定义,就是”能看图片的聊天机器人”,真的大错特错。 以前的AI处理不同类型的信息,就像你家里住了两个语言不通的租客,一个专门读文字,一个专门认图片,每次要让他俩配合干活,就得找个翻译把图片的内容转成一段干巴巴的文字描述,再递给读文字的那个租客,一来二去,好多藏在细节里的信息全在翻译的路上丢了。 比如你给以前的AI发一张猫趴在你膝盖上睡觉的图,它能收到的信息就是”猫,棕色,趴在人腿上,睡觉”,至于这只猫的呼噜声有多大,它爪子搭在你裤腿上的力度是软是硬,你当时因为猫压着腿麻了的那种酸胀感,它根本感知不到——因为这些信息根本没被转成文字递过去。 它最核心的变化,是把图片、声音、文字、视频这些不同类型的信息,拆成了同一种可以被模型理解的”基础单元”,再也不需要中间那个翻译的角色。
多模态大模型统一表征单元示意图
多模态大模型统一表征单元示意图
我上次测它,给它发了一段10秒的短视频:我家胖橘窝在沙发扶手上踩奶,肚子随着动作一晃一晃的,我当时凑在镜头旁边说了句”你看它胖得肚子都坠下来了”。 换做以前的AI,得先把视频拆成一帧一帧的图,靠图像模型识别出”橘猫,踩奶,肚子晃”,再把这段识别结果转成文字,和我说话的语音转的文字拼到一起,才能生成回答。 但多模态大模型根本没做这些拆分。它看完直接回我”它这个踩奶的力度,估计是把你沙发当它妈了,肚子确实比去年我见它的时候厚了一圈”。 太准了。 我当时鸡皮疙瘩都起来了。不是因为它说的内容有多神,是它居然真的能把我没说出来的、藏在场景细节里的关联给拎出来,而不是靠转译的文字凑答案。

别被网上吹的”全能”忽悠,它现在的bug真的能把人整笑

我知道现在好多宣传把这东西吹得能上天,好像只要接上多模态大模型,手机就能变成万能机器人,什么活都能干。 真的别信。 它现在最大的问题,就是太会”脑补”了。 上次我把微信聊天记录的截图丢给它,就是我和我朋友约着周末爬紫金山的对话,我问它”我们刚才约了啥”,它回我”你们约了周六上午九点在紫金山入口集合,带三斤盐水鸭当午饭,爬完去吃鸭血粉丝汤”。 我翻了三遍聊天记录。 根本没提带盐水鸭,也没说爬完要吃粉丝。 它自己顺着南京的生活常识,把缺的内容给补得严丝合缝。 还有更离谱的,我给它发了一段我奶奶在家唱南京白局的录音,它能准确说出这是南京本土的传统曲艺,甚至能点出来这段的腔调是白局里最常用的”金陵调”,但我问它”奶奶唱的这段词里说的是哪家巷子里的老卤鸭”,它直接给我扯到了北京烤鸭的挂炉工艺。 给我气的。
多模态大模型识别聊天记录的常见错误案例图
多模态大模型识别聊天记录的常见错误案例图
不过话说回来,这些bug也没影响普通人用它解决小破事。 我家楼下的张阿姨,快60了,连PS安装包都不会下,上周把她孙子在幼儿园画的蜡笔画拍了照发给大模型,说”把这个画改成能当我手机壁纸的尺寸,别改原来的颜色和线条”。 十秒钟就导出了适配她手机屏幕的图,连边距都留得刚好,比找楼下打印店的老板快多了,还不收钱。 她现在逢人就夸,说这东西比她那上大学的孙子靠谱,喊孙子帮个忙修个图,得喊半小时才肯动。

再过两年,你根本不会特意”打开一个AI工具”

再过两年,你根本不会特意
再过两年,你根本不会特意”打开一个AI工具”
好多人聊多模态大模型的未来,总说以后大家会专门打开一个AI界面,对着它说话、发图、传视频,让它帮你干活。 我倒觉得根本不会。 真正的普及,从来不是让大家特意去学怎么用一个新工具,而是让工具悄无声息嵌在你本来就在做的事里。 就像你现在用手机拍照,根本不会特意想着”我要打开一个计算摄影工具”,它就在相机APP里,自动帮你把夜景调亮,把人脸磨得自然,你甚至意识不到它在干活。 再过两年,你手机相册里攒了一整年的照片和短视频,根本不用你自己一张张挑出来做电子相册。你只要在备忘录里写一句”把去年拍的关于爸妈的内容拼个短的视频,配个软一点的音乐”,它自己就会认出哪段是你妈在厨房炸春卷,哪张是你爸在阳台给花浇水,甚至能把你去年拍的那盆开败的月季,和今年同一盆开得旺的照片拼在一起,配一句”这盆花今年开得比去年好”。 你开车的时候,手指着路边的路牌问一句”前面最近的停车场在哪”,它能直接看懂路牌上的字,结合导航给你报最近的入口,根本不用你自己停下来搜。 甚至你拿到医院的检查报告,拍张照发过去,它能帮你把那些绕口的医学术语翻译成大白话——当然,它不会给你瞎开药方,就是帮你省点翻医学词典的时间。 不过我最近也有点犯嘀咕。 上次我让它帮我整理老照片,它居然把我妈和小姨1999年在玄武湖拍的合照,自动加了个带闪片的”青春纪念”边框,还把照片右下角印的老日期给改了。要不是我记得这张照片是我小姨结婚那年拍的,我差点就信了它生成的那个日期。 你说以后要是大家都用这种工具修照片、剪视频,会不会再过几十年,我们的后代翻到的所谓”老照片”,根本不是当时真实的样子?还有现在的小朋友,要是从小就习惯了AI帮他补全画画的线条、帮他写作文、帮他做手工,会不会自己连完整画一张画的能力都没有了? 我也不知道。 上周我把修好的那张中山陵的老照片打印出来,给我妈送过去。 她盯着看了半天,说”你什么时候学的修图,比当年照相馆的师傅修得好看多了”。 我没说这是多模态大模型弄的。 就说我跟着网上的教程练了俩小时。 她笑了半天,转身去厨房给我盛了一碗糖芋苗,放了好多桂花。 你说这东西到底是好是坏? 我哪知道。 反正糖芋苗是热的。

作者|科技

排版|科技

审核|小准

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:我用多模态大模型帮我妈修了张旧照片,才发现它根本不是什么"聊天神器"
文章链接:https://m.lfdjt.com/p/keji/a/12594.html