上周三加班到九点,工位上的东西堆得快溢出来。半本画满涂鸦的播客草稿压在键盘下面,旁边是上次去南京逛陵园路拍的两百多张糊图,还有半杯凉透的美式。
之前用纯文本的大模型整理脚本,折腾了快俩小时,越用越烦。我把草稿上歪歪扭扭的字敲进去,它写的开场白永远是“大家好,欢迎来到本期播客”,完全get不到我在草稿页边画的那个皱巴巴的梧桐叶,也看不到我在那句“不要太文艺”下面划了三道粗线。
索性直接把整本草稿拍了照,连页角沾的咖啡渍都没裁,丢给了最近一直在用的多模态大模型。
三秒。
它给我回的第一句话是:”看到你划掉的那句‘不要用太文艺的开场白’了,结合你相册里拍的陵园路梧桐絮的照片,要不开头就说‘你上次走陵园路沾的一领子梧桐絮,今年估计又要飘到你脖子里了’?”
我当时鸡皮疙瘩都起来了。
你以为它是”能看图的ChatGPT”?根本不是
很多人对多模态大模型的误解,还停留在”就是比之前的AI多了个传图、生成图的功能”。真不是。
它不是多了个传图的功能,是把之前AI隔着一层数字墙摸不到的真实感知,直接接到了模型的输入端。
之前的纯文本大模型,像个从来没出过门、只啃过别人整理好的文字资料的学霸。你跟它说”我电脑上有个弹窗挡着我写的方案”,它只会给你念通用的解决方案:按alt+f4,开任务管理器。它看不到你的屏幕,不知道那个弹窗是哪个软件弹的,更不知道你方案里写了一半的内容是什么。
但多模态大模型不一样。开了屏幕权限的它,能直接看到你屏幕上那个挡在文档中间的购物软件弹窗,能看到你刚才写的”用户留存率提升30%”后面被挡住的半句,甚至能顺着你的鼠标位置,告诉你”你刚才停在第三段了,我帮你补了和上下文匹配的内容,这个弹窗是后台挂的视频软件弹的,点右上角的叉就行,不用切窗口”。

这哪是多了个看图的功能。
这是把之前AI和真实世界之间的那层纸,给捅破了。
它现在能接的不只是图。你录一段10秒的语音,是你朋友在火锅店里跟你抱怨”今天上班又被老板骂了,刚才毛肚煮老了”,它不是只干巴巴把文字转出来。它能听出来你朋友声音里的委屈,能捕捉到背景里火锅沸腾的咕嘟声,甚至能听出来他咬到煮老的毛肚时那声”啧”的惋惜。这些藏在文字外面的信息,之前的AI是根本接不到的。
那些吹得神乎其神的功能,其实离你远得很
刷到过太多吹多模态大模型的内容了。说它能替代设计师,能替代摄影师,能帮你搞定所有工作。
拉倒吧。
上周我把拍的那组陵园路的照片丢给它,其中有张是逆光拍的,梧桐叶的影子落在一个穿白裙子的女生肩膀上。我让它配个文案,它一开始生成的是”岁月静好,时光缓缓流淌”。我直接打回去,说”不对,我当时蹲在地上举了半小时相机,那个女生正踮脚够树杈上躲着的三花猫,根本不是什么岁月静好”。它反应了两秒才说”哦,刚才漏看了树杈上的猫”,重新生成的文案是”蹲了20分钟才等到的——树杈上的猫终于被路过的姐姐够到了”。
你看,就这。它离真正”懂”你看到的细节,还差十万八千里呢。
现在它最擅长的,从来不是替你做决定,是帮你省掉那些你根本不想花时间应付的细碎工作。
比如你攒了200张旅行照片,要挑9张做朋友圈九宫格。之前你得一张张翻,删到眼花,半小时都未必能挑完。现在你把所有图丢给它,说”要没有路人入镜的、颜色不发灰的、能看到我面前摆着盐水鸭的图”,它30秒就能给你筛出来。

我之前拿它整理过一小时的部门会议录音。搁以前,我得先把录音转成文字,再逐行划重点,把谁要做什么事、什么时候交整理成待办清单,至少得花40分钟。那天我直接把录音文件丢进去,它听完直接给我列了:张总说下周三要交活动方案,李姐说要对接三个本地美食博主,小王说上次的活动物料还剩两箱在仓库,剩下的20分钟大家在聊楼下面馆今天加了卤蛋。
我当时差点给它磕一个。
这玩意真的是把人从那些没意义的破事里捞出来啊。
别等着它变成万能的,现在用它最划算的姿势其实是”偷懒”
现在大家对多模态大模型的期待,真的太高了。总觉得它再过两年就能变成会走路的机器人,能帮你做饭帮你带娃,能搞定所有你不想干的事。
其实根本不是。
就像你刚拿到智能手机的时候,也会觉得这东西能打电话能上网,简直是万能的。但你现在用智能手机,根本不会拿它去对标什么未来黑科技。你就是用它扫码买咖啡,用它拍个照记一下下班要带的快递,用它导航找那个藏在巷子里的老面馆。
多模态大模型也是一样的。它现在最适合的用法,根本不是让你写万字长文,做全套商业PPT,是你遇到那些碎得让你烦的小事的时候,随手丢给它。
不过话说回来,你也别真的把它当万能药。上周我让它帮我看我家猫的状态,它说我家猫是太无聊了想玩逗猫棒,结果我凑近一看,它是刚才偷喝了我放在桌上的冰可乐,正撑得瘫在沙发上呢。
我上周跟一个做算法的朋友吃饭,他说现在很多团队做产品,总想着把多模态大模型做成一个无所不能的超级工具,其实方向从一开始就错了。
真正让人愿意每天打开用的东西,从来不是那个能帮你搞定天大的事的超级英雄。是那个能在你手忙脚乱、被一堆碎事缠得喘不过气的时候,帮你递一杯温水、帮你把掉在地上的笔捡起来、帮你把写得歪歪扭扭的草稿整理成能直接发的朋友圈的靠谱朋友。
就这么简单。
对了,上次丢给它的那半本涂鸦笔记,最后生成的播客脚本,我改了不到100字就录了。
录完的时候刚好下班,我绕路去了陵园路,还踩了一脚飘在地上的梧桐絮。
作者|科技
排版|科技
审核|阿辰