逛了三天内测圈:多模态大模型不是你想的那样

上周帮做独立设计的阿凯改产品需求,他掏出手机给我演示了个新玩应。 把昨晚被窝里画的草稿拍一张,按住录音键说1分钟:“我要这个做中秋款的书签,底色用宋锦那种暗金,字要歪一点,不要太规整,尺寸放普通书里不会凸出来”,松开手两分钟,三个带分层源文件的设计稿就出来了。 我当时就傻了。 这哪是之前我见过的AI啊。 之前用AI作图,得把需求改个三五遍,写得清清楚楚给文字大模型,再把生成的提示词粘去画图工具,一不小心哪里不对,还要重来。 折腾死个人!

原来你早就在用多模态了,只是没发现

很多人一听多模态大模型,觉得是离自己十万八千里的黑科技,是大厂用来发布会讲故事的概念。 其实真不是。 你之前用的AI拍照识别植物,用语音转文字写聊天消息,本质上都是跨了不同模态,但之前的工具都是一个工具只干一件事,识别完植物,你要再去搜它怎么养,还要自己复制名字粘去搜索框。 多模态不一样的地方在哪?它能把所有信息放在一块理解。不管你发的是图,是语音,是手写的字,还是录的一段视频,它能搞懂这些信息之间的逻辑,直接给你结果,不用你来回倒腾。
多模态大模型与单模态工具处理流程对比图
多模态大模型与单模态工具处理流程对比图
就拿阿凯做书签那个事说,换做以前的工具,你得先把手绘草稿用OCR识别成线稿,再把语音转成文字,再把文字整理好,给AI画图工具喂提示词,一步错一步歪。多模态呢,你扔进去所有乱七八糟的原始内容,它自己理清楚,哪个是草稿,哪个是需求,直接出结果。

别被营销话术骗了,这几个误区大部分人都踩

我刷了三天内测玩家的圈子,发现最多的就是歪理,好多营销号把多模态吹得天花乱坠,其实都是错的。 第一个误区:多模态就是大模型接个图像识别接口,换汤不换药。 真不对。接口拼接的意思是,图像工具识别图里的内容,转成文字再给大模型处理,中间会丢好多信息。比如你给它一张全家聚餐的拍立得,说“帮我写一段给爷爷的八十大寿祝酒词,要贴合今天的氛围”,拼接的工具只能认出“一群人 蛋糕 老人”,它认不出你爷爷穿的那件洗褪色的军绿色外套,认不出桌子上摆的你小时候和爷爷的合影,这些细节它感受不到,写出来的祝酒词就是干巴巴的模板。 真正的多模态大模型能看懂这些。它能get到图里的情绪和细节,写出来的东西真的像那么回事。
多模态大模型图像细节理解效果示例
多模态大模型图像细节理解效果示例
第二个误区:多模态就是给内容博主做PPT剪视频的,只服务打工人赚工时。 不对,很多落地的场景根本不在C端,我看到有家做煤矿设备的公司,已经用多模态做故障排查了。工程师下井拍一张故障设备的照片,口述两句哪里不对,之前什么时候修过,直接上传,模型能自动匹配历史维修记录,调出对应的零件型号和维修步骤,比之前翻几箱纸质记录快几十倍。 说白了,多模态最值钱的地方,就是把普通人本来就会的“用多种方式说需求”,变成了AI能直接听懂的语言,不用逼你改成像机器人一样的标准化提示词。 不过话说回来,现在的多模态也不是万能的。我上周自己试了个内测版,让它把我拍的猫图里的胡子改成粉色,背景换成我发的海边图,结果它把整只猫都染成粉色了,背景还是原来的猫爬架…笑了我十分钟。错得离谱,但是也真的真实,哪有那么完美的技术。

普通人现在能蹭上多模态的什么好处

普通人现在能蹭上多模态的什么好处
普通人现在能蹭上多模态的什么好处
别听那些投资人说什么生态布局,技术革命,咱们普通人就说实在的,现在就能用得上的好处有哪些? 第一个,省掉无数格式转换和倒腾工具的时间。你做手工的,捏了个泥稿,拍个照,说“帮我做成能3D打印的建模文件,尺寸放桌面刚好”,直接出,不用你再花三个月学Blender。你做家教的,拍一下学生手写的错题本,口说一句“帮我出三道同类型的练习题,带解析”,直接整理好打印就能用,不用你自己抄题。 第二个,降低了玩创意的门槛。之前你想做个小动画,得会画分镜,会做关键帧,会调音效,现在你把分镜草稿画在纸上,每一张说一句你想要的动作和音乐,直接就能导出能看的小动画,想要改哪里直接说,不用重新做整个工程。 说实话,我之前对各种新AI概念都麻木了,换个词炒冷饭的太多了。但是这次多模态不一样,它真的解决了一个之前我烦了好久的问题:为什么我用AI,还要我去适应AI的规则?为什么不能AI适应我? 我就是喜欢随手画草稿,就是喜欢开口说需求,就是不想把好好的想法拆成一句句干巴巴的标准化提示词,来回粘来粘去。 多模态刚好戳中了这个点。 再过一年半载,估计没人会天天把“多模态大模型”这几个字挂嘴边了。就像现在没人天天张嘴闭嘴“智能手机”一样,好用就完了。 你说对吧?

作者|科技

排版|科技

审核|安然

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:逛了三天内测圈:多模态大模型不是你想的那样
文章链接:https://m.lfdjt.com/p/keji/a/3246.html