数字人面部实时肌肉模拟:卡住产业落地的核心关口

去年参观一家头部互联网公司的数字人开放日,现场演示实时互动数字人直播。嘉宾抬了抬眉毛,数字人慢了半拍才跟上,嘴角还歪了零点几秒。 在场的人都没说破,但大家都懂。 现在绝大多数对外展示的数字人,要么是提前录好的预制内容,要么就只敢做大幅度的夸张表情,稍微细腻一点的情绪变化,直接露馅。核心问题,绕不开数字人面部实时肌肉模拟。

为什么它是数字人落地的核心卡点

很多人以为,数字人就是捏个好看的脸,套上衣服就能用。 不对。 用户对“像真人”的感知,90%来自面部表情,而表情的核心,是肌肉牵动的皮肤形变。 传统的数字人方案,大多用的是Blend Shape混合变形技术,提前做好几十个预设表情,用的时候按权重拼出来就行。速度够快,但细节根本不对。 你笑的时候苹果肌向上挤压,眼轮匝肌收缩带动眼尾纹路变化,法令纹的深浅变化会联动脸颊脂肪层的位移,这些连锁反应根本不是靠十几个预设表情块拼出来的。拼出来的表情,永远带着一股塑料感,观众一眼就能看出不对劲。
传统BlendShape数字人表情僵硬对比图
传统BlendShape数字人表情僵硬对比图
更何况,实时互动场景对延迟要求极严。只要延迟超过80毫秒,观众就能感觉到“不同步”,哪怕差一点点,出戏感直接拉满。 现在数字人喊了这么多年落地,除了放PPT和录播切片,真正能做实时互动的少之又少,本质就是这块没突破。

技术路线演进,现在走到了哪一步

数字人面部肌肉模拟,本质就是还原人类面部的运动逻辑。目前两条主流路线,各有优劣。 一条是基于解剖学的物理模拟路线。按照真人面部解剖结构,一块块重建出几十块骨骼肌、皮下脂肪层和真皮层,每一次表情变化都按照物理规则计算肌肉收缩、脂肪位移,最后输出皮肤的形变。 这种方法做出来的表情最自然,细节最准,缺点就是计算量太大。放在十年前,跑一帧高清画面就要好几秒,根本不可能做实时。 另一条是数据驱动的深度学习路线。用大量真人面部动捕数据训练神经网络,输入驱动点的位置,直接输出面部形变结果。速度快,能做到实时,但泛化性差,换个身份、换个没训练过的表情,直接崩掉,细节也经不起推敲。
数字人面部解剖肌肉模型模拟效果图
数字人面部解剖肌肉模型模拟效果图
最近三年的突破,其实是两条路线的融合。加上消费级GPU性能暴涨,尤其是AI加速核心的普及,原来需要超级计算机跑的物理模拟,现在一块消费级显卡就能做到每秒60帧,完全满足实时要求。 国内几家做数字人的头部公司,已经推出了端侧能跑的轻量化方案,把整个模型压缩到几十兆,中高端手机就能本地运行,不需要靠云端推流,延迟直接压到了30毫秒以内。

产业落地的真实障碍,不是技术是成本

产业落地的真实障碍,不是技术是成本
产业落地的真实障碍,不是技术是成本
说实话,现在纯技术层面的瓶颈已经破了,大部分问题都出在产业化。 第一个障碍是个性化定制成本太高。要给一个真人做专属的实时肌肉模型,原来需要专业动捕演员录几个小时,后期还要美工调上好几天,一套下来几万块,小公司根本玩不起。最近虽然有自动化方案,只需要录三分钟视频就能生成,但精度还是差一截,做直播凑合用,做影视级内容还是不行。 第二个障碍是端侧适配的普及度不够。现在能流畅跑实时肌肉模拟的,只有近两年出的中高端手机和PC,低端设备带不动,而大部分下沉市场的用户用的还是中低端机型,想要覆盖大部分用户,还要等两三年硬件迭代。 第三个问题是,很多玩家还在炒概念。市面上九成号称“实时互动数字人”,其实都是预制切片拼接,遇到观众提问就切预设内容,根本做不到真实时。等真的要做实时了,才发现肌肉模拟这块跟不上,体验一塌糊涂。

风险隐忧与未来三年判断

技术成熟得越快,风险来得也越快。 当数字人面部实时肌肉模拟能做到以假乱真的时候,深度伪造的门槛直接降到了普通人就能玩的程度。原来换脸需要专业软件后期修半天,现在实时视频通话就能生成完全同步的假表情,诈骗分子可以直接冒充你的亲友、同事,普通人根本分不出来。 现在监管已经开始要求数字人内容必须标注,但是技术跑在规则前面,灰色地带的应用早就已经出现了。 对未来三年,我有几个判断: 第一,入门级的实时肌肉模拟会变成标准化的基础设施,开放给所有开发者用,成本会降到几百块甚至免费,小团队也能做自己的实时数字人。 第二,实时互动场景会率先落地,24小时数字人直播、虚拟客服、线上虚拟会议这些场景,会率先用上成熟的方案,取代现在的僵硬塑料皮数字人。 第三,原生虚拟偶像的体验会迎来大升级,偶像的表情会越来越自然,和粉丝实时连麦互动的时候,再也不会出现表情卡顿歪嘴的尴尬。 最后,行业会洗牌,那些靠炒数字人概念割韭菜的公司,会很快被淘汰,剩下能把肌肉模拟这块做扎实的,才能吃到真正的产业红利。

作者|大讲堂

排版|大讲堂

审核|满满

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:数字人面部实时肌肉模拟:卡住产业落地的核心关口
文章链接:https://m.lfdjt.com/info_23_24775.html