从熬夜改稿的动画师工位说起:文本到动作生成运动连贯性到底卡在哪

凌晨两点四十。 阿柚把第三罐冰可乐砸在折叠桌边缘的时候,屏幕上那只银灰色猫武士刚完成一个离谱到离谱的起跳——前爪已经够到了对面的屋檐,后腿还挂在半空中晃悠,关节扭得像被门夹过的塑料人偶。 糟透了。 她对着屏幕骂了句脏话,把进度条拖回起点,又重新输了一遍指令:“银灰色猫武士从石墙跳到对面的木屋檐,落地时顺势收腰拔爪,动作流畅自然。” 三十秒的加载圈转得人眼晕。 生成的动作还是一样的鬼样子——前爪飞出去的瞬间,后腿还在往石墙上蹬,中间连个重心转移的过渡帧都没有,活像被人用线拽着前爪扔出去的假猫。

被AI搞砸的那只猫武士

阿柚是做了六年的独立动画师,接的大多是少儿向的短动画单,之前手K帧的时候,哪怕是猫跳起来那0.3秒的过渡,她都要蹲在地上拍自家猫年糕的视频,反复调上十几遍。这次的甲方催得急,20集的猫武士动作,手K要花三个月,只给她一个月的时间,她才咬咬牙入了最近炒得很热的文本到动作生成会员。 之前试用的时候,单个动作比如“挥爪”“蹲坐”都生成得有模有样,她还暗喜终于能解放双手。结果真的串起剧情动作,全是破绽——连贯性烂到根本没法用,别说甲方看了要打回来,她自己看了都替那只猫疼。
文本到动作生成穿模错误示意图
文本到动作生成穿模错误示意图
去年她用另一款AI生成人物动作,输入“拿起杯子喝水,放下杯子,转身走向窗边”,结果人物拿杯子的时候手直接穿进了杯壁,放杯子的时候胳膊拧到了背后,当时她还以为是自己指令写得不够细,这次连“尾巴翘起来保持平衡”都加上了,还是一样的鬼样子。

实验室里那只永远走不直的虚拟人

上周实在熬不住,她开了四十分钟的车去浙大找师兄老陈,老陈是计算机系做动作生成的副教授,实验室门口堆着半人高的动捕服,几个博士生裹着紧身的黑衣服,在房间里来回走,有的还在练习捡笔、抱玩偶的动作,额头上贴满了白色的动捕标记点。 老陈凑过来扫了一眼她的屏幕,直接笑出了声:“这太正常了,我们现在卡了快半年的,就是文本到动作生成的运动连贯性。” 他给阿柚看他们实验室做的测试视频:左边是真人动捕录的“走路、弯腰捡笔、直起身跑”的动作,流畅得像你在楼下能看见的任何一个路人;右边是同指令下AI生成的动作,单个动作的形状都对,凑在一起就全是问题——弯腰捡笔的时候上半身已经碰到地面了,腰还保持着直的状态;直起身的时候突然就开始跑,连个重心前倾的过渡都没有,活像个被按了快进键的木偶。 老陈说之前的模型思路简单得很:把文本拆成一个个独立的动作单元,每个单元对应一段现成的动捕数据,生成的时候把两段数据硬拼在一起就行,根本不管两个动作之间的过渡是不是符合人体力学,也不管重心、关节、受力的连续变化——说白了,就是切镜头式的生成,不是连续运动的生成。
文本到动作生成连贯过渡效果对比图
文本到动作生成连贯过渡效果对比图
“上次给校领导演示,我们那虚拟人走三步就顺拐,”老陈摊手,“领导笑到茶都喷了,说你们这虚拟人是刚学会走路是吧?”

那些藏在连贯性里的身体记忆

从实验室出来的时候已经是下午三点,阿柚把车停在路边,蹲在人行道上看了十分钟。 穿校服的小孩背着书包跑,突然停下来弯腰系鞋带,直起身的时候晃了晃——哦,蹲久了腿麻,会晃一下。 卖早餐的阿姨递完豆浆,手在围裙上蹭了蹭,转身去拿蒸笼,转身的时候重心先往左脚偏了一下,才转的上半身。 这些动作你平时根本不会注意,但是你看到的时候,不会觉得假。 阿柚突然反应过来,我们对动作连贯性的敏感,根本不是什么动画师的专业要求,是刻在身体里的记忆。你从小到大走了几十万步,跳了几万次,你知道起跳的时候重心要先压后腿,你知道直起身的时候因为蹲久了会晃,你知道转身的时候重心要先移过去,这些都是不用想的本能。AI生成的动作哪怕每个形状都对,没有这些藏在连贯性里的小细节,你一眼就会觉得假。 说实话,之前那些刷爆短视频平台的AI动作生成作品,你慢放三倍看,全是破绽:要么是手穿进衣服里,要么是走路的时候脚不沾地,要么是转头的时候脖子直接拧了一百八十度,连个过渡都没有。没人会慢放看。真的。 老陈上周给她发消息,说他们现在换了个思路,不再给模型喂动捕棚里的标准化动捕片段,而是喂普通人的日常视频——小区里的大爷打太极,妈妈追着小孩喂饭,外卖员跑着爬楼梯,就是这些没有经过刻意摆拍的、充满了小瑕疵的日常动作,因为这些动作里的连贯性,才是真的。 回到出租屋的时候已经四点多,窗外的天已经有点发灰了,阿柚把AI生成的动作全删了,打开K帧软件,从猫起跳的第一帧开始调。 年糕跳上她的膝盖,尾巴扫过她的手腕,软乎乎的。 她想起老陈说,再过个三五年,也许AI就能把这些小细节都学明白,生成的猫跳起来也会记得先翘尾巴,直起身的时候也会晃一下。 那又怎么样呢? 她揉了揉年糕的耳朵,鼠标点下了下一帧。

作者|大讲堂

排版|大讲堂

审核|白杨

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:从熬夜改稿的动画师工位说起:文本到动作生成运动连贯性到底卡在哪
文章链接:https://m.lfdjt.com/info_23_27013.html