提升游戏品质的魔法!解析海外发展了20多年的动作捕捉技术丨N.GAME

2022-04-22
2022N.GAME网易游戏开发者峰会于4月18日—21日在线上举行, 在“技术驱动场”,Quantic Dream动作捕捉总监Benjamin Diebling(本杰明·迪布林)对动作捕捉技术进行了解析。本杰明在分享中详解了动作捕捉技术的类型、方法、流程及其优劣势。他指出,尽管动捕看上去是一个复杂和昂贵的流程,但它实际上是制作自然的人形动画的最好方法,而且时间也是最短的。


以下是分享实录:

大家好,我是本杰明·迪布林,Quantic Dream的动作捕捉总监,负责现场指导、动捕演员和特技团队,为我们的游戏录制CG和角色动画。今天,我想和大家聊一聊动作捕捉这门艺术、及其背后的技术,那让我们开始吧!


Quantic Dream在动捕方面的历史,可以追溯到90年代中期,我们工作室开发的第一款游戏叫《恶灵都市》,它是游戏动作捕捉的先驱了。在当时,我们的游戏总监和创始人大卫·凯奇用动捕录制人物躯干动画,用于制作战斗和动作场景,以及过场动画。

到了2000年,Quantic Dream决定搭建自己的拍摄场地,我们拥有了独立的场地,配备了专业摄像机,尽管该技术仍处于起步阶段。我们的第二部作品《幻象杀手:靛蓝预言》广泛使用了动捕。

经过多年的发展,通过《暴雨》和《超凡双生》,我们的动捕设备换成了全身表演捕捉,可以完整录制演员表演,而不仅仅是捕捉身体动作。现在,我们几乎每天都会用到这套设备,用于我们自己的游戏以及第三方项目。

动作捕捉的艺术可以分为两类:第一种捕捉身体动作。这是经典的动捕流程:捕捉身体、胳膊、腿部、头部,甚至是手指动作。第二种表演捕捉包括面部和声音的捕捉。


那么,我们用动作捕捉做些什么呢?最明显的答案当然是「CG动画」 ,这是表演捕捉最常见的用途。演员的完整表演被转化成游戏过场动画,当然,动捕也可以做成躯干动画和动作模板。要实现我们游戏中的角色移动,会有现实中的演员在场地录制和游戏中完全相同的动作。然后,我们还负责预告片和电影的动作捕捉。


关于动捕和关键帧动画如何取舍,并没有所谓的对错,两种技术都有自己的优缺点。尽管在Quantic Dream,我们一直倾向于动作和表演捕捉,因为它可以帮我们高效、准确地产出我们想要的效果。有了动作捕捉,可以实时得到结果,减少后期制作工作,它还能完美地匹配演员的表演和导演的构思。我们的游戏是动画和故事驱动的,正好看重这些优点,而且我们拍摄现场可以最多同时拍12个人。另一方面,关键帧动画成本更低,但它耗时更长,自然的动画效果也比较难做好。

因为Quantic Dream不断在追寻接近现实的效果,工作室早期就对动捕技术进行了投资。Quantic Dream的动捕场地是欧洲最大之一,可以在长宽高11×6×4米的体积中捕捉数据,我们配备了73台Vicon T160光学摄像机和几台参考相机,确保一点细节都不错过。动作捕捉的基本原理是摄像机记录演员衣服上的标记点,把身体上的56个标记转换成空间数据,即使是最微小的身体动作,也能被实时追踪到。进行表演捕捉的时候,我们会加一个头盔,上面有头戴式摄像机和话筒,面部和眼球运动数据会导入到后期制作软件进行处理。


而当场地不够宽的时候,我们还有一套独立的动捕服,不需要摄像机就可以捕捉三维数据,这个方案没有那么精确。但如果我们需要拍摄一个动作场景,比如一个角色远距离跑动,那这项技术还是可以完美配合我们现场的其他设备。而操控整个动捕系统,只需要一个人就可以了,当然有一个完整的团队会更容易。


核心动捕团队由三个人组成,也可以根据需要增加。我们还有一个道具团队以及音效和动画团队,会和动作捕捉团队紧密合作。几乎所有Quantic Dream工作的人,都会时不时和动捕团队打交道,可以说它就是工作室的心脏!


拍摄过程会从游戏设计文档开始,由游戏总监和文案团队提供,它定义了每个角色要做的各种动作,哪个项目、哪个场景中出现,都写清楚了。我作为导演,参照这个叙事文档,就可以想象这些角色需要哪些肢体语言,他们的情绪是什么、动作是怎样的、能实现哪些运动类型等等。

确定这些之后,就需要筛选演员,然后进入拍摄流程,这些步骤也是固定的。动作捕捉团队首先要校准光学摄像机,确保信号同步,系统运行顺畅,然后我们给演员穿上特制服装上面有标记点,接着进行一段规定动作,我们叫「动作范围」"R.O.M.",类似一段舞蹈,用来校准和求解骨架。骨架就是表示身体躯干的数据集合,它可以准确反映演员在片场表演的动作。

当这些前置步骤完成后,我们就可以开始拍摄了,交付过程也是非常具体的。一个场景拍完之后,我们会得到一个点阵云,每个点都是3个光学摄像机记录到的标记点的空间坐标。动捕团队负责清理这些数据,把它们转换成骨架关节点,然后再把求解好的骨架发给动画团队,动画团队将这些数据应用到游戏角色上。


再简单介绍一下道具组,我们有一个专门的团队来制作道具,用来模仿现实生活中的实物感觉。道具形态可以很自由,但上面至少要有4个标记点。对这些道具的唯一要求就是,尽可能地接近游戏中的3D资源,比如角色在打电话,或者在开车,那么道具必须符合手机或汽车方向盘的尺寸。道具还可以用来模拟场景中的三维空间,让演员要在特定的空间内移动,比方说角色要穿过一个满是家具的房间,那么现场需要复制房间和家具,让演员可以根据美术和关卡设计同事的设想进行移动。


现在,你了解了我们的技术还有我们动作捕捉的流程,让我们回答一些常见问题吧。

不同的动作捕捉有什么区别?游戏和视频/预告片/电影动捕有什么不同吗?

本杰明:事实上基本没有。比如我们Quantic Dream,我们的场地可以拍视频、预告片、电影和游戏,从创作和技术的角度来说是完全一样的。

对于非人形/动物的动作捕捉 有什么比较好的方案吗?行业和学界面临的主要挑战是什么?

本杰明:我们的动捕舞台可以捕捉各种东西,大象、老鼠、蜘蛛 等等,我们可以捕捉一切,所以这个问题,我们更多考虑的是 "想不想捕捉一切",作为导演,我觉得人肯定比大象更容易动捕。

那不同的动画风格需要不同的动捕技术吗?

本杰明:并不需要,舞台风格更多的是选角问题而不是技术问题。制作不同的动画风格,需要的技术是完全相同的。

捕捉数据时,我们可以做些什么来提高准确性?

本杰明:其实我们拍摄的所有东西都达到了相同的质量水平。比如我们拍摄动作模板,或者拍摄一连串动作序列产出的结果和质量水平都是相同的。

怎么指导动捕演员来取得更好的效果?

本杰明:这其实就是我的工作。作为导演,我会指导动捕拍摄现场,就像拍电影或演舞台剧一样,我会为演员和表演者营造良好的情感氛围。还有一个建议,在挑选演员或表演者时,最好找一个和角色个性DNA相似的人。

动作捕捉团队可以做些什么,在游戏早期制作过程中来提升游戏的美术效果?

本杰明:这是个蛮有趣的问题!这些都需要缜密的规划,提前准备就是诀窍。当你到了动捕舞台上,如果你准备得很充分,你就可以在舞台上即兴创作和表演,但如果你没有准备,你没有一个好的规划,一切都是混乱的,那制作效果肯定就不太好了。所以要做好准备,提前规划和安排。


总结

最后总结一下,尽管动捕看上去是一个复杂和昂贵的流程,但它实际上是制作自然的人形动画的最好方法,而且时间也是最短的。现实中人可以做到的动作,通过这种技术,都可以复现到游戏动画中。而且我们可以实时拍摄了,无论动画需要是多么复杂。

当然,动作捕捉和表演捕捉也是还原游戏设计师构想的最佳方式,真人表演会给动画加入额外的灵魂火花,在动捕片场说的话做的动作,都可以变成游戏动画,这就是为什么我们的游戏有一种人性和自然的感觉。只要有一个好故事和强有力的艺术指导,即使是天马行空的想象,我们也可以把它变成现实。

感谢大家的关注,希望这个动作捕捉技术的介绍对你有帮助!再见!

N.GAME是由网易互娱学习发展举办的一年一度行业交流盛事,至今已成功举办七届。本届主题为“未来已来The Future Is Now”,邀请了20位海内外重磅嘉宾、高校学者汇聚一堂,共享行业研发经验、前沿研究成果和未来发展趋势。

最新评论
暂无评论
参与评论