没有标记,没有摄像头!工业光魔又玩出技术新高度

2019-12-11 11:22

在第92届奥斯卡最佳视效初选入围名单中,有一部名为《爱尔兰人》的电影成功引起了小伙伴们的注意,即是Netflix冲奥大作,就不该平凡。



你看看这又强又硬吊炸天的卡司阵容,大大大大导演马丁·斯科塞斯执导,奥斯卡奖得主罗伯特·德尼罗、阿尔·帕西诺、乔·佩西倾力加盟,采用了截然不同的de-aging技术作为buff加持。哼哼,老男人们…骚瑞~老影帝们果然要聚在一起搞事情了。


 

《爱尔兰人》改编自查尔斯·布兰特小说《听说你刷房子了》,以4K分辨率呈现,时长209分钟(你没看错,约3个半小时),是导演斯科塞斯迄今为止拍摄时长最长的一部电影,近20年来最长的一部好莱坞主流叙事电影,也是继《复仇者联盟:膀胱终局之战》之后,向人体生理机能发出的又一次挑战。


豆瓣9.1、IMDb8.2、第23届多伦多影评人协会奖最佳剧本、第90届美国国家评论协会奖年度最佳影片,“奖项收割机”《爱尔兰人》已经开始营业啦。


影片跨越数十年,向观众们讲述了美国历史上最大的悬案之一工会领袖吉米·霍法失踪案的故事。“听说你刷房子了”是一句黑话,指的是合约杀戮行为,黑帮杀手执行任务时血溅在房子墙上和地上的场景,想想着画面,确有刷房的感觉,令人不寒而栗。具体的故事情节就不细聊啦,不剧透是我的温油~


▲点击视频观看《爱尔兰人》中字预告

 

除了故事情节外,《爱尔兰人》有一个非常有意思的点,也就是为什么它可以跻身奥斯卡最佳视效奖入围名单,和老影帝们的年龄有关系。

 

罗伯特·德尼罗和乔·佩西都是76岁,帕西诺79岁,老爷爷们的实际年龄要比片中角色的年龄大很多,而德尼罗饰演的杀手弗兰克·希兰在片中还要经历24、36、41、42、47、55和76多个年龄时期,年近80的老影帝们是怎样实现“返老还年轻”的呢?不用我说,你肯定已经想到了前面提到的buff加持。


ILM面临两大制作


本片共包含1750个视觉特效镜头,由ILM、SSVFX和Vitality Visual Effects这三家团队共同承担。而ILM主要负责de-aging环节,就是让演员在镜头里变年轻,通过技术手段实现“逆生长”。

 

关于de-aging技术制作的角色,我们见过很多次了,最近一次提到是Weta Digital在《双子杀手》中制作的年轻版威尔史密斯Junior,演员佩戴动捕头显,脸上贴满跟踪点,制作团队根据得到的数据创建数字版面部皮肤、牙齿、眼睛等人体结构,堪称“变态级制作”。而《爱尔兰人》的de-aging技术与《双子杀手》既类似又截然不同。????


▲电影《双子杀手》拍摄现场

 

在这部影片的制作过程中,ILM面临两个方面的技术挑战。

 

第一个方面,导演斯科塞斯希望de-aging效果符合角色年轻的样子,而不是演员本人年轻的样子,换句话说,是角色变年轻,而不是演员变年轻。从技术角度来说,要更专注于角色的外形,只匹配影帝们年轻时的相貌是远远不够的。桥豆麻袋…演员扮演角色,难道演员≠角色?转念一想,演员本人和角色相比,的确会有身材、气质、形态等多方面的差异。



第二个方面,影帝们在表演时无需佩戴头部装置或任何限制表演的技术装置,也不用在脸部设置跟踪点,仅依靠ILM强大技术创新的帮助,就能顺利完成跟踪和面部替换的工作。OMG,也太酷了。



新型Flux相机系统


相信小伙伴们可能会产生这样的问题,没有标记点怎么捕捉?答曰:用相机捕捉。相机捕捉到的数据怎么处理,再答曰:软件处理。于是硬件+软件组成了新方法。

 

ILM的一项重大创新是新型Flux相机系统,这种方法是在2015年预制作阶段诞生的。当时技术团队还在考虑跟踪点、头显设备和监视相机等一系列常规技术手段,可是同为演员和制片人德尼罗表示自己不想佩戴头盔,希望能开发一种不用跟踪点,仅凭现场灯光就能工作的技术。在获得导演同意之后,ILM搞出了以“三个相机”为核心的新玩法


既然是新玩法,就得用一系列测试来检测它到底有多好玩。技术团队请德尼罗重新演绎了1990年《好家伙》影片中经典的粉红凯迪拉克片段,其中包含1分钟的对话和特写镜头,以及非常丰富的表情变化范围。重新创建了片段里出现的整个酒吧场景,没有标记点,只有3D空间中的大量几何体、灯光和纹理效果,就是德尼罗本尊。


▲点击视频回顾《好家伙》粉红凯迪拉克片段


团队设置了三台相机,拍摄相机在中间,两个RGB监视相机一左一右紧挨在侧。拍摄结束后,照着德尼罗1990年的样子进行de-aging,然后将数字效果与电影中的原始表演进行对比,10s测试效果获得了导演和德尼罗的肯定。

 

ILM团队为这种解决方案取名为Flux,与影片摄影指导和位于洛杉矶的ARRI公司一起,修改了相机的硬件及软件,将主摄像机两侧变为红外相机,并在镜头前安装红外光圈。这样红外光不会被带到演员身上,即使演员被红光照亮,也不会改变场景灯光。



新型相机系统从外形上看又大又笨重,相当于64磅(约58斤)重的砖绑在了30英寸(约0.76米)宽的装置上,好在这样的“庞然大物”还是可以穿过标准大小的门框。

 

为了方便移动摄像机,大部分拍摄都是架设在Technocranes(江湖俗称“超级伸缩大炮”)、悬臂(Jim arms)和手推车上的。但只有一个限制来自斯坦尼康,可想而知64磅的重物要放在它上面实在太重了。所以影片里面只有3个是用斯坦尼康拍摄的镜头,两个相机分别架设在两个斯坦尼康上,与一套完整的拍摄装置形成进行三角测量系统。



Flux的硬件完成数据捕捉后,该轮到软件系统处理信息了。软件能够处理三台相机拍摄到的所有信息,包括红外信息和中央相机的RGB信息,计算灯光和纹理,同时进行基本的网格划分并逐帧变形,改变几何图形,从而捕捉到演员的表演。



Flux设备的工作流程


整个过程基于灯光和纹理进行的,通常情况下拍摄会有两套Flux设备,也就是6个相机,演员背后也各有一个交叉相机拍摄耳朵/侧脸光线以及对手临场反应,全面完整的捕捉到所有拍摄细节,避免了补拍或是重拍的问题。流程如下:

 

第一,对所有相机拍摄的面部脚本进行layout和matchimation,将脸部到肩膀的部分替换成3D模型,然后计算灯光效果。


第二,为了年轻版本的CG角色能与实拍现场环境很好地匹配在一起,电影所有场景设置和人物都需要用LIDAR拍摄、HDRI捕捉(当HDRI对现场灯光和照明进行采样时,是不包括红外光线的,因为红外光线是面部照明的关键,需要单独考虑),这个过程不是一天一次,也不是一天两次,只要灯光效果发生变化,就LIDAR一次。


▲年轻版的罗素(乔·佩西饰),而不是年轻版的乔佩西


第三,将HDRI和LIDAR捕捉到的数据结合到一起使用,对现场灯光和照明进行采样,解决相机拍摄时位置和移动的问题,并提供现场灯光位置、强度和色温信息。


第四,结合包含头部信息的红外灯光,在Flux软件中进行计算处理,输出结果与拍摄内容进行校准。


第五,添加数字替身模型,在每帧基础上逐帧变形,与根据演员实际年龄创建的面部模型进行比较,如果有出入,更改几何体形状使其符合表演就好了。

 

最终在Flux 3D输出在RenderMan中渲染,在Nuke中进行合成。


 

这套流程与以往ILM普通的(面部)几何体及其变形的方法完全不同,很显然Flux是通过形状库进行查看,没有涉及动画/关键帧动画环节和动画调整的过程,也没有开发任何动画面部绑定系统,关键核心就是要理解其灯光和物理设置。


▲年轻的弗兰克·希兰


还有就是数字替身的制作。制作团队采用迪士尼苏黎世研究中心开发的Medusa系统,要求演员提供两分钟的表演,捕捉从细微表情到夸张表演范围内的数百个表情,再通过Light Stage来获取皮肤、纹理和毛孔细节,创建资产模型,最后按照剧中不同年龄段进行修改和调整。在之前的文章中我们介绍过很多次了,就不再赘述啦!



Face Finder


ILM在2015-2017年之间,用了两年时间开发了一款新型人工智能人脸识别程序Face Finder,收集三位影帝在各自在30-55岁年龄段内参演电影的数千个图像和数百个序列,建立图像库并对其进行分类(如眼睛、哭泣、特写镜头等),用来查找和制作内容最接近的眼睛形态。


▲中间为CG渲染德尼罗的眼睛,其余为AI查找到的影视参考


制作团队渲染出镜头的某个单帧之后,就可以通过AI程序在图像库中查找与渲染图像相类似的内容。如果演员有动作或是相机在移动,AI还能找出相同灯光、角度和旋转方式的参考。制作团队可根据参考进行调整和修改,渲染出更加真实贴切的细节,他们把这种方法称作“行为相似”。


为什么不能用替身?

 

关于de-aging,我们想当然的认为先让影帝们表演,然后再用年龄合适身材合适的替身就可以了,但实际情况并非如此。



在很多情况下,影帝们演嗨了就会即兴创作,剧本上2分钟的场景演完之后还会继续表演,他们不停,导演也不喊cut,这就没法用替身了。对于这种情况,ILM只能考虑通过3D技术来替换下巴、脖子,或是改用3D渲染的衬衫衣领和肩膀,请来了与演员们全天候在一起工作的顾问,帮助还原演员表演时的动作和姿势。



为什么不用Anyma?


可能有些小伙伴在一开始就会产生这样的疑问,既然不用跟踪点动捕,为什么不采用同为迪士尼研究中心开发的Anyma系统,既能摆脱标记点的舒服,又能捕捉到更多信息,数据精度也更高。原因有四:



第一,Anyma系统需要在可控制的环境下工作,对灯光的柔和度有一定要求,也就是说这个系统无法处理灯光;

 

第二,Anyma不支持体积范围内多个演员的表演,一旦产生遮挡很难从中获取有效数据和信息;

 

第三,无法从Anyma系统中获取演员的纹理信息,后续的步骤也就无法进行下去了;


第四,Anyma需要把演员的表演限定在某个特定的体积空间中,但实际拍摄时是不可能的,他们走到哪相机跟到哪,或是导演让他们走到哪儿,都是不可控的。

 

由此看来,Anyma系统要在一个限制性很强的环境中工作,可以很好地应用于多方面,《复联4》《阿拉丁》《终结者:黑暗命运》等影片都用到了,唯独不适合《爱尔兰人》这个项目。


红外相机带来哪些弊端?


结合了红外光圈的摄像机镜头确实有助于提升面部亮度,但对制作产生了一定影响,不得不用CG方式进行弥补。



注意到了吗?汽车挡风玻璃都是CG制作的。影片中出现的汽车基本是50-60年代的,甚至还有70年代的,那会儿的挡风玻璃中含铅,如果从车外拍摄的话红外线无法穿透玻璃,拍到的素材脚本就是一片漆黑,根本看不到演员的脸,因此只能把玻璃卸下来,用CG的来代替。



类似的问题也会出现在角色抽烟的镜头中。烟雾所含的热量会覆盖角色面部,红外相机中覆盖的比主相机拍摄的要厚,因此需要制作团队把烟替换成CG的。

 

好了,关于《爱尔兰人》这部电影我们先罗里吧嗦地说这么多吧,很多小伙伴表示虽然很敬重马丁斯科塞斯导演和老影帝们的大作,但自己太年轻,对于影片的理解还是不够透彻,以至于才看了20分钟就放弃了。


技术信息来源:

https://beforesandafters.com/2019/12/07/de-aging-de-niro/

https://www.fxguide.com/fxfeatured/de-aging-the-irishman/

文章原创编译整理/CG世界

本文为作者 CG世界 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://107cine.com/stream/119979
CG世界是CG领域自媒体。专注3D动画、影视特效后期制作、AR/VR几个领域的知识,前沿技术,资讯和行业教程分享。目前拥有行业粉丝13万+。
扫码关注
CG世界
相关文章
我要评论