AE实现视频“一键擦除”!AI在内容感知填充上的应用

6月21日 09:42
嗯、孙太勇 等人看过

文/索菲亚·嘟胖


一直以为CG世界的文章对于大家来说是早晨的通勤读物,自从那天有小伙伴说他是蹲着(也有可能是坐着)看的,我决定每天打招呼不说“早上好”了,改成“来了啊”,或者“忙着呢”,大家觉得是不是会更贴切一些~



这两天新鲜好玩的行业消息有很多哇,第一个让嘟胖想起来的事情就是Adobe公司宣布了一系列关于Adobe Creative Cloud的更新,焦点之一就是新版After Effects已经具备“一键擦除”的功能啦!Emmm...(咳...1秒变正经)用官方一点的话说就是,他们将视频内容感知填充功能引入到了After Effects中



2019年

Adobe将视频内容感知填充引入AE

 


所谓AE的“一键擦除”功能,就是对于视频素材中不需要的元素,只要没有疯狂地抖动和特别复杂的轮廓形状,即使物体在移动,也都可以给它逐帧去掉,比如一直出现的某个标志,不小心出镜的话筒,或者不该出现的某个人。下面有两个例子,公路上的汽车和海滩上的人就被“一键擦除”了。


▲功能展示


能够实现这种功能,还得归功于Adobe团队的不懈努力和他们一直钻研的Adobe Sensei,通过人工智能引擎和机器学习技术来去除或者替代视频中不想出现的元素。

 

咱们还得逐渐熟悉这种功能的官方名称哈,叫做“内容感知填充”。说程序每一次都能感知到需要被擦除或者被遮挡的部分,那肯定是不能够的,它只是用一种比较合理性的方式填补了在移除对象时产生的画面漏洞。


当然还是要分两种情况来说,能够感知的话,就会参考当前帧周围一些关键帧的内容;如果不能感知的话,就只能按照静态图像的填充方法来处理。这里的大前提是运动的物体可以,但太过分的抖动闪烁不可以。



操作相当简单,只是要对移除元素的位置有一个粗略的线框就可以了。用户需要画一个垃圾遮罩,大概框一下就行,没必要特别精细地遵守物体外部轮廓。



虽然整个过程不是实时进行的,好在用户操作的时候,程序自己在后台就能够处理。在这个过程中还可以调节灯光效果来匹配填充区域的色调变化。


▲填充效果还是可以的


如果有必要的话,用户还能单独拿出一帧来举例子,指导程序该怎样处理填充部分。



下面这个视频是AE视频内容感知填充新功能的简介,自行观看哈。




如果大家想要尝试最新的内容感知填充功能,你可以:

  • 下载最新版的After Effects(16.1版本)
  • 从Adobe Stock中免费下载练习素材(素材ID:222377892)


 

如果想要体验内容感知填充功能中的遮罩跟踪和参考帧,你可以:

  • 下载最新版的After Effects(16.1版本)
  • 从Adobe Stock中免费下载练习素材(素材ID:222376940)


关于内容感知填充(Content-Aware Fill)这个词大概都了解了蛤,用大白话解释就是,对画面元素进行瞬间移动,实现大变活物和完整补充的操作。



在下半程的内容中,我们再来由远及近式地回顾一下内容感知填充在不同时间段的发展(非全)。



2012年

Ps CS6推出内容感知填充

 

时间还得嗖嗖嗖穿越回2012年,那会儿正好是Adobe Photoshop CS6版本出山的日子,其中一项重大更新就是“内容感知填充”功能。



这项功能是Photoshop CS5中“内容识别”的升级版,不但操作起来更加简单粗暴,还解决了不少令大家头疼的照片画面“脏乱差”问题,利用“傻瓜式”操作就可以对画面主要元素进行乾坤大挪移、去除背景中不想要的元素等。


▲图片来自网络

 

这下会玩PS的小伙伴们开心了呀,旅行的景观照再也不是N人大合影了,强迫症们也再不用为照片上的丑东西烦恼了。


▲图片均来自于网络

 

但是大家玩着玩着就没觉着有那么新鲜了,渐渐地发现它不太灵了,移除元素并进行填充的时候会残留和斑驳的问题,有时候又像是老照片沾了水。



可是由于时间和技术的限制,这个问题我们只能先搁在这里。


2017年

Project Cloak技术预览

 

关于PS斑驳的问题还没有明确的解决方案,Adobe团队在Adobe Max Sneaks 2017大会上又展示了另外一些挺不错的技术预览。其中有两项技术,看上去让人很兴奋。


▲Adobe Max Sneaks2017现场

 

一个是Project Cloak,从照片升级到了视频。对于视频里一些不想要的元素,比如衣服上的logo,物体上的灰尘,镜头里的人,都可以通过Adobe的新技术给它去掉。有下面几个例子:


▲例1:去掉了游客胸前的带子


▲例2:两个游客都被去掉了


▲例3:去掉了左边的三辆车


▲例4:去掉了灯杆

 

我们可以看看当时展示的例子,彩色线条圈住的部分就是想要去掉的部分。在当时看来还是挺神奇的。


诶?我们好像在哪见过,你记得吗?又唱起来了...没错!Project Cloak技术就是我们在文章一开头介绍的AE最新版本”一件擦除“功能的前身,用户们果真没有白等,Adobe还真得把这项技术给产品化了。

 

另一个是Project Deep Fill(深度填充)。所谓深度填充就是通过Adobe 的AI引擎Sensei来实现内容感知填充,分为引导式和非引导式两种,不过只是针对视频中的静态图像。可以从视频中删除元素,也可以产生新的图像效果。


▲左中右依次为:导入图像、深度填充图像、内容感知填充图像


从上面的例子我们可以看到,针对于静态图像来说,深度填充的效果确实比内容感知更为准确一些。



似乎是一种很适合于Matte Painting艺术家的工具呢。

 

这两项新技术在当时确实让用户们开心了一阵子,但是大家也都非常理性,深知预览的现实意义,就是说这项技术还只停留在说说而已、看看就行的状态。

 

2018上半年

英伟达AI“图像修复”

 

随着各种前沿技术的不断精进,利用人工智能、机器学习开发各种黑科技的先例也不再少数。前有Adobe人工智能Sensei,后就有全球著名研究人工智能计算的公司NVIDIA推出他们基于深度学习方法研究的图像编辑&重建技术


 

这种方法执行过程称为“图像修复”,可以在照片编辑软件中执行,去除不需要的部分,同时用实际的计算机生成的替代方法填充被移除的部分。干说没意思,下面的视频是个动态演示,请大家自行观看。




具体是怎么实现的呢?可以简单地给大家说一下。

 

研究团队首先生成了包括条纹、孔洞等55116个随机形状,进行了25000次测试。利用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度学习架构,将生成的蒙版应用于来自ImageNet,Places2和CelebA-HQ数据集的图像来训练神经网络。在训练阶段,将孔洞或缺失部分放到数据集的完整训练图像中,使网络学习重建缺失的像素。只能介绍到这里,再深我就有点说不清楚了。



相比PS填充,深度学习方法的最大好处就是发挥相当稳定,不必担心出现非常明显的残留斑驳模糊的鬼样子。大家可能已经看过下面的对比图了蛤,从左到右依次是:缺失照片、PS旧版内容感知填充后的照片、AI填充照片以及原图片。


只是在某些地方还是会有一些肉眼可见的细微缺陷,并不是外界相传的“一丁点痕迹都没有”。


 

说得再热闹,NVIDIA的AI图像修复也还是处于“看得见摸不着”的尴尬境地,一直停留在演示阶段,并没有投入到实际的软件应用之中。


2018下半年

Adobe升级PS内容感知填充

 

这段时间Adobe团队肯定是也没闲着,不然怎么会在NVIDIA推出AI图像修复不就之后,就也在2018年下半年放出了新版Photoshop CC的快速前瞻视频,向大家展示更新后的功能,很显然,他们一早就发现了其中的问题。(这里有一段中字英文视频,如果你已经知道更新的内容,请自行跳过。)




升级后的内容感知功能,不但在菜单中增加了很多可供用户选择的新选项,还可以选择用图像的哪个部分进行填充,就连改进后的算法都已经达到了相当高的智能化程度。但是说到底是好用还是不好用呢?每个人心里都有不同的评判标准吧。

 

有些火焰金睛的小伙伴一眼就看出了端倪。这不还是利用人工智能驱动,用原始画面填补选中区域么?还是停留在图片层面吧?咳咳。


再往后就是文章一开始提到的AE”一键擦除“功能,都记住了吗?


 

从目前的发展来说,最贴近我们日常工作的就是Adobe了,不断开发技术,引入到我们经常使用的软件当中,效果也值得肯定的。但也存在一些限制弊端,要求视频画面要平整,不能包含太过于复杂的运动和物体轮廓。


我们十分希望大大们可以加快研发脚步,扫除这些绊脚石,同时也期待以后可以出现更多“黑科技”,为工作和生活提供更多便利、节省更多时间。

本文为作者 CG世界 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://107cine.com/stream/111480
CG世界是CG领域自媒体。专注3D动画、影视特效后期制作、AR/VR几个领域的知识,前沿技术,资讯和行业教程分享。目前拥有行业粉丝13万+。
扫码关注
CG世界
相关文章

After Effects

查看更多 >
我要评论