H5换脸视频背后的京东云技术 十几秒内处理数万个换脸任务

眼下，基于人工智能技术的换脸软件火爆网络，换脸照片、换脸视频带给用户全新的互联网体验。

由人民日报新媒体联合京东AI、京东云推出的《70年，我是主角》H5换脸视频应用，在刚刚过去的国庆节期间受到用户的高度关注，这是中国第一部全民定制国庆献礼片，网友只要上传正脸照片，就能通过AI换脸技术化身微电影主角，重温新中国70年的峥嵘岁月。活动期间，页面访问量达到千万级别，最终生成10000小时视频，相当于6000部电影的长度。

京东云副总裁、京东云客户成功部负责人刘辰被问及“如何看待H5换脸视频项目得以顺利运行”时，他的回答是：“系统性能和吞吐量的保障，是《70年，我是主角》项目的一大挑战。在立项初期，团队对H5应用的并发量做了预估，将目标定为保证千万级的页面浏览量。在此基础上，通过一系列调优测试，提高整个系统的吞吐量。最终，依靠京东云可靠的技术实力和高效的运维保障能力，使换脸视频项目得以平稳运行，用户体验良好。”

对此，京东云产品研发部高级总监陈峰的回答是：“我很高兴看到在这个项目中，京东云成功实现了云计算技术在高强度、高密集、高并发情况下的顺利平稳运行，确保了用户的优质体验。”

从用户角度看，《70年，我是主角》H5换脸视频应用让所有参与的用户出演定制电影，成为故事的主角；从技术角度看，为换脸视频应用提供技术支撑保障的“你”——京东云，正是项目背后的主角。

“你”经历疑惑

在庆祝中华人民共和国成立70周年之际，9月28日，由青年导演姚庆涛执导的微电影《70年，我是主角》在人民日报新媒体等主要平台上线。随后，《70年，我是主角》H5换脸视频应用上线。

H5是指第5代HTML（超文本标记语言），也指用H5语言制作的一切数字应用产品。通俗的讲，H5主要是负责编写炫酷页面交互和3D效果在内的前台页面。

那么问题来了，与很多静态图片或者超短小视频的换脸不同，《70年，我是主角》提供用户用于换脸的视频片段长达15秒，这背后需要京东云提供怎样的技术支撑呢？

刘辰指出，用户提供的照片中，人脸是平面的。转换到视频中时，主角频繁在火车车厢里、室内、户外、夜间等不同场景下穿梭，主角脸部的明暗差异变化非常大，光影效果和脸部角度极为多变。处理好换脸视频的效果，将对用户能否得到置身其中的体验感至关重要。这是对京东云换脸视频项目技术研发团队的第一个考验。

图说：换脸视频中多变的场景，给项目技术研发团队带来挑战

换脸视频技术对于云计算系统的计算压力非比寻常。与当前流行的换脸照片相比，一个用户定制大片换脸视频所需运算量相当于约100次换脸照片。陈峰表示，京东云提供的计算服务，若想在短期内处理大量的换脸视频任务，是需要依靠超大规模的、可弹性调度的GPU服务器集群资源作技术支撑的。

项目技术研发团队遇到的第二个考验，是针对海量用户访问视频应用时的高并发需求。在项目还未上线运行时，研发团队已经预估到，项目上线后将会有人民日报新媒体平台上的海量用户参与，京东云还特别考虑到上线之初用户海量访问的爆发和激增等情况发生。

解决这一难题就需要依靠京东云的CDN服务了。高效的CDN调度算法可以以最快速度将换脸海报及换脸视频交付和触达用户，从而保障了用户的良好体验。

纵使《70年，我是主角》H5换脸视频项目有诸多挑战摆在京东云换脸视频项目技术研发团队面前，但他们依然砥砺前行……

“你”寻求突破

看起来非常炫酷的换脸视频应用，实际上仅需要用户打开换脸视频应用前端，上传照片。此时，云计算处理系统会自动生成一个换脸任务，进入京东云后台的任务队列。最终，用户可以获得5张海报和1个视频。

图说：用户只需上传单人正脸照片、选择性别，即可获得5张海报和1个视频，成为主角

刘辰指出，《70年，我是主角》换脸视频项目在流量达到峰值期间，后台要在十几秒的时间内，同时处理几万个换脸任务。为此，团队要进行“削峰填谷”的工作，在不浪费计算资源的情况下，保障高峰期时高并发换脸任务的平稳运行。在京东云计算集群中，还为该项目独立划出一个测试区进行流量模拟，确保后台监测与客户的真实体验一致。

项目最终得以平稳运营，一方面得益于京东云在短期内调集大量GPU集群资源作为支撑，另一方面依靠CDN技术使用户可以及时获取海报和视频，解决网络拥挤的状况，提高用户访问换脸视频应用的响应速度。

那么，京东云项目技术团队是如何保证用户得到完美换脸效果的呢？

人民日报相关技术负责人曾表示：“这是国内首例国庆版H5智能换脸应用，并且应用于庆祝中华人民共和国成立70周年的关键时间点。”另外，从算法的复杂程度看，此次换脸视频也是长度最长的一次，每个视频需要经过人脸检测、换脸海报制作、换脸视频制作等三个步骤。

换脸视频操作需要由京东云提供的CPU服务器和GPU服务器两个计算集群来分别处理。刘辰介绍，项目运行期间，共有超过500台GPU服务器和1000台CPU服务器提供支持。

人脸检测，需要对人脸进行特征识别，也就是需要对一张人脸提取约5万个特征，即5万个关键点，由于换脸视频是2D转3D的人脸换脸的过程，所以在提取方面会比普通的换脸照片多很多的关键点和特征，以此再做3D建模。

换脸海报是用户通过提交的1张照片，获取5张换脸海报。这对CPU服务器提出了不止5倍计算能力的需求。

换脸视频是把一个视频先切分成帧，对每帧的人脸特征展开3D关键点检测技术，来定位人脸区域的5万多个关键点，以保证头部在任何角度转动时仍能完成换脸的应用。保证了人物在各种环境下换脸视频的成功率，最终把每一帧合并成为一个视频。

针对处理视频主角在光影和明暗的变化方面，则由京东AI采用在纹理图上进行融合处理的手法，让纹理的生成独立于头部姿态的变化，从而使换脸更加的连贯和自然。

以上这些技术应用，对京东云的计算资源和整体技术体系提出了极高的要求。陈峰解释，AI换脸项目正在不断进化，换脸照片与换脸视频相比，难度和计算量是不可同日而语的。对视频来说，每一帧都是一张图片，15秒的视频包含了非常多的图片，如何处理以及处理完之后重新合成和拼接，需要强大的技术支撑。

为了使服务器效率最大化，项目技术研发团队特别做了资源分工：GPU服务器负责人脸检测、特征识别和换脸视频，CPU服务器负责换脸海报。“在充分利用GPU计算能力的同时，让CPU承担部分渲染和运算的工作，是基于京东云渲染类客户的大量业务得到的最佳实践。京东云有很多渲染客户，包括很多热门电影的渲染工作也是用CPU与GPU混合部署技术实现的。”刘辰说。

数据显示，在一周的时间里，H5换脸视频应用承受住了千万级的页面浏览量和百万级的独立访问量，最终生成了约200万个换脸视频。

针对第二个难题，让遍布全国甚至全球的网友都可以便捷地制作自己的定制大片，杜绝用户访问时发生网络路径延迟等情况发生，京东云提供了完备高效的CDN加速方案，实现全网全区域无盲点的加速覆盖，为页面访问、文件下载、图片加载以及视频播放和直播带来非常显著的访问速度提升，确保了用户制作定制大片的良好体验感。

此外，技术研发团队从用户使用手机流量获取视频的角度考虑，原始的换脸视频大小约有几十兆，如果直接使用原始视频交付用户，既影响传输的流畅度，同时还会对用户使用手机流量体验产生负面的影响。因此，京东云对原有视频进行压缩和转码的操作，将用户最终看到的换脸视频压缩到5兆左右。

值得一提的是，为了防止用户信息泄露等情况发生，京东云在安全性、合规性和隐私保护性上下足功夫。采用对用户上传的内容加密、为用户提供随机ID等方式，防止非正常访问获取用户数据信息，使用户只能看到自己照片所生成的结果。同时将换脸视频项目的数据全部归集在一个加密桶内并进行打标，保证图像仅用于此项目。

诸多的技术和资源保障反映到前端，取得了良好成效。

“你”获得认可

“打开人民日报APP‘热点’界面中‘70年，我是主角’，一键上传个人正脸照片、选择性别，即可成为主角。在这里，让人重温祖国的峥嵘岁月。以后我的履历上又可以加一项：曾与人民日报合作大片一部。哈哈。”

“希望以这样的身临其境，和祖国一路同行。通过变成电影主角的方式演绎大片，站在主角的角度亲自感受祖国70年的变化。”

用户的反馈就是最好的证明。视频中，展现了一个个标志性历史事件，让每位用户无限接近历史现场，成为主角，从而产生共鸣，致敬每一个奔跑的你，致敬我们共同经历的时代。

换脸视频项目中，京东云在图片、视频的存储、智能分析、融合处理等方面定制了高效能的解决方案，并对图像、视频处理的算法进行持续优化，从每一秒、每一帧入手提升换脸过程的效率和体验。

京东云通过技术赋能，支持海量用户点击参与并获取了属于自己的海报、视频。在其他项目中，京东云还将结合京东丰富的应用场景资源优势及技术实力，持续为企业面向人工智能等新业务、新商业模式转型提供稳定、可靠、灵活、低成本的发展环境，提供深度学习、科学计算、全方位运维等支持。