《70年,我是主角》H5换脸视频背后的京东云技术 十几秒内处理数万个换脸任务

  • 时间:
  • 浏览:0

眼下,基于人工智能技术的换脸软件火爆网络,换脸照片、换脸视频带给用户全新的互联网体验。

由人民日报新媒体联合京东AI、京东云推出的《70年,我是主角》H5换脸视频应用,在以后 过去的国庆节期间受到用户的深度图关注,这是中国第一部全民定制国庆献礼片,女外国网友 我希望上传正脸照片,就能通过AI换脸技术化身微电影主角,重温新中国70年的峥嵘光阴。活动期间,页面访问量达到千万级别,最终生成20000小时视频,相当于20000部电影的长度。

京东云副总裁、京东云客户成功部负责人刘辰被问及“何如看待H5换脸视频项目得以顺利运行”时,他的回答是:“系统性能和吞吐量的保障,是《70年,我是主角》项目的一大挑战。在立项初期,团队对H5应用的并发量做了预估,将目标定为保证千万级的页面浏览量。在此基础上,通过一系列调优测试,提高整个系统的吞吐量。最终,依靠京东云可靠的技术实力和高效的运维保障能力,使换脸视频项目得以平稳运行,用户体验良好。”

对此,京东云产品研发部高级总监陈峰的回答是:“我很高兴看到在某些项目中,京东云成功实现了云计算技术在高速率单位、高密集、高并发情況下的顺利平稳运行,确保了用户的优质体验。”

从用户深度图看,《70年,我是主角》H5换脸视频应用让所有参与的用户出演定制电影,成为故事的主角;从技术深度图看,为换脸视频应用提供技术支撑保障的“你”——京东云,正是项目手中的主角。

“你”经历疑惑

在庆祝中华人民共和国成立70周年之际,9月28日,由青年导演姚庆涛执导的微电影《70年,我是主角》在人民日报新媒体等主要平台上线。以后,《70年,我是主角》H5换脸视频应用上线。

H5是指第5代HTML(超文本标记语言),也指用H5语言制作的一切数字应用产品。通俗的讲,H5主而是 负责编写炫酷页面交互和3D效果在内的前台页面。

这么问題来了,与而是静态图片可能超短小视频的换脸不同,《70年,我是主角》提供用户用于换脸的视频片段长达15秒,这手中需要京东云提供何如的技术支撑呢?

刘辰指出,用户提供的照片中,人脸是平面的。转换到视频中时,主角频繁在火车车厢里、室内、户外、夜间等不同场景下穿梭,主角脸部的明暗差异变化非常大,光影效果和脸部深度图极为多变。防止好换脸视频的效果,将对用户可以 能得到置身其中的体验感至关重要。这是对京东云换脸视频项目技术研发团队的第一兩个多多考验。

图说:换脸视频中多变的场景,给项目技术研发团队带来挑战

换脸视频技术对于云计算系统的计算压力非比寻常。与当前流行的换脸照片相比,一兩个多多用户定制大片换脸视频所需运算量相当于约200次换脸照片。陈峰表示,京东云提供的计算服务,若想在短期内防止血块的换脸视频任务,是需要依靠超大规模的、可弹性调度的GPU服务器集群资源作技术支撑的。

项目技术研发团队遇到的第兩个考验,是针对海量用户访问视频应用时的高并发需求。在项目还未上线运行时,研发团队可能预估到,项目上线后可能村里人 民日报新媒体平台上的海量用户参与,京东云还有点考虑到上线之初用户海量访问的爆发和激增等情況位于。

防止某些问題就需要依靠京东云的CDN服务了。高效的CDN调度算法可以 能以最快速率单位将换脸海报及换脸视频交付和触达用户,从而保障了用户的良好体验。

纵使《70年,我是主角》H5换脸视频项目有诸多挑战摆在京东云换脸视频项目技术研发团队手中,但大伙儿依然砥砺前行……

“你”寻求突破

看起来非常炫酷的换脸视频应用,实际上仅需要用户打开换脸视频应用前端,上传照片。此时,云计算防止系统会自动生成一兩个多多换脸任务,进入京东云后台的任务队列。最终,用户可以 能获得5张海报和一兩个多多视频。

图说:用户只需上传单人正脸照片、选择性别,即可获得5张海报和一兩个多多视频,成为主角

刘辰指出,《70年,我是主角》换脸视频项目在流量达到峰值期间,后台要在十几秒的时间内,并肩防止几万个换脸任务。为此,团队要进行“削峰填谷”的工作,在不浪费计算资源的情況下,保障高峰期时高并发换脸任务的平稳运行。在京东云计算集群中,还为该项目独立划出一兩个多多测试区进行流量模拟,确保后台监测与客户的真实体验一致。

项目最终得以平稳运营,一方面得益于京东云在短期内调集血块GPU集群资源作为支撑,所村里人 面依靠CDN技术使用户可以 能及时获取海报和视频,防止网络拥挤的情況,提高用户访问换脸视频应用的响应速率单位。

这么,京东云项目技术团队是何何如证用户得到完美换脸效果的呢?

人民日报相关技术负责人曾表示:“这是国内首例国庆版H5智能换脸应用,有以后应用于庆祝中华人民共和国成立70周年的关键时间点。”另外,从算法的复杂性程度看,此次换脸视频也是长度最长的一次,每个视频需要经过人脸检测、换脸海报制作、换脸视频制作等一兩个多多步骤。

换脸视频操作需要由京东云提供的CPU服务器和GPU服务器一兩个多多计算集群来分别防止。刘辰介绍,项目运行期间,共有超过2000台GPU服务器和2000台CPU服务器提供支持。

人脸检测,需要对人脸进行形状识别,也而是 需要对一张人脸提取约十五万个形状,即十五万个关键点,可能换脸视频是2D转3D的人脸换脸的过程,而是在提取方面会比普通的换脸照片多而是的关键点和形状,以此再做3D建模。

换脸海报是用户通过提交的1张照片,获取5张换脸海报。这对CPU服务器提出了不止5倍计算能力的需求。

换脸视频是把一兩个多多视频先切分成帧,对每帧的人脸形状展开3D关键点检测技术,来定位人脸区域的十五万多个关键点,以保证头部在任何深度图转动时仍能完成换脸的应用。保证了人物在各种环境下换脸视频的成功率,最终把每一帧合并成为一兩个多多视频。

针对防止视频主角在光影和明暗的变化方面,则由京东AI采用在纹理图上进行融合防止的手法,让纹理的生成独立于头部姿态的变化,从而使换脸更加的连贯和自然。

以上那此技术应用,对京东云的计算资源和整体技术体系提出了极高的要求。陈峰解释,AI换脸项目正在不断进化,换脸照片与换脸视频相比,难度和计算量是不可同日而语的。对视频来说,每一帧后会一张图片,15秒的视频包含了非常多的图片,何如防止以及防止完以后 重新合成和拼接,需要强大的技术支撑。

为了使服务器速率单位最大化,项目技术研发团队有点做了资源分工:GPU服务器负责人脸检测、形状识别和换脸视频,CPU服务器负责换脸海报。“在充分利用GPU计算能力的并肩,让CPU承担部分渲染和运算的工作,是基于京东云渲染类客户的血块业务得到的最佳实践。京东云有而是渲染客户,包括而是热门电影的渲染工作也是用CPU与GPU混合部署技术实现的。”刘辰说。

数据显示,在一周的时间里,H5换脸视频应用承受住了千万级的页面浏览量和百万级的独立访问量,最终生成了约200万个换脸视频。

针对第兩个问題,让遍布全国甚至全球的女外国网友 都可以 能便捷地制作所村里人 的定制大片,杜绝用户访问时位于网络路径延迟等情況位于,京东云提供了完备高效的CDN加速方案,实现全网全区域无盲点的加速覆盖,为页面访问、文件下载、图片加载以及视频播放和直播带来非常显著的访问速率单位提升,确保了用户制作定制大片的良好体验感。

此外,技术研发团队从用户使用手机流量获取视频的深度图考虑,原始的换脸视频大小约有几十兆,可能直接使用原始视频交付用户,既影响传输的流畅度,并肩后会对用户使用手机流量体验产生负面的影响。有以后,京东云对原有视频进行压缩和转码的操作,将用户最终看到的换脸视频压缩到5兆左右。

值得一提的是,为了防止用户信息泄露等情況位于,京东云在安全性、合规性和隐私保护性上下足功夫。采用对用户上传的内容加密、为用户提供随机ID等方式,防止非正常访问获取用户数据信息,使用户这么看到所村里人 照片所生成的结果。并肩将换脸视频项目的数据完正归集在一兩个多多加密桶内并进行打标,保证图像仅用于此项目。

诸多的技术和资源保障反映到前端,取得了良好成效。

“你”获得认可

“打开人民日报APP‘热点’界面中‘70年,我是主角’,一键上传所村里人 正脸照片、选择性别,即可成为主角。在这里,愿意重温祖国的峥嵘光阴。以后 我的履历上又可以 能加一项:曾与人民日报战略公司合作 大片一部。哈哈。”

“希望以一兩个多多多的身临其境,和祖国一路同行。通过变成电影主角的方式演绎大片,站在主角的深度图亲自感受祖国70年的变化。”

用户的反馈而是 最好的证明。视频中,展现了一兩个多多个标志性历史事件,让每位用户无限接近历史现场,成为主角,从而产生共鸣,致敬每一兩个多多奔跑的你,致敬大伙儿并肩经历的时代。

换脸视频项目中,京东云在图片、视频的存储、智能分析、融合防止等方面定制了高效能的防止方案,并对图像、视频防止的算法进行持续优化,从每一秒、每一帧入手提升换脸过程的速率单位和体验。

京东云通过技术赋能,支持海量用户点击参与并获取了属于所村里人 的海报、视频。在某些项目中,京东云还将结合京东富于的应用场景资源优势及技术实力,持续为企业面向人工智能等新业务、新商业模式转型提供稳定、可靠、灵活、低成本的发展环境,提供深度图学习、科学计算、全方位运维等支持。

关于京东云

京东云(JD Cloud)是京东集团旗下的全平台云计算综合服务提供商,拥有全球领先的云计算技术和富于的云计算防止方案经验。京东云提供从IaaS、PaaS到SaaS的全栈式(Full Stack)服务,包含公有云、私有云、混合云、专有云在内的全场景(Full Services)服务,从IDC业务、云计算业务到综合业务的全频段(Full Spectrum)服务,京东云还致力于为战略公司合作 伙伴提供覆盖全行业应用、为全行业提供平台支撑的全生态(Full Ecosystem)服务。并肩,京东云依托京东集团在云计算、大数据、物联网和移动互联网应用等多方面的长期业务实践和技术积淀,形成了从基础平台搭建、业务咨询规划,到业务平台建设及运营等全产业链的云生态格局,为用户供一站式全方位的云计算防止方案。