核心要点
·涉及建模、驱动以及渲染等,“小C”是这样打造出来的!
·“小C”是基于视频中台、AI中台所构建出来的形象
·“虚拟主播和真人主播可以是互补的关系”
·未来数字人将呈现两大发展趋势
“欢迎来到央视网!央视网是中央广播电视总台主办的中央重点新闻网站,是拥有多牌照业务资质的大型互联网文化企业。”
近日,中广互联走进央视网“人工智能编辑部”进行参观学习,一进门就被虚拟人“小C”所吸引。
据了解,“小C”既是央视网人工智能编辑部的讲解员,也是2021年央视网特别策划“两会C+真探”系列直播节目的连线记者,媒体行业内首个直播连线采访人大代表的“3D超写实数字人”。经过一年多的深度加工、技术迭代、场景拓展,在2022年,“小C”还曾担任过《两会C+时刻》《C位看冬奥》等多档节目的主持人。
相比真人主播,虚拟主播“小C”到底有什么过人之处?具体采用了哪些核心技术?未来发展前景如何?带着这些问题,中广互联采访到了央视网技术规划部总监武海玲。
中广互联:您好,可否先为我们介绍一下央视网“小C”的基本情况呢?
武海玲:“小C”是央视网在2021年两会期间推出的数字虚拟主播。我们对其构思的定位是一个刚走出大学校园的女孩儿,拥有青春、靓丽的形象,为了丰富人物形象,我们也对她的性格、爱好、职业等都进行了设定。
央视网在人工智能领域的探索已深耕多年,并构建了完整的AI中台能力,结合AI中台能力,基于语音、自然语言处理、计算机视觉等技术,我们打造了一个3D超写实数字人形象。我们通过4D扫描采集了大量人脸数据,并采用3D数字人像绑定技术和模型训练,最终合成了“小C”。
“小C”作为媒体行业连线采访两会代表的首位3D超写实数字人,一经推出,市场反响热烈。目前,已在2021年全国两会、2022年全国两会、2020年东京奥运会、2022年北京冬季奥运会、2021年中国国际智能传播论坛、第六届世界智能大会、第二届中国网络文明大会、2022年重大主题宣传报道等活动中出镜,并两次登上《新闻联播》栏目。
后续,我们设想基于央视网的品牌文化属性,重点打造数字人IP,让“小C”成为一个兼具技术与文化的符号,以年轻人喜闻乐见的形式创作更多内容,做好全媒体时代的主流价值传播。
中广互联:我看相关介绍中提到“她的发丝、肌肤毛孔、说话口型、微表情等细节都清晰可见,还能进行实时流畅互动”这是怎么做的呢?应用了哪些先进技术?
武海玲:中国人工智能产业发展联盟将虚拟数字人的技术架构概括为“五横两纵”,“五横”指人物生成、人物表达、合成显示、识别感知以及分析决策模块,“两纵”即2D、3D数字人,您提到的问题涉及人物生成和人物表达模块中的建模、驱动、渲染技术。
为了构建一个皮肤、五官更贴近真人的高精度模型,我们采用了相机阵列4D扫描技术,在100多台相机的扫描棚里采集人物的面部和身体基础数据,4D扫描相比3D扫描能捕捉面部更细微的动作,采集更丰富的动态数据作为训练物料,之后通过算法处理和人工调校还原人物的三维模型。小C的皮肤贴图质量达到8K分辨率,材质接近真实观感;发丝采用XGen技术制作,实时呈现根根分明的效果;面部表情形变基数量超过400个,大大地丰富了虚拟数字人面部表情的细微表现。在口型驱动上小C采用了一个轻量级的深度神经网络模型,能够实现端到端的表情实时控制,其逐字口型准确率大于98.5%。
为了满足低延时、低成本、快速生产小C视频的要求,我们在应用层基于实时渲染引擎和ARKit框架开发了一套无穿戴式的实时动态捕捉应用,降低了业务的操作使用成本。
中广互联:我注意到“小C”是由业内多家技术厂商提供的技术支持,央视网在其中的定位是什么?可否透露一下运维情况?
武海玲:“小C”是由央视网技术团队牵头,联合业内多家技术厂商共同研制和运营。3D超写实数字人涉及的技术层面较多,根据我们的前期调研,没有一家技术厂商可以不依赖上下游合作伙伴,独立完成“小C”的研制和运营,故我们引入了多家供应商,例如做影视级内容的公司、动捕供应商、虚拟演播室供应商等。
我们技术团队一是侧重研究如何将各类关联技术整合到一个平台中;二是重点围绕“小C”在央视网实际内容生产需求,在前端开发更多适用于我们的业务场景的应用,如形象管理、直播管理等。三是要在运营上下功夫、做创新。总之,我们会结合应用场景,联合不同的供应商做不同方向的拓展,目前多家公司的技术创新已融合到“小C”身上。
中广互联:2021年两会期间,央视网首次推出了“小C”,今年两会上《两会C+时刻》“小C”再次亮相。这一年间,有哪些技术方面的革新呢?
武海玲:今年两会,小C主持了《两会C+时刻》节目,在三场直播访谈中与嘉宾们就两会热点话题展开讨论,本次直播将3D超写实数字人创新应用在虚拟制作流程中,首次实现了现场嘉宾和实景、虚拟角色和场景两者的无缝融合,同时基于云连线技术,与远程嘉宾实时对话,节目传播效果突出。小C在技术实现上不仅实现了实时的全身动作捕捉和渲染,并且联通了上下游多个系统。
同时,今年我们基于云渲染、语音合成、3D合成等技术,搭建了一套适用于数字人运营的功能完善的一体化数字人内容生产平台,覆盖形象管理、视频生成、直播推流、互动问答等功能,可以满足数字人多种场景的灵活运用。从中可以看出,融合化、平台化是特色,我们把多项数字人前沿技术融合运用到了媒体制播的流程中,随着数字人技术的发展,相信未来会碰撞出更多好玩有意思的创新应用,持续激发智媒创作力。
图为:真人驱动“小C”
中广互联:我想了解一下,采用“小C”进行内容播报相比真人播报在流程上可以节约多长时间?
武海玲:举个例子,2021年东京奥运会我们用“小C”去生产《C+奥运》节目内容,单条视频生产速度大概可以控制在3分钟以内。效率会远超真人播报,省去了演播室资源协调、主持人准备等环节。
中广互联:2021年以来,中央广播电视总台一直在全力构建“5G+4K/8K+AI”战略格局,央视网是如何践行的呢?“小C”可以算是其中一个布局吧?还有哪些AI应用呢?
武海玲:作为中央广播电视总台旗下新媒体机构——央视网一直在积极践行总台的“5G+4K/8K+AI”战略,我们目前所在区域就是央视网牵头建设的总台三网“人工智能编辑部”, 是独具总台“智造”特色的产品创新基地,通过将人工智能技术广泛应用于宣传报道和内容产品建设,已经出品了多个口碑产品。
近些年,央视网深耕视频、大数据、人工智能三大领域,目前,我们已构建了四大中台——数据中台、视频中台、AI中台、业务中台,并在四大中台的基础上产生了百花齐放的创新型产品。其中“小C”就是基于视频中台和AI中台所构建出来的,我们还有智能审核、智能标签、智能思政云平台等特色产品。
具体来说,“智能审核”是国内主流媒体首个商用级别AI内容风控平台,拥有专业、权威且自主研发的审核信息知识图谱,可以助力行业用户把握正确舆论导向、保障内容安全播出,营造风清气正的网络空间。
“智能标签”利用人脸识别、OCR、ASR、NLP、知识图谱等人工智能技术,对视音频内容进行多维分析,智能提取视音频中结构化信息,自动生成标签,辅助融媒体资产的统一检索和共享交换,为媒体运营提供多维度数据支撑,实现用户精准推送及相关推荐,提升运营效率。
智慧思政云平台充分发掘利用央视网海量数字媒资优势,探索“AI+思政教育”的新形式、新方法,综合运用大数据分析、人工智能等先进技术,系统化满足思政教学场景中的生动教学、高效备课、沉浸学习、互动交流等实际需求,以视频为特色,包含图文资源的智慧化思政素材数据库及智能课件制作工具。
这三款产品都是基于央视网的AI中台和数据中台所构建,不仅能够自用还能为客户提供相应服务。
中广互联:您可否给我们介绍一下央视网的“人工智能编辑部”呢?
武海玲:“人工智能编辑部”的建设,是总台三网贯彻落实习近平总书记关于推动媒体融合向纵深发展的重要指示精神、积极构建“5G+4K/8K+AI”全新战略格局的具体举措。通过发布“人工智能编辑部”系列创新产品,致力于将人工智能大规模应用于新闻实践,构建集智能策划、智能采集、智能生产、智能运营、智能审核于一体的“五智”全链条传播流程,打造引领主流媒体“智慧+”变革的新引擎。央视网依托“人工智能编辑部”,积极布局“云、数、智”服务产品线,拓展“内容+平台+技术”全媒体综合服务,全面推动央视网战略转型与升级。
中广互联:除了两会,目前“小C”还应用于哪些场景呢?主要负责哪些工作?
武海玲:“小C”不仅出现在时政报道中,在顶级赛事中也少不了“小C”的身影。
2021年在奥运期间推出的《C+奥运》,累计发布系列视频近40条,全部使用“小C”平台实现分钟级原创短视频生成,借助成熟的定制TTS、高性能实时云端渲染技术和高精度唇形驱动算法,大幅度缩减了原创短视频制作的时间,也提升了视频的趣味性和新鲜感;在2022年冬奥会期间推出中英文融媒体产品《“C”位看冬奥》,以“小C”视角聚焦冬奥会赛场周边趣事、关注参会人员及海外各方积极评价、跟进日常赛事报道,新颖活泼的形态、看点十足的内容受到海外网友广泛欢迎,传播效果是日常报道的10倍以上。
除了大活动,“小C”还多次参与大型会议、论坛、展览等活动,通过多场景、多元化的创新探索,为公司和合作伙伴不断赋能。
中广互联:目前虚拟主播正在成为广电领域的新风向。从央媒到地方媒体,越来越多虚拟主播走上新闻播报台。您觉得未来虚拟主播会替换真人主播吗?发展前景如何呢?
武海玲:2021年广电总局发布《广播电视和网络视听“十四五”科技发展规划》重点提到,推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产,创新节目形态,提高制播效率和智能化水平。可以看到,近年来各地广电对于虚拟主播都有所试水,央视网在数字人布局上一直走在前列。
虚拟主播是元宇宙基础的生命形态代表,有其自身的特点和特性,例如应用场景更广、互动更灵活,对于重复性、机械性、低创造性等工作,虚拟主播可以节省人力成本,消耗的时间成本也低。虚拟主播不受真实物理时空的约束,可以随时随地跨时空交流。但目前虚拟人的3D渲染以及建模成本偏高、上下游产业链有待进一步完善,完全成熟还需要一定的时间,现阶段虚拟主播和真人主播可以根据实际情况选用,也可以互为补充。
中广互联:除了广电媒体不断推出虚拟主播之外,我注意到各大互联网平台也纷纷将虚拟主播作为了对元宇宙的布局。有的火出圈吸金能力超强,有的则被“休眠”,您觉得虚拟主播市场是蓝海还是泡沫呢?
武海玲:根据网络数据显示,目前全球数字人已经超过3万个。这些数字人被广泛应用于教育培训、金融保险、医疗健康、课堂宣讲、游戏、电商等领域,担任虚拟客服、虚拟导游、虚拟主持人、虚拟主播等角色。以虚拟美妆博主柳夜熙为例,第一条视频发出后一天就涨粉100多万,其商业价值不言而喻。此后多家公司纷纷效仿,然而真正“出圈”的却屈指可数。
业内普遍认为,未来数字人可能会呈现两大发展趋势——
一是成本下降,每个人都可以低成本地创造自己的数字分身,同时用数字分身生产更多内容。通过数字内容的极大丰富,使得整个行业更加活跃、走得更加长远!此前Meta首席执行官马克·扎克伯格表示,未来计划以成本价或补贴价格来出售元宇宙设备,让更多人可以使用,并尽可能提供低费用的开发者和创作者服务,以此提升新的创意经济。
二是与AR、VR、MR、数字孪生等技术做更多的结合,做内容深度的虚拟化。通过结合上下游技术,技术上逐步规范化,使数字人的场景更丰富、商业价值有所提升。目前数字人领域的玩家众多,在软硬件设备、系统、应用平台和内容等方面各有优势,也许未来会逐步形成统一规范和标准,实现市场的有序化发展。
中广互联:谢谢您接受我们的采访。
武海玲:谢谢
采访的最后,当问及对于“小C”未来3个月的规划时,武海玲表示:“‘小C’此前携手2022北京时装周,担任云潮计划推广大使,以AI数字技术,展现国风古韵之美。后续,围绕‘小C’还将策划更多优质内容,如何持续创新‘小C’内容运营,将是近期‘小C’主创团队面临的一个主要问题。目前,我们已帮‘小C’设立了社交账号,未来希望把‘小C’打造成央视网的靓丽名片”。
相关阅读
推荐阅读
专栏作者
经典栏目
精彩专题
关注我们
大视频行业颇具影响力的行业社群平台,重要新闻、热点观察、深度评论分析,推动电视行业与各行各业的连接。
集合电视台、网络视听、潮科技等各种好玩信息。
专注于报道广电行业新鲜5G资讯,致力于成为广电行业有权威、有深度的5G自媒体平台。
UHD、4K、8K的最新资讯和最深入的分析,都在这里。
视频产业的专业圈子,人脉、活动、社区,就等你来。
我们只沉淀有深度的信息和数据。
致力于卫星电视信息、卫星通信技术、天地一体网络应用案例、以及广电、通信等产业的市场动态、政策法规和技术资讯的传播。