(本文作者:北京广播电视台 吕晶,刘旭;原标题:【精选】AI数字人“时间小妮”赋能媒体融合的策略研究 )
(第一作者简介:
吕晶(1981—),女,北京广播电视台融媒体中心综合协调科科长。AI数字人时间小妮项目负责人,曾参与北京台春晚、中秋晚会、北京国际电影节、中国摄影金像奖、欢乐春节、北京喜剧幽默大赛、七夕歌会、清明诗会等重大项目的宣传推广和营销策划。)
2022年11月,国家广电总局举办的第二届广播电视和网络视听人工智能应用创新大赛评选结果最终揭晓。经过推荐、预赛、决赛和公示,广电总局评选出虚拟数字人、深度合成、视频修复、智能推荐和深度伪造鉴别等5个赛道,共67个项目为创新项目(一、二、三等奖)和入围项目(优秀奖)。
为促进获奖项目经验的学习借鉴,积极推进人工智能技术在广播电视和网络视听领域的创新应用,推动广播电视和网络视听高质量创新性发展,《广播与电视技术》特开设人工智能应用创新大赛虚拟数字人技术应用、智能推荐技术应用等相关主题专栏,邀约有典型意义和创新特色的获奖项目负责人或主要参与者撰稿成文,以飨读者。
据不完全统计,目前我国主流视听媒体推出的数字人已达数十位,典型案例包括新华社数字宇航员、数字记者“小铮”、中央广播电视总台视听新媒体中心“AI王冠”、央视网“小C”,上海广播电视台“申雅”、北京广播电视台“时间小妮”、湖南卫视“小漾”,浙江卫视“谷小雨”等。从知名主持人的虚拟分身到二次元偶像,再到难辨真伪的高精度3D超写实数字人,外形风格各异的数字员工日益成为传媒业的新生力量。
图1 北京广播电视台AI数字人“时间小妮”
目前,广电数字人作为“人形”人工智能,大多停留在以视听播报的形式参与内容生产,以此提升用户的观看体验。但是,在构建全媒体传播体系建设的大背景下,如何推动数字人技术加速渗透传媒行业,为主流媒体融合转型提供赋能,已经变成数字人升级迭代的重要命题。本文将以北京广播电视台AI数字人“时间小妮”创新广电运营的具体案例,简要分析AI数字人技术赋能媒体融合的有效策略。
1.1 数字人的技术升级:驱动媒体融合方式变革
在媒体深度融合发展的大背景下,北京广播电视台围绕引领舆论、服务人民、做强自身,持续探索关键技术的自我创新,集成最新的服务应用,形成移动端的技术赋能。在元宇宙元年,北京台依托官方新媒体平台“北京时间”打造出AI数字人“时间小妮”,“时间小妮”采用世界一流的人工智能视频合成技术,集人工智能、深度学习、卷积神经网络学习技术于一体,采集北京广播电视台自有主持人徐春妮的形象和声音素材合成4K超高清AI真人数字人,形象气质、语音语调、肢体动作等与真人相似度达97%。不仅比同类型产品更像真人,还包含了AI视频交互和智能应答场景等功能。
AI数字人“时间小妮”在技术方面具有四大创新点:
一是算法创新,采用业界领先的VID2VID with voice GAN算法技术,即形象语音同步深度学习算法技术,使唇音情绪自然同步。开发独有的情绪仿真(DeepEmotion)算法引擎,为AI数字人赋予了如同真人的情感表情。
二是科技创新,该项目实现了广播级4K超高清AI数字人视频生产合成能力,支持 2D/3D 背景模板、数据模板、AR/VR 包装植入,支持采用实时合成技术,实现与用户进行Real Time实时对话,支持识稿、备稿、编排,支持对音频、视频、文本、图片等相关数据集合,进行预处理批量化合成输出。
三是应用创新,特别打造AI数字人模型系统、编辑生成系统、应用渲染包装系统,可以广泛应用于资讯播报、应急广播、路演发布、智能应答、智能客服等众多需要依赖传统真人服务的场景,满足7×24小时工业化连续内容生产和视频客服,支持日1000条视频内容的输出能力。
四是模式创新,该项目除满足传媒机构的自有应用需求,也实现了对优质主持人资源的IP数字资产开发,全方位为国家数字化转型提供AI视频创作力赋能,也为电视台融合媒体发展提供了一条深度挖掘广电行业优质数字资源、拓展经营收益的广阔赛道。
1.2 媒介的终极演进:驱动主持人的传播方式变革
2022年初,中国传媒大学媒体融合与传播国家重点实验室媒体大数据中心发布了《中国虚拟数字人影响力指数报告》,从技术和媒体型态两个层面定义了今天的虚拟数字人。从技术层面看,虚拟数字人(Metahuman)可以理解为是通过计算机图形学、语音合成技术、深度学习、类脑科学、生物科技、计算科学等聚合科技(Converging Technol-ogies)创设,并具有“人”的外观、行为甚至思想(价值观)的可交互的虚拟形象。从未来媒体形态和服务模式看,聚合科技带来语义传播与无障碍传播的新空间,由此诞生的虚拟数字人将作为新媒介角色,广泛应用在元宇宙新生态中,担任着信息制造、传递的责任,是元宇宙中“人”与“人”、“人”与事物、事物与事物之间产生联系或发生孪生关系的新介质。
AI“时间小妮”除了智能播报功能,还在媒体融合模式上深耕细作——主打用户服务,并通过人工智能和情景对话的形式,延伸“新闻+政务”“新闻+服务”“新闻+商务”的触角,不断释放出新的运营创新产品和优质服务动能。
一是赋能舆论引导。在实用性方面,“时间小妮”采用主持人徐春妮的面部表情、体态、声音等进行传播,符合用户长久以来培养的信息接收习惯;在展览性方面,在非接触时代,人工智能一体机等需求在不断增加,清晰生动的AI人物及智能的人机互动体验,将大大降低人力和拍摄成本,提高制作效率。在信息生产和传播的过程中,“时间小妮”可以让新闻发布在确保精细化的同时更具技艺性,推动新闻信息传递更加贴合新闻内容的本位价值,让分散在网下的力量尽快进军网上,汇聚在移动端,占领新兴传播阵地。
二是赋能用户服务。“时间小妮”侧重于用户服务功能。打开“北京时间”客户端,页面的C位留给了服务专区,这里面有生活缴费、天气预报、社会保障、交通管理、教育资源查询、社区便民等各项便民服务,这也是“时间小妮”和北京时间平台运营相对应的一个连接点。目前,该产品已经在北京时间端内初步实现了简单的交互对话服务应用。下一步,“时间小妮”将作为用户与北京时间的桥梁,通过“人工智能+情景对话”的形式进一步提供多种多样的贴心服务。
三是赋能自身发展。在主持人形象品牌化的当下,“时间小妮”也是北京广播电视台以主流价值观为引领,充分挖掘内部资源,为自有主持人打造品牌,开发独有IP的大胆尝试;另一方面,通过挖掘“时间小妮”的影响力和估值要素,进一步去打造自有的AI代言人,这将为“北京时间”品牌发展赢得商机,助力其回归商业价值。
2.1 以先进技术确保广电用户体验
AI数字人“时间小妮”是目前国内复刻程度最高的“AI数字人”,形象复刻还原度≥97%,表情情绪复刻匹配度≥95%,语流语调复刻仿真度≥95%。项目以独特真实的AI数字人情感计算研究为核心,采用世界级高仿真语态和微表情深度学习模型核心技术,开发独有的情绪仿真(Deep Emotion)引擎,为数字人赋予了如同真人的情感表情,实现了TTS合成、Face微表情、Motion肢体动作的丝滑匹配,让计算机复刻出与真人高度相似的30帧/秒“4K超高清AI数字人”,以此带给用户广电水准的体验。
2.2 以功能多样性赋能广电应用场景
对AI数字人“时间小妮”,根据功能需求设计广泛生活场景,并针对数据进行训练,覆盖AI视频播报、AI视频交互场景及智能应答交互场景。智能播报场景包括能够替代真人完成“资讯播报”“应急广播”“知识讲解”“权威发布”“会展主持”“文旅代言”等;智能视频应答场景包括面向旅游、出行、银行、医院、交通等民生服务的“智能客服”“智能导览”“信息咨询”等。支持AI数字人跨平台Web API接口,以及Android SDK、iOS SDK等独立应用程序调用,配备覆盖移动端、PC、WEB、智能硬件等能力无缝对接适配。因此“时间小妮”不仅能够满足普通的内容生产,还可以作为数据终端,与更广泛的社会资源进行更加丰富的链接。
2.3 以应用安全支撑融媒智慧转型
AI数字人“时间小妮”系统部署于北京台官方新媒体平台“北京时间”,依托于“北京时间”云底层安全防护能力进行部署和纳管。配备安全防护能力包括底座防护能力和租户防护能力,达到等保三级标准,确保后续系统安全运营。本期项目研发过程中重点实现了对关键的AI数字人样板大数据的本地化加密存储,确保数据的安全性、保密性。遵照《数据安全管理办法》等数据安全管理制度,在项目研发、上线、运行和维保各个阶段,确保数据采集、数据录入、数据存储、数据传输、数据合成等操作过程中的规范性,满足安全运营要求。同时本项目具有完善的后台管理系统,支持对AI数字人进行应用授权、形象管理、并发授权、任务授权等,通过可视化的Web页面进行操作,提升服务管理的安全性和便捷性。此外,先进的网络、存储设备和高性能GPU渲染合成设备,保障了4K超高清的视频合成渲染服务能力,整个系统所对接的网络中所有关键设备及本系统所部署的云资源均为冗余方式,确保网络7×24小时无故障工作,确保不同业务场景业务单元承载能力,正常运营稳定率不低于99%,并能自行进行切换和故障提示。因此,AI数字人“时间小妮”为北京广播电视台打造智能化的应用提供了安全保障。
“时间小妮”在用户服务功能方面,不仅仅用于新闻信息生产端,还广泛运用于全媒体平台的信息输出,全方位、多领域提升新闻业态的服务水准和运营范畴,与各类各级社交平台深度贯通,让智媒技术以更接地气、更通人心的方式走进大众视野,真正做到以“内容+服务”的产品构架,深度参与到北京广播电视台官方新媒体平台北京时间“新闻+政务、服务、商务”的融合运营,通过进一步加强与公共服务大数据和政府部门的连通对接,提升自身参与社会治理的各项能力,实现政府信息化应用、功能与数据的升级转化。
3.1 拓展“AI数字人+政务”的有效路径
3.1.1 代言政务服务
2022年5月18日,“时间小妮”与北京市12345市民服务热线全面贯通,担任了北京市“接诉即办”推广大使,也作为北京台移动端和电视端的纽带参与内容生产,通过每周发布视频,在大小屏端同步展示北京市各区接诉即办优秀案例,做政策普及和集中解答。
3.1.2 参与社会治理
围绕接诉即办案例,“时间小妮”已先后服务了12345市民热线服务中心,以及朝阳区、顺义区、大兴区、房山区、昌平区、怀柔区、延庆区等各区政府,通过AI数字人播报的新颖方式,将各单位挖掘出的可复制、可借鉴、可推广的优秀经验做法推广到全市各单位,助力城市基层治理体系和治理能力现代化建设,得到了各级领导的高度认可。
3.1.3 创新应用场景
“时间小妮”参与生产了《新身份解锁!“时间小妮”助力12345》《封控小区的社工队伍里有一位“钢铁侠”》《服务老人接种疫苗 共筑防疫屏障》《抗疫战线上的“终端处理器”》《顺义区的这个村太暖心了 爱心车队义务送村民就医》等20期节目,多层次多角度展示了基层党员为民服务的生动故事,点击量超过210万,赢得了市民和网友的广泛好评。此外,“时间小妮”还推出了接诉即办智能交互小程序,收集接诉即办方面的高频共性问题,提供最优解的交互回答,打造首都品质的智能化、精准化政务服务,助力城市基层治理体系和治理能力现代化建设。
3.2 提升“AI数字人+用户服务”的温度和精度
3.2.1 不断刷新用户体验
在党的二十大期间,“时间小妮”以北京时间APP界面为载体,“打通”多维屏幕、“跨时空”对话来自基层的二十大代表,推出了《我的北京时间——AI数字人对话二十大代表》系列融媒报道,展示首都事业发展的非凡十年,不仅为推动技术与媒体的融合创新提供了鲜活的实践样本,还为党的二十大主题宣传报道增加了创新与活力,话题阅读量达到1050万,单条视频阅读量突破70万,为用户带来了不同的体验,也为党代会报道注入了科技“创新力”。
3.2.2 无限瞄准用户需求
2022年上半年疫情期间,除了常态的疫情发布会报道,在北京时间客户端上还开设了“时间小妮”的信息服务内容,比如《京外弹窗怎么办?时间小妮教您正确使用12345弹窗救济渠道》《疫情期间遇困难 时间小妮教您正确使用12345热线》《时间小妮中医预约挂号服务智能导览》等融媒产品,实实在在帮助市民解决具体问题。
3.3 探索“AI数字人+商务”的造血路径
就“+商务”来看,当下主流视听媒体对于数字人项目的应用更侧重于生产端提效,主要商业化途径是新媒体内容的广告变现,规模非常有限。AI数字人“时间小妮”则对主流媒体的造血路径提供了可参考路径。一是定制化服务。为各类展会、剧场提供定制服务。在“北京视听零距离”新视听公共服务志愿行动启动仪式和第二届中国广电媒体融合发展大会上,“时间小妮”作为会务小秘书和主论坛开场主持人,为活动提供了定制播报和开场秀服务,反响热烈。二是提供主流媒体背书服务。北京市工商联与中国建设银行北京市分行特别要求“时间小妮”发布《关于进一步助力小微企业纾困解难和复工复产的十项举措》(见图6),不仅体现了国有大行的责任与担当,还为发布内容提供了主流媒体背书,也是“时间小妮”实现创收的可行性道路。三是打造“时间小妮+北京地标”的专属数字藏品。该产品把北京广电打造的AI数字人与北京的地标元素相结合,探索了具有文创属性的移动端拉新促活和营收的新路径。
随着元宇宙概念的兴起,虚拟数字人技术作为主流媒体构建全媒体传播体系的抓手,为广电媒体的转型提供了更多可能性。但是,在接受新技术赋能的同时,要清醒地认识到虚拟数字人的出现并非为了取代主持人而存在,而是切实让新技术、新应用、新业态为主流舆论新格局赋能。习近平总书记勉励我们说:“用得好才是真本事。”因此,我们必须深耕虚拟数字人与构建全媒体传播体系的关系,进一步探索AI数字人技术赋能广电媒体融合的有效路径,才能行稳致远,塑造好主流媒体舆论新格局。
推荐阅读
经典栏目
精彩专题
关注我们
大视频行业最具影响力的媒体社群平台,重要新闻、独家视频、深度评论分析,推动电视行业与各行各业的连接。
集合电视台、网络视听、潮科技等各种好玩信息。
专注于报道广电行业新鲜5G资讯,致力于成为广电行业有权威、有深度的5G自媒体平台。
UHD、4K、8K的最新资讯和最深入的分析,都在这里。
视频产业的专业圈子,人脉、活动、社区,就等你来。
我们只沉淀有深度的信息和数据。
致力于卫星电视信息、卫星通信技术、天地一体网络应用案例、以及广电、通信等产业的市场动态、政策法规和技术资讯的传播。