受新冠肺炎疫情影响,第29届北京国际广播电影电视展览会(BIRTV2020)取消线下展,改在展览会官网线上展示。本届线上展的主题是“智慧引领 融合驱动 产业赋能”。“BIRTV新视听峰会”是本届BIRTV的重要峰会之一。国家广电总局在2019年出台的《关于推动广播电视和网络视听产业高质量发展的意见》中指出,加快大数据、云计算、人工智能、IPv6、5G、VR、AR等新一代信息技术在广播电视和网络视听节目制作播出和传输覆盖中的部署和应用。
8月19日上午,“BIRTV新视听峰会”举行。此次峰会上,嘉宾分析总结视听产业发展现状,比较解读相关技术与方案,探讨交流未来5G背景下高新视频产业创新和商业模式演进等。【 更多精彩内容,可查看专题:“BIRTV新视听峰会” 】
会上,阿里云通用事业部媒体行业技术总监张广亮以《AI编辑部开启云端制作新纪元》为题,进行了精彩演讲。他指出,未来,通过AI编辑部,阿里云将协同更多的合作伙伴,使用大数据和人工智能技术,提供远程化、互动化、智能化的云端制作能力。在云端,既可以实现对超高清视频的低成本高效率的生产,也可以实现短视频的快速批量生产,还能够利用云端的业务弹性、AI能力、和互联网的天然对接,完成更多可供想象的业务场景。
随着技术的发展,5G+4K+AI等新技术应用,已经是媒体行业转型的共识。面对8.9亿手机网民,要充分发挥5G网络技术优势,构建手机小屏和电视大屏融合传播的全媒体分发体系。张广亮提到,在新的传播形式下,用户更倾向于个性化的视听需求,在视听需求方面,有纵深两大发展方向:
·在深的方向上,用户对于内容的品质要求越来越高,4K超高清视频是5G时代最重要的应用之一,也是AI编辑部媒体行业最大的机遇;
·在纵向上,用户对于内容的碎片化消费和趣味性提出了更高要求,也就是短视频的需求。而AI已经渗透到媒体生产内容的各个环节,对采编播存等媒体业务优化提供了强大的动力支撑。
在超高清产业链当中,采集、传输和播放环节已经有了长足发展,但内容生产环节,却因超高清内容的复杂度,需要对生产设备进行更换,投资极大且周期长,内容积累需要时间等原因,形成了整个产业链中短板。相比于高清视频,4K对于计算力和带宽的需求是16倍。所以,设备层面需要拍摄生产、存储传输、后期制作等一整套体系的重新投入,动辄需要上亿的投入。4K内容制作的这种高要求和高成本,将加速推动超高清视频的云化生产进程,通过云端的强大算力和弹性能力,为4K制作带来跨越式发展。
那么,如何通过大数据和人工智能的手段提升短视频的制作时效和制作产量,也是AI编辑部媒体融合转型的重点工作之一。AI编辑部,就是阿里云面对4K制作和短视频制作的难点,所推出的专业化解决方案。
在整个融合媒体制播流程当中,AI编辑部聚焦在后期精编制作和短视频制作,通过大屏精编和小屏快编,实现大小屏的双向互动,通过大量使用AI技术,实现大小屏的内容融合生产。通过PC端+移动端协同生产的方式,加速整个内容生产的效率,即生产制作是整个制播流程的核心,它连接了采集,播放和存储,也只有让制作过程全面云化之后,才能真正提升融合媒体的效率。
具体来说,AI编辑部可以从真4K的云端制作、4K视频增强、云上融媒短视频制作三个细分内容来谈。
何为真4K?这里所指的是台里直播应用的500Mbps的XAVC,或是Finalcut或是Premiere常用的1.5Gbps的Prores422等。
那么如何助力真4K的云端制作?具体来说,AI编辑部提供丰富的底层计算和存储能力,来实现云端4K制作的更高性价比。同时,AI编辑部中还可以自动化的生成后端的计算集群、存储集群以及前端的云图站实例,在云图站中,AI编辑部已经测试并集成了国内及国外主流的4K编辑,审核,调色等软件,使用户在普通配置的工作站甚至笔记本上都可以完成4K超高清内容的编辑、审核、校色等工作。
此外,AI编辑部除了可以按需快速创建4K制作的环境和资源,更能在后台监控4K制作资源的运行情况,及时释放空闲实例,节省资源开销。对于台内已有的制作系统,AI编辑部可以利用专线构建混合云模式,满足云上云下内容的按需同步,实现资源的联动、生产的协同。
在4K云端制作的基础设施方面,AI编辑部做的主要创新是引入了SCC高性能计算和CPFS并行文件系统。针对云端制作的高性能需求,SCC通过25Gbps的RDMA网络,实现计算节点之间,计算节点与存储节点之间2us左右的低延时互联,满足更佳的制作体验,并且使用弹性裸金属实例,避免虚拟化损失,进一步提升性能。针对云端制作的高存储容量和带宽需求,CPFS提供随存储节点的线性扩充吞吐能力,单集群最大9620个节点,单集群最大300GB/s吞吐能力。
除了SCC和CPFS,AI编辑部提供了丰富的适配于传媒业务的资源,包括FPGA、GPU等各类个性化硬件设备,以满足不同业务诉求。例如,FPGA转码在要求较高画质、低卡顿率的直播场景中具备高性价比。而GPU转码则在文件场景中表现更佳。此外,AI编辑部针对GPU进行了大量的优化,包括GPU的虚拟化,共享以及赤化,能够极大的提升GPU的利用率,降低云端制作的成本。
针对超高清的初期阶段,存量4K内容不足的问题,AI编辑部提供了对原有存量视频内容进行智能增强的能力,实现分辨率、画面流畅度、指标等多方面的超高清体验。
在4K视频增强方面,AI编辑部主要通过视频超分,视频插帧和色彩增强三个核心技术,来全面提升1080p及更低质量视频的画质,在帧率、分辨率以及色彩三个方面全部达到超高清视频要求。AI编辑部提供的4K增强能力,既满足专业标准,也就是总局在《4K 超高清电视节目制作技术 实施指南》中的标准定义,也满足行业内专业的技审和监看要求,在满足客观参数标准的同时,在主观视觉体验上有显著提升,包括细节还原、噪声抑制、画面流畅、视频亮度、色彩对比度和明暗细节保持等。
在AI视频超分方面,AI编辑部采用深度学习的方式,对画面进行无损放大,能够实现分辨率4倍提升,对人像、场景等细节进行修复还原的同时,能够抑制块噪声、压缩噪声等画质损伤,使画面更锐利。AI编辑部创新的提出了重点部位的增强,以最小代价,做到最有效果,如重点优化人像面部,对人的皮肤纹理、毛发细节等实现更好的修复还原。
在高帧率重置方面,AI编辑部采用的是AI智能分析+动态补偿技术,针对画面运动的不同采用差异化的插帧策略,能够有效的解决跨帧卡顿和平移抖动等问题。采用空间时序和瑕疵比对算法对视频画面实现智能插帧,保证内容连贯的同时实现帧率加倍。
在HDR转换方面,AI编辑部能支持HLG和HDR10两种标准,采用全自动色域变换与提升,智能分析不同类型的镜头采用差异化的映射方法,还原更真实和自然色彩的同时,修复过曝/欠曝细节,从而显著提升色彩表现力与层次感,峰值亮度高达1000nit,提升对比度的同时能够保持亮暗部的细节。
当今社会,做短视频最重要的一点,是知道当前的热点是什么,用户喜欢什么。从制作短视频出发,AI编辑部有以下几个核心优势:
1、AI编辑部提供了强大的监测、预测和评估能力,来帮助编辑判断要做什么样的短视频,进行有针对性的制作。
2、AI编辑部提供了强大的多模态标签能力,来重新定义视频的内容,它综合利用图像,语音,文字等多种AI能力,体系化产生标签。
3、针对检索的痛点,AI编辑部提供了强大的多模态检索,它有以下几个显著的特点:
第一、支持文搜、图搜、视频搜、多语言搜等能力,让检索方式更丰富;
第二、支持自然语言理解,可以直接通过“习近平出席英国女王晚宴”等自然句式进行检索;
第三、支持知识图谱,辅助进行检索条件理解的同时,进行检索结果的相关推荐;
第四、全流程的多模态能力,如用图搜能力,是先用多模态能力去理解图片,然后再进行多模态的内容匹配。
4、提供海量、多类别的视频模板是短时间产出大量、专业短视频的关键。目前在AI编辑部当中,已经有新闻报道、会议会展、主旋律宣传,人物专访,节日节气等多个场景,每个场景当中都支持数十个模版,当选定一个模版之后,可以方便的替换海报内容,海报文本,背景图片,背景音乐等,制作一个短视频只需要秒级。另外,AI编辑部还提供了手机端的模版,记者编辑使用手机拍摄的视频,也能够通过模版快速的生成短视频。
5、AI编辑部提供了非常多的专业智能辅助工具,可以场景化的满足快速短视频制作需求,比如数据新闻,只需要简单的输入几个数字,就可以生成炫酷的数据新闻短视频,如智能横转竖,这个能力来自于优酷,能够自动将横屏的长视频转化为竖屏的短视频,还有智能去抖、体育集锦、在线调色等等
过去,AI编辑部广电在本地使用专业设备进行高标清视频的制作,现在,AI编辑部使用IP化、集约化和虚拟化进行专业设备和制作软件的解耦。未来,通过AI编辑部,阿里云将协同更多的合作伙伴,使用大数据和人工智能技术,提供远程化、互动化、智能化的云端制作能力。在云端,AI编辑部既可以实现对超高清视频的低成本高效率的生产,也可以实现短视频的快速批量生产,还能够利用云端的业务弹性、AI能力、和互联网的天然对接,完成更多可供想象的业务场景,如异地协同编辑等。因此,AI编辑部将开启云端制作的新纪元。
推荐阅读
经典栏目
精彩专题
关注我们
大视频行业颇具影响力的行业社群平台,重要新闻、热点观察、深度评论分析,推动电视行业与各行各业的连接。
集合电视台、网络视听、潮科技等各种好玩信息。
专注于报道广电行业新鲜5G资讯,致力于成为广电行业有权威、有深度的5G自媒体平台。
UHD、4K、8K的最新资讯和最深入的分析,都在这里。
视频产业的专业圈子,人脉、活动、社区,就等你来。
我们只沉淀有深度的信息和数据。
致力于卫星电视信息、卫星通信技术、天地一体网络应用案例、以及广电、通信等产业的市场动态、政策法规和技术资讯的传播。