AVS视频编码标准的演变:20年来的创新与发展
1 研究意义
20世纪90年代至21世纪初,MPEG和VCEG等国际标准工作组制定了系列视频编码标准,如MPEG-1,H.261,MPEG-2/H.262标准等。
为了填补这一空白,原国家信息产业部科学技术司于2002年6月批准成立中国数字音视频编解码技术标准工作组(AVS工作组),目标是制定具有自主知识产权的音视频编解码标准。
最新一代AVS3标准领先国际标准VVC发布,在8K产业应用方面实现了领跑布局。在AVS3标准支持下,今年的北京冬奥会和冬残奥会也成为了奥运史上首次通过8K视频技术直播开幕式和转播重要比赛的赛事。
2 本文工作
AVS系列编码标准制定中,采用从整体到局部的技术路线,即先提出一个由若干模块组成的混合编码框架,通过对每一个模块进行技术创新来带动整体的性能提升。AVS视频编码框架由块划分、帧内预测、帧间预测、变换、量化、熵编码和环路滤波等模块组成,本文对各模块进行简要介绍。
2.1 块划分
块划分的目的是将待编码的视频帧按照其纹理内容分割成更宜于编码的小块,适合的块划分方法可以有效提升预测编码效率。
考虑到编解码实现的复杂度约束,早先的块划分方法一般是将图像分割成固定大小的小块,但是这样的划分策略对视频内容的适应性比较差,无法应对一些纹理比较复杂的情况。
在最新一代AVS3标准中提出了更灵活的扩展四叉树划分方式,能够更好地适应复杂的视频内容变化,极大地提升了编码效率。历代AVS视频压缩标准的块划分技术演进路线如图1所示。
2.2 帧内预测
图2. AVS系列标准中的帧内预测模式的变化。从左至右分别是AVS1中的8种预测模式;AVS2中的33种预测模式;AVS3中的65种预测模式。
2.3 帧间预测
帧间预测指的是在视频编码过程中,通过已编码帧和相邻帧之间的运动匹配来估计待编码帧。帧间预测可以有效降低视频内容的时域信息冗余,是整个编码框架中最重要的性能提升模块。
图3展示了AVS系列标准中帧间预测工具的发展历程,三代标准在预测结构,预测单元粒度和预测模式设计等方面做出诸多优化提升,大幅增加了预测编码的准确性。
图3. AVS系列标准中的帧间预测工具的技术发展对比
3 压缩效率
本文详细介绍了AVS3标准的压缩效率,提供与历代标准的技术讨论和对比分析,主要包括两部分:第一部分是AVS3标准采纳的各项编码工具性能,第二部分是AVS3标准和其他视频压缩标准的率失真性能对比。
在AVS3标准编码工具实验分析中,把每一个编码模块的关键技术进行了消融实验,通过开启/关闭工具开关的方式来对比每一项技术对于整体性能的贡献,进行了深入讨论,详见论文原文。
选取上一代标准AVS2为对比对象,以随机访问(Random Access, RA)配置和全帧内编码(All Intra, AI)两种最常用的编码模式作为对比配置。
实验结果表明,AVS3和AVS2相比,在降低解码复杂度的同时在YUV三个通道都获得了显著的编码性能提升,综合性能提升超过40%。
同时在标清、高清和超高清分辨率测试视频上和国际标准VVC/H.266进行了压缩效率对比,结果表明AVS3标准在各种分辨率上性能均超过VVC编码标准。
4 实际应用
AVS建立了从技术标准到芯片终端,再到系统应用的完整产业链。
2019年3月AVS3标准技术制定完成。同年9月,海思即发布全球首款基于AVS3标准的8K@120fps超高清视频编码芯片。
2021年2月,央视开通了8K超高清电视试播频道,在春晚5G+8K直播中取得圆满成功。
图4. 5G+8K+AVS3 直播系统展示
图5. AVS3标准助力冬奥会8K直播
在今年刚刚结束的北京冬奥会和冬残奥会中,AVS3 8K超高清技术助力冬奥会和冬残奥会提供极致清晰的赛事转播服务(图4和图5),并为冰雪项目交互式多维度观赛带来了全新体验。