北大&火山引擎斩获CLIC视频压缩赛冠军,我国战队成绩斐然
近年来,深度学习技术在图像和视频压缩领域的应用取得了显著成果。近日,第六届深度学习图像压缩挑战赛(CLIC大赛)公布了比赛结果,火山引擎多媒体实验室与北京大学组成的联合参赛团队b-2在两项竞赛中都获得了主客观指标的冠军。此次比赛的成功,展示了他们提出的“传统-智能混合解决方案”在图像和视频压缩领域的强大实力。
b-2团队在充分理解和掌握传统压缩技术与深度学习压缩技术各自优缺点的基础上,充分发挥两者各自的优势,形成了一个独特的“传统-智能混合解决方案”。这一方案整合了传统编码模块的创新技术,如非对称四叉树划分结构,以及智能编码模块中的基于深度学习的环路滤波技术。
在编码单元划分方面,b-2团队提出了一种非对称四叉树(UQT)划分结构,以提高视频编码效率。相较于传统的四叉树(QT)、二叉树(BT)和三叉树(TT)划分结构,UQT生成的子编码单元可以触及更深级别的划分深度,从而更有效地捕捉视频的丰富纹理和运动,进一步提升编码性能。
此外,b-2团队还研发了一种基于残差卷积网络的增强型环路滤波技术,将环路滤波技术与深度学习技术相结合,利用传统视频编码过程中的预测信息、划分信息、边界强度和量化参数等先验信息,提高环路滤波效率。同时,在分层参考的编码结构中,b-2团队通过对不同时域层次帧所使用的滤波器采用迭代训练方式,以获得最接近真实编码的训练数据,进一步优化滤波效果。
火山引擎多媒体实验室是字节跳动旗下的一支研究团队,专注于探索多媒体领域的最新技术。他们的研究成果已在抖音、西瓜视频等多款产品中得到广泛应用,并为企业级客户提供了技术支持。作为CLIC大赛连续两届的高码率视频压缩和低码率视频压缩赛道冠军,b-2团队在图像和视频压缩领域的研究成果得到了国际认可。