北京工业大学毕业设计(论文)
I
摘 要
随着多媒体通信技术的发展和多种类媒体终端设备的普及,多样化的高清视频应用
业务越来越受到人们的青睐。由于受到网络种类多样与终端接收设备的性能差异等限制,
为了提高视频在不同应用环境下的兼容性,原始的高分辨率视频码流需要被转换为适合
终端接收设备的低分辨率视频进行编码与传输。HEVC(High Efficiency Video Coding)
作为新一代视频编码标准,较之 H.264/AVC 标准在图像质量和编码性能上都有很大提
升,但其复杂的编码过程成为阻碍该标准在视频转码领域普及应用的瓶颈,因此,针对
HEVC 快速转码算法研究逐渐成为视频编码领域新的研究热点之一。
本文主要研究基于 HEVC 编码标准的空间降尺寸的快速转码技术。首先对 HEVC
编码标准的关键技术进行了介绍,包括 HEVC 编码框架,灵活的四叉树划分等。其次,
对 HEVC 转码过程及编码模块时间进行分析对比,发现转码过程中编码端的 LCU 块划
分过程是计算复杂度最高也是最耗时的部分,并对其相关现有快速划分算法进行了研究
分析。最后,设计实现了基于 LCU 块划分的降分辨率快速视频转码算法,通过利用高
分辨率视频在解码端获取的 LCU 块划分信息,来指导低分辨率视频在编码时 LCU 划分
的深度范围,使编码时的 CU 遍历深度有所减少,从而大大减少降尺寸转码的编码复杂
度,有效缩短了转码的编码时间。
实验结果表明,本文提出的算法相比于HEVC标准算法,平均编码时间可减少 27.8%,
而平均比特率(BD-rate)仅上升 0.82%,峰值信噪比(PSNR)仅增加了 0.0026dB,同
时视频质量几乎没有变化,从而验证了本文提出快速转码算法的有效性。
关键词: HEVC;视频转码;快速算法;LCU 块划分
北京工业大学毕业设计(论文)
II
Abstract
With the development of multimedia communication technology and the popularity of a
variety of media terminal equipment, a variety of high-definition video applications business
more and more people of all ages. In order to improve the compatibility of the video in different
application environments due to the diversity of the network types and the performance of the
terminal receiving devices, the original high-resolution video stream needs to be converted to
a low-resolution video suitable for the terminal receiving device for encoding and transmission.
HEVC (High Efficiency Video Coding) as a new generation of video coding standards,
compared with the H.264 / AVC standard in image quality and coding performance has greatly
improved, but its complex coding process to become a hindrance to the standard in the field of
video transcoding Therefore, the research on HEVC fast transcoding algorithm has become one
of the new research hotspots in video coding.
This paper mainly studies the fast transcoding technology of space drop dimension based
on HEVC coding standard. Firstly, the key technologies of HEVC coding standard are
introduced, including HEVC coding framework and flexible quadtree division. Secondly, it
analyzes and compares the time of HEVC transcoding process and coding module. It is found
that the LCU block division process at the coding end of the transcoding process is the most
computational complexity and the most time-consuming part, and the related algorithms are
analyzed and analyzed. Finally, a fast video transcoding algorithm based on LCU block
partitioning is designed and implemented. By using the LCU block information obtained by the
high-resolution video at the decoding end, the depth range of the LCU segmentation of the low-
resolution video is guided. So that the encoding of the CU traversal depth has been reduced,
thereby greatly reducing the size reduction code transcoding complexity, effectively shortening
the transcoding coding time.
The experimental results show that the encoding time can be reduced by 27.8% on average
and the bit rate (BD-rate) is increased by only 0.82% and the peak signal-to-noise ratio (PSNR)
is only increased by 0.0026 dB compared with the HEVC standard algorithm. At the same time,
the video quality has almost no change, which verifies the validity of the fast transcoding
algorithm proposed in this paper.
Keywords: HEVC; video transcoding; fast algorithm; LCU block division
北京工业大学毕业设计(论文)
1
目 录
摘 要 ……………………………………………………………………………………………………………………….. I
Abstract …………………………………………………………………………………………………………………… II
1. 绪 论 ………………………………………………………………………………………………………………….. 1
1.1 课题背景及意义 ……………………………………………………………………………………………….. 1
1.1.1 视频编码技术介绍 ………………………………………………………………………………………. 1
1.1.2 研究意义 …………………………………………………………………………………………………….. 2
1.2 国内外研究现状 ……………………………………………………………………………………………….. 3
1.3 课题内容及论文结构 ………………………………………………………………………………………… 4
2. HEVC 简介 …………………………………………………………………………………………………………… 6
2.1 概述 …………………………………………………………………………………………………………………. 6
2.2 HEVC 编码框架 ………………………………………………………………………………………………… 6
2.3 HEVC 关键技术 ………………………………………………………………………………………………… 7
2.3.1 HEVC 图像的四叉树划分 ……………………………………………………………………………. 7
2.3.2 帧内预测编码技术(Intra Prediction) ……………………………………………………….. 10
2.3.3 帧间预测编码技术(Inter Prediction) ……………………………………………………….. 11
2.3.4 变换与量化 ……………………………………………………………………………………………….. 13
2.3.5 环路滤波技术 ……………………………………………………………………………………………. 14
2.3.6 熵编码 ………………………………………………………………………………………………………. 14
2.4 H.264 与 HEVC 关键技术对比 …………………………………………………………………………. 14
2.5 本章小结 ………………………………………………………………………………………………………… 16
3. HEVC 转码技术 ……………………………………………………………………………………………….. 17
3.1 转码技术简介 …………………………………………………………………………………………………. 17
3.2 HEVC 编码器各模块编码时间分析 ………………………………………………………………….. 19
3.3 HEVC 块划分及现有算法研究 …………………………………………………………………………. 20
3.3.1 HEVC 块划分过程 …………………………………………………………………………………….. 20
3.3.2 HEVC 块划分复杂度分析 ………………………………………………………………………….. 23
3.3.3 现有 HEVC 块划分快速编码算法研究 ………………………………………………………. 24
3.4 本章小结 ………………………………………………………………………………………………………… 24
4. 基于 LCU 块划分的降分辨率快速视频转码算法 ……………………………………………….. 25
4.1 算法原理 ………………………………………………………………………………………………………… 25
4.2 算法重要过程说明 ………………………………………………………………………………………….. 26
北京工业大学毕业设计(论文)
2
4.3 算法实现流程 …………………………………………………………………………………………………. 28
4.4 本章小结 ………………………………………………………………………………………………………… 30
5. 算法性能评估 ……………………………………………………………………………………………………… 31
5.1 测试平台及测试参数说明 ……………………………………………………………………………….. 31
5.2 快速转码算法性能评估 …………………………………………………………………………………… 31
5.3 实验设计 ………………………………………………………………………………………………………… 32
5.4 实验结果及分析 ……………………………………………………………………………………………… 32
5.5 本章小结 ………………………………………………………………………………………………………… 38
结 论 …………………………………………………………………………………………………………………….. 39
致 谢 …………………………………………………………………………………………………………………….. 41
参考文献 …………………………………………………………………………………………………………………. 42
北京工业大学毕业设计(论文)
1
1. 绪 论
1.1 课题背景及意义
1.1.1 视频编码技术介绍
信息化时代已经到来,随着视频技术和应用的发展,特别是高清(HD)、超高清
(UHD)、3D 和多视点(Multi-View)视频技术的兴起,海量的视频信息已如潮涌般深
入到我们的生活工作中。据统计,目前视频流数据已占领整个互联网流量的 90%。尽管
近年来网络带宽和传输能力迅速增加,但仍远不能满足海量视频数据的传输和存储要求。
正因如此,数字视频编码(压缩)技术的发展从 20 世纪 80 年代末以来一直是国内外研
究的热点。云时代的来临和大数据的处理提升也成为了视频编码技术不断提高的源源动
力
[1]
。
国际电信联盟远程通信标准化组织(ITU-T)和国际标准化组织/国际电工委员会
(ISO/IEC)先后颁发了一系列有关视频编码的国际标准,对图像与多媒体通信的研究、
应用和产业化起到了巨大的推动作用
[2]
。
1990 年 ITU-T 最先颁布的 H.261 建议是第一个实用化视频国际标准,具有里程碑
意义,适用于综合数字网(ISND)的试听业务。
1995 年和 1996 年先后发布了 H.262 和 H.263 建议,其编码框架和 H.261 相同,但
在 H.261 的基础上做了多项改善,编码效率有了较大的提高。最初是针对低码率得视频
会议,后期应用证明,不仅局限于低码率传输环境,同样适用于很大的动态码率范围。
1993 年 ISO/IEC 的联合技术委员会颁布的 MPEG-1 标准用于数字存储回放系统的
音视频编码。例如 VCD 光盘播放机。
1995 年颁布的 MPEG-2 标准用于通用的音视频编码,例如标清电视、高清晰电视、
DVD 光盘播放等。
1999 年颁布的 MPEG-4 标准,除对普通的音视频进行高效的编码外,还引入音、视
频对象的概念,可以处理不同性质的音视频对象,包括自然的、综合的、静止的、活动
的以及二维、三维等各种情况,适合各种多媒体应用。
2003 年,ITU 和 ISO 的视频编码专家共同组成了联合视频工作组(JVT),同时制
定并颁布了 H.264/AVC,即先进的视频编码,具有非常好的网络适配性和抗出错性能,
因此非常适用于各类交互网络视频应用。该标准仍采用混合编码方案,对编码的多个环
节进行改进和优化。不仅显著提高了压缩比,而且具有良好的网络亲和性。其优异的压
缩性能在数字电视广播,视频实时通信,网络视频流媒体传递以及多媒体短信等各个方
面发挥着重要的作用。
2013 年由 ITU-T 和 ISO/IEC 的视频编码联合协作组(JCT-VC)共同颁布了最新的
北京工业大学毕业设计(论文)
2
视频编码国际标准——高效视频编码(High Efficiency Video Coding,HEVC)。HEVC 主
要针对高清视频的应用,如超高清电视,家庭影院等对分辨率要求高的场合。其压缩性
能在 H.264/AVC 的基础上提高了一倍。
视频应用向以下几个方向发展的趋势愈加明显:
高清晰度(Higher Definition):数字视频的应用格式从 720P 向 1080P 全面升级,
在一些视频应用领域甚至出现了 4K×2K、8K×4K 的数字视频格式;
高帧率(Higher frame rate):数字视频帧率从 30 fps 向 60fps、120fps 甚至 240fps 的
应用场景升级;
高压缩率(Higher Compression rate):传输带宽和存储空间一直是视频应用中最为
关键的资源,因此,在有限的空间和管道中获得最佳的视频体验一直是用户的不
懈追求。
由于数字视频应用在发展中面临上述趋势,如果继续采用 H.264/AVC 编码就出现的
如下一些局限性:
(1) 宏块数量急剧增加,会导致用于编辑宏块得参数信息占用过多码字。
(2) 分辨率快速提升,单个宏块所表示的图像信息减少,这导致宏块相似度提高,
将会出现大量的冗余。
(3) 同时分辨率的提高,表示同一个运动的运动矢量幅值将大大增加,导致
H.264/AVC 中用来对运动矢量进行预测及编码的压缩率降低。
(4) H.264/AVC 中一些关键模块和算法,如 CAVLC 和 CABAC 两种基于上下文
的熵编码等都要求串行编码,这导致并行度低,这将成为制约运算性能的瓶颈。
基于以上高清视频以及设备终端的发展趋势和 H.264 的局限性,面向更高清晰度、
更高帧率、更高压缩率的高效视频编码标准(High Efficiency Video Coding,HEVC)协议
标准应运而生。
因此,HEVC 的核心目标是在 H.264/AVC 的基础上,将压缩效率提高一倍,即视频
流的码率减少 50%,并同时保证视频质量相同。允许通过适当提高编码端的复杂度来提
高压缩效率;同时,编码框架仍旧采用混合编码框架,包括变换、量化、熵编码、帧内
预测、帧间预测等模块,但几乎在每个模块都加入了新的技术;HEVC 编码性能的提高
源于新的编码工具以及自身的新技术,包括基于四叉树的灵活块划分结构、不同角度的
帧内预测模式等等。
1.1.2 研究意义
如今视频技术和网络技术迅速发展,基于网络的数字多媒体通信业务已被广泛应用
到日常生活中,在个人终端多媒体设备上接收和播放高清视频的服务受到越来越多人的
青睐。但是由于网络种类的多样性和终端设备性能的差异,使得高清晰度视频在不同应
用环境之间需要互相转换,已达到各种网络及终端设备的要求。这种转换就是 HEVC 的
视频转码技术,为了使得异质网络之间,不同的接入设备之间以及不同多媒体数据格式
北京工业大学毕业设计(论文)
3
之间能够无缝连接,视频转码技术就显得尤为重要。
考虑到网络状态和设备特性,视频转码为各种消费者提供多媒体内容。视频转码器
调整原始视频的比特率或分辨率,以便服务提供商能够通过传输最佳数据量来满足网络
和消费者设备的需求。视频转码根据实现功能和目的的不同可以分为码率转码、帧率转
码和空间下采样转码等。分辨率转换包括时间分辨率转换和空间分辨率转换,时间分辨
率转换就是帧率的转换,空间分辨率转换包括上采样和下采样。语法转码主要是由于输
入和转码后的码流所遵循的压缩标准不同,这部分研究,主要集中在不同标准在具体的
语法、码流结构组织上的对应转换,另外因为不同标准所支持的编码选项和模式不同,
这些不同模式之间 的转换,也是研究的内容之一
[3]
。
视频转码涉及到解码、再编码和中间的一些转换和信息再利用过程,视频转码技术
最重要的就是转码框架的选择。衡量一种转码框架的优劣又可以从运算复杂度、转码后
的视频质量、灵活性等多个方面进行考察。
1.2 国内外研究现状
随着科学科学技术的进步,网络视频播放平台已经不局限于传统的个人计算机,手
机、iPad 等移动终端也占据很大的比重,再加上近年来 4G 网络的兴起,这一比重将会
越来越大,因此移动终端上的网络视频播放具有广阔的市场前景。然而受到移动终端设
备性能的限制,许多网络上的高清视频无法在设备上播放,因此对高清视频进行降分辨
率转码,使其更适合于移动终端设备的播放成为未来的视频发展的趋势。
降视频分辨率转码就是根据设备性能,将网络上的高清视频转换为低分辨率的视频。
降分辨率转码在使视频分辨率降低的同时,也会相应地减少码流,在很大程度上降低了
对网络带宽的需求,这对视频在无线网络中的传输十分有利。最简单的 HEVC 降分辨率
转码方法便是对输入的 HEVC 码流进行全解码得到解码视频,并对解码视频再进行相
应的全编码,这个过程被称为 Trivial transcoder。Trivial transcoder 在率失真方面可以取
得最好的效果,但是其花费的时间代价却是巨大的。为了降低转码的计算复杂度,可以
将原始视频码流中的编码信息例如预测模式、运动信息和编码残差等用于视频的再次编
码中。此种加速在对高比特率视频的转码中尤为关键,主要是其中涉及的数据量大的原
因
[4]
。
1. 南京邮电大学的朱惟妙在《基于四叉树结构的 HEVC 快速帧内算法研究》提出了
基于 CU 纹理体征和深度关系提前终止算法,基于当前编码单元的深度与周围编码单元
的深度关系分析,实现编码单元划分提前终止
[1]
。
2. 四川大学,何小海,李雪晴等人在发明《基于 HEVC 降视频分辨率的快速帧间转
码的方法》中提出利用高分辨率视频在 HEVC 解码端帧间预测的 CU 划分、MV 等信息,
来确定与之对应的低分辨率视频在 HEVC 编码端中 CU 划分,从而节省了帧间转码过程
中模式判决的计算复杂度
[5]
。
3. 中南大学,张昊等人在发明《一种 HEVC 空间分辨率转码方法》中公开了一种快
速深度预测算法,利用从解码器中得到的编码块和编码器中的编码块之间的映射关系,
北京工业大学毕业设计(论文)
4
更有效地利用转码器中解码端的编码信息
[6]
。
4. Minyong Sung 等人在《Accelerating HEVC Transcoder by Exploiting Decoded
Quadtree》一文中提出了利用解码的深度信息,通过只在四叉树中寻找最优深度加速编
码器
[7]
。
5. Peixoto 等人提出了一种基于机器学习的两阶段转码技术,首先通过训练从 H.264
中提取的信息形成 CU 决策模型,然后在重编码阶段应用该模型进行决策
[8]
。
6. Jiang 等人先后提出基于运动矢量聚类和区域特征分析的 PU 预测过程优化
[9]
和
CTU 编码深度预测的 H.264 到 HEVC 的转码技术
[10]
。
通过分析上述研究成果以及结合现有视频转码发展状况可知,如何有效利用视频解
码端提取的信息来加速视频在编码端的编码速度成为转码研究的关键。
1.3 课题内容及论文结构
课题来源:
1. HEVC 标准框架下移动 3D 视频编码关键技术研究(KZ201610005007)项目;
2. 中国博士后科学基金(一等资助)“基于高清视频的 HEVC 高效编码优化策略研
究(2015M580029)”项目的共同支持下进行的。
基于上一节的分析与研究可知,为了使高分辨率视频能够符合更多的移动终端,必
须降低其分辨率从。空间分辨率转码就是这样一种技术,其通过降低原视频流的分辨率,
可使得转码后的视频流更具兼容性和传播性。本文基于相同视频编码标准之间的视频转
码技术——分辨率转码中的空间分辨率转码技术进行深入探究。对空间分辨率视频转码
研究的方向是降尺寸转换,此转换器主要由一个解码器和一个编码器级联而成。过程如
图 1.1 所示。
图 1.1 空间分辨率级联转码器
本文主要研究通过提取解码端输入的高分辨率视频的码流信息,对下采样得到的低
分辨率视频进行编码时,可利用解码端提取的信息,如四叉树划分信息等,从而大大减
少低分辨率视频编码时模式选择过程的计算复杂度,从而提高转码速度,减少编码时间。
主要工作有以下几点:
(1) 研究 HEVC 的四叉树划分,提出了基于 CU 深度划分的提前终止算法。HEVC 的
编码单元的划分采用了灵活的四叉树结构,在划分过程中需要对深度从 0 到 3 的编码单
元自上而下进行率失真代价计算,从而决定编码单元的最终划分结构,大大增加了计算
复杂度,从而使编码时间有所增加。针对该问题,可通过利用解码高分辨率视频码流获
取的编码单元划分信息,对应预测低分辨率视频的相应位置的编码单元深度,从而可以
北京工业大学毕业设计(论文)
5
提前终止编码端编码单元划分,减少编码过程的计算复杂度。
(2) 进一步分析编码单元划分过程并结合提出的利用已知信息提前终止编码单元划
分算法,进行相关实验。
为了说明本文提出的快速算法的性能,论文给出了实验方法和结果分析。实验结果
表明,本文提出的快速算法在对视频质量和编码性能影响较小的前提下,可有效提高视
频转码速度。
本文的章节安排及主要内容如下:
第一章, 绪论,对视频编码技术的发展进行了简单的介绍,综合评述前人工作,说明论
文工作的选题目的和意义,最后阐述了论文所要研究的内容以及论文结构安排;
第二章, HEVC 简介,主要是介绍了 HEVC 的编码框架、关键技术以及和上一代
H.264/AVC 视频编码技术的关键技术对比;
第三章, HEVC 转码技术的介绍和 HEVC 编码过程中 LCU 块划分过程分析及其相关
算法的研究;
第四章, 基于前几章的分析,提出基于 LCU 块划分的降分辨率快速视频转码算法及其
实现的具体流程;
第五章, 对本文提出的算法进行测试分析,并对算法的性能进行评估;
最后对本文的算法进行总结,并对今后工作进行展望。
北京工业大学毕业设计(论文)
6
2. HEVC 简介
作为新一代视频压缩编码标准,与上一代 H.264/AVC 标准相比,HEVC 在应用范围
和性能实现上都有了长足的发展和进步。为了达到最初 HEVC 制定的目的:计算复杂度
增加不大于一倍的前提下,实现编码比特率降低 50%。参加制定标准的组织和个人在视
频压缩编码的各个单元模块中都提出了新的方案和相关算法,使得压缩性能得到了不断
地提高。本章主要是针对 HEVC 标准的主要框架上的新算法或新技术做一定的介绍,并
与 H.264/AVC 进行比较,使读者对新一代视频编码标准的主要改进和发展有一定的了
解和认识。
2.1 概述
HEVC(高效率视频编码)是基于视频应用的多样化和高清化趋势下的产物,是为
了满足更高的视频压缩性能需求而提出的新一代编码标准。其特点是,支持 1080p 以上
的 4K×2K 和 8K×4K 分辨率,将视频压缩率提高至 H.264 的约 2 倍。也就是说,能以
原来一半的编码速度发送相同画质的视频。例如,按照 20Mbit/秒发送的 H.264 格式视
频内容,在相同画质的条件下用 HEVC 格式只需 10Mbit/秒的速度
[11]
。
在性能指标方面,新一代高效视频编码标准 HEVC 主要表现为以下几个方面
[12]
:
(1) 更高压缩效率,相对于 H.264/AVC 的高档次,JCT-VC 要求在相同的视频质量
的情况下,HEVC 具有更低的比特率;
(2) 支持高分辨率、超高分辨率(如 4K×2K)的视频图像格式;
(3) 支持 20~60 帧/秒的帧率,可支持高达 172 帧/秒的帧率;
(4) 支持低延时编码模式、随机接入编码模式以及全帧内编码模式,并能够支持并行
编解码;
(5) 具有较好的网络友好性和较强的网络纠错恢复功能,并且能够根据应用的要求,
在复杂度、压缩效率、视频质量、纠错能力以及延时方面具有较好的平衡能力;
(6) HEVC 主要面向的应用有:1)数字视频广播;2)数字存储媒体;3)实时会话
业务(视频会议、视频电话等);4)远程视频监控;5)交互式存储媒体;6)多媒体邮
件;7)网络的多媒体服务(视频流媒体等)。
2.2 HEVC 编码框架
HEVC 作为 H.264 的继任者,在视频主观质量大致相同的情况下,能够节省大致 50%
的码流
[13]
。这是因为和之前的编码标准相比,HEVC 引进了一系列新的技术特性,但也
大幅增加了编码复杂度。尽管如此,HEVC 还是沿用了基于块的混合编码架构,(如下
图 2.1 所示)所不同的是,HEVC 采用了更加灵活的四叉树编码树结构、多种类型的预
北京工业大学毕业设计(论文)
7
测方式、更加多样的变换块尺寸和自适应运动参数编码等技术
[14]
。
图 2.1 HEVC 混合编码框架
它的输入是原始视频,输出为符合 HEVC 标准的比特流,简要编码过程如下:
(1) 将每一帧图像划分为不同大小的图像块单元,并将相应的块划分信息加入到码流
中,传到解码器;
(2) 对每个单元进行帧内或者帧间预测,原始像素值和预测值相减形成该的该单元的
残差;在帧间预测时需要进行运动估计和运动补偿,对需要用到的重建图像实现要进行
去方块滤波和自适应样值补偿(SAO)滤波。
(3) 对每个单元的残差尽心整数变换(近似离散余弦不安还或正弦变换),对形成变
换系数进行量化和扫描,
(4) 对量化后的变换系数、预测信息、模式信息、运动信息和头信息等进行熵编码,
形成压缩的视频码流(语法元素)输出。
2.3 HEVC 关键技术
2.3.1 HEVC 图像的四叉树划分
1. 概述
在图像分块方面,HEVC 重要的革新之一就是为预测和变换编码目标而对图像进行
基于四叉树的划分。HEVC 将一个视频序列分为连续的若干个图像组(GOP),每一组
有该序列中连续的多帧图像组成。每一帧图像是四叉树划分的基本的单位,每一帧经过
北京工业大学毕业设计(论文)
8
四叉树划分,形成覆盖全帧的多个同样尺寸的方形编码树块(CTB)。一个 CTB 可以直
接作为一个 CB 也可以进一步以四叉树形式划分为多个小的 CB。
2. 编码树单元和编码单元划分
(1) 编码树块(CTB)和编码树单元(CTU)
HEVC 采用的是基于块的编码方式,块的大小是可以根据划分自适应而改变的。类
似于 H.264/AVC 中的宏块(MB),HEVC 将一帧编码图像划分为大小统一、紧邻但不重
叠的若干 2N×2N 样点的方形编码树块(CTB),其尺寸可以是 64×64,32×32 或 16×
16,可由编码器的序列参数集(SPS)中的语法元素根据情况进行选择,一般越大的尺
寸更能获得较高的压缩。编码树单元(CTU)是由:同一位置的亮度 CTB 和两块色度
CTB,再加上相应语法元素以及所包含的编码单元(CU)组成的。
(2) 编码块(CB)和编码单元(CU)
一个亮度CB和相应的色度CB以及他们相关的语法元素共同组成一个编码单元(CU)。
同一层次的 CU 是同一尺寸的,可以为 64×64、32×32、16×16 和 8×8.。
(3) CTU 到 CU 的四叉树划分
CTU 和 CU 之间的关系可以表示为一颗四叉树,CTU 为根节点,CB 相当于树的最
底层——树叶。两者的关系空间划分如图 2.2 所示。同时 HEVC 定义了 Z 扫描顺序,保
证了对不同分割都能按照相同的遍历顺序进行寻址,有利于程序中的递归实现。
图 2.2 CTU 的空间划分 图 2.3 相应四叉树划分表示
CTU 尺寸为 64×64,一共有 4 层划分,形成了 30 个 CU 编码处理顺序如图中编
码所示。相应的四叉树划分结构图如图 2.3 所示。将 CTU 递归划分为 CU 后,每个 CU
就成了编码树的一个树叶,也可以进一步划分为预测单元 PU 和变换单元 TU。
3. 预测单元(PU)划分
(1) CU 中的 PU 划分
预测单元 PU 规定了编码单元的所有预测模式,一切与预测有关的信息都定义在预
测单元中。比如,帧内预测方向、帧间预测的分割方式、运动矢量预测等都属于预测单
元的范畴。
0 1 2 3
4 5 6 7
8
9 10 11 12
13
14
15
16
17
18 20 22 24 26 28
19 21 23 25 27 29
30
Depth0
Depth1
Depth2
Depth3
北京工业大学毕业设计(论文)
9
A. PU 的预测方式
CU 中所有 PU 为同一种预测方式,skip(跳过模式),intra(帧内模式)和 inter(帧
间模式)。
B. PU 的划分方式
(1) 一个 CU 可以划分为一个或者多个 PU,但是只允许一层划分,最小的 PU 为
4×4.。划分可以是对称的,也可以是不对称的。如图 2.4 所示,一个 2N×2N(N 可
以是 4,8,16,32)的 CU 可以有 8 种划分 PU 的方式。
(2) 帧内预测块
当 CU 为帧内预测方式时,PU 尺寸应和 CU 一样,但是对于最小的 CU(8×8)
例外,他可以继续划分为 4 个 4×4 的 PU,每个都可有自己的帧内预测模式。
(3) 帧间预测块
图 2.4 中的非对称划分为可选模式,可以通过编码器配置开启或关闭。
Skip 模式
Intra 模式
Inter 对称模式
Inter 非对称模式
图 2.4 2N×2N 的 CU 的 PU 划分方式
4. 变换单元(TU)划分
变换单元(TU)是进行变换和量化操作的基本单元,其尺寸也是灵活变化的。它的
大小依赖于 CU 模式,但基本不受所在 CU 和 PU 划分的限制。HEVC 突破了原有的变
换尺寸限制,TU 的尺寸可比 PU 大,但不超过 CU 的尺寸,可支持 4×4 至 32×32 的
编码变换。TU 的形状取决于 PU 的划分模式。当 PU 为正方形时,TU 为正方形,其
大小从 4×4 到 32×32。
北京工业大学毕业设计(论文)
10
5. CU、PU、TU 关系
通过上面是相关介绍可知,HEVC 中最大编码单元为 LCU,尺寸是 64×64,最大
深度为 4,CU 尺寸可为 64×64,32×32,16×16 和 8×8,即深度 0 到深度 3。以 CU
为基准,每个 CU 按照编码模式的不同可以继续细化分为不同大小不同形状的 PU;同
样,TU 也以 CU 为基准,可继续细分为变换单元。图 2.5 显示每个可能的 PU、TU 大小
和形状选择在 HEVC 现有的预测模式。
图 2.5 CU、PU 和 TU 关系图
CU、PU、TU 虽然功能不同,但他们密切相关。CU、PU、TU 取代了 H.264 中宏块
以及亚宏块的划分方式,使划分结构更加的灵活多变,能更好的适应图像中平坦或者复
杂纹理的不同需求。在 HEVC 中,图像划分过程是将一帧图像划分为若干不重叠的 LCU,
以 LCU 为单位进行编码的
[15]
。
2.3.2 帧内预测编码技术(Intra Prediction)
利用图像的空间相关性,用周围重建像素值对当前编码块进行预测。目前 HEVC 公
有 35 种预测模式,如图 2.6 所示,其中 33 种为方向预测模式(或角度预测模式),还有
直流和平面模式。
北京工业大学毕业设计(论文)
11
图 2.6 帧内预测模式和角度
(模式 0:Planar;模式 1:DC;模式 2~34:33 个预测方向用个数来表示角度)
帧内编码流程如图 2.7 所示。
图 2.7 帧内编码流程图
(最有可能模式(MPM)是指当前块周围已编码过的左边块和上边块的最佳预测模式)
2.3.3 帧间预测编码技术(Inter Prediction)
帧间模式是利用连续图像之间的时间相关性,通过运动估计和运动补偿的编码方法
来去除视频信息中的时间冗余。利用前面已经编码的重建帧做为参考帧进行预测编码。
1. 运动融合技术
(1) 帧间预测编码时采用运动融合模式时,当前 PU 块的运动信息,包括预测模
式、运动矢量、参考索引都可以通过推导相邻 PU 的运动信息来得到。因此,编码
时,当前 PU 块只需要传送融合标记(Merge Flag)和融合索引(Merge Index)就可
以,无需传送其运动信息。
北京工业大学毕业设计(论文)
12
(2) SKIP 模式和 MERGE 模式
a) skip 模式本身就是一种特殊的 merge 模式,Skip=merge+(CBF=0)。
b) HEVC 里的 merge 模式是整合了 H.264 中的 direct 模式和 skip 模式。
H.264 中的 direct 模式是给定预先设定的值进行传输。而 HEVC 里的
merge 和 skip 不是这样。
c) skip 模式和 merge 模式之间的区别:skip 模式不传残差,只传 skip_flag
和 merge_index。Merge 模式传残差和 merge_index。
d) Skip 模式作用:节省码率。
e) merge 模式:不需要进行复杂的运动估计,只有运动补偿,当前 PU 块
的 运动信息都可以通过相邻 PU 的运动信息推导得到。
2. 时空域 MVP
(1) 空域候选 PU
对于空域候选 PU 从下图 2.8 所示的 5 个相邻候选 PU 选择 4 个作为候选 PU 选
择顺序为:A1->B1->B0->A0->(B2),其中 B2 只有在 A1、B1、B0、A0 不可用或者
为 Intra 模式时,才作为候选 PU。接下来去掉候选中运动信息相同的 PU,最后与时
域候选 PU 一起合并到最终的候选列表中。
图 2.8 相邻候选
(2) 时域候选 PU
对于时域相邻帧的候选 PU,编码器选择当前 PU 制定参考列表中域当前编码帧
POC(图像播放顺序)之差最小的参考帧图像,作为参考帧,并从域当前 PU 块位置
相同的区域种指定两个 PU,选择一个作为时域候选 PU。
B2
A1
A0
B1 B0
北京工业大学毕业设计(论文)
13
图 2.9 时域参考帧候选
(tb 为当前帧与参考帧 POV 之差,td 为候选参考帧 POC 与候选 PU 的参考帧 POC 只差)
如图 2.9 所示,候选 PU 的运动矢量 MV 经过比例缩放之后作为当前 PU 的候选运
动信息。缩放采用 tb 和 td 来进行。
候选 PU 运动信息的参考图像与空域候选 PU 一致。当 A1 不可用或者为 Intra 模式
时,候选 PU 的参考索引设置为 0。参考帧候选如下图 2.10 所示,从 C3 位置所在的 PU
和 H 位置所在的 PU 中选择 1 个 PU 作为时域候选 PU。优先选择 H,只有当 H 不可用
或者 H 在当前 PU 所在 LCU 的外部时,才选择 C3 作为时域的候选 PU。
图 2.10 时域 PU 候选
2.3.4 变换与量化
图像变换编码是指以空间域中像素形式描述的图像转换至变换域,以变换系数的形
式加以表示。大多数图像含有较多平坦区域和内容变化缓慢的区域,适当的变换可以使
图像能量在空间域的分散分布转为在变换域的相对集中的分布,以达到去除空间冗余的
目的。HEVC 沿用了 H.264/AVC 所采用的整数 DCT,并进行了不同尺寸变换形式的推
广。此外,为了适应不同预测方式下残差的分布情况,HEVC 引入离散正弦变换(DST),
类似于整数 DCT。
量化使指将信号连续取值映射为有限多个离散幅值的过程,实现信号取值多对一的
映射。由于量化同时影响着视频质量和比特率,因此量化是视频编码中非常重要的环节。
在量化方面,HEVC 采用了与 H.264/AVC 相同的量化方法,HEVC 还提供了率失真优化
TL
BR
C0
C3
H
Current PU
LCU Boundary
北京工业大学毕业设计(论文)
14
量化(RDOQ)方法,率失真优化量化就是在量化过程中引入率失真优化选择的思想
2.3.5 环路滤波技术
因为 HEVC 仍采用基于块的混合编码框架,所以方块效应、振铃效应、颜色偏差等
失真任然存在,为了解决这些问题对视频质量的影响,HEVC 中采用了环路滤波技术,
包括去方块滤波、像素自适应补偿和自适应环路滤波。
环路滤波包括 3 个环节:
1. 去方块滤波:
在 H.264 的去块滤波技术的基础上发展而来的,但为了降低复杂度,目前的 HM 模
型取消了对 4×4 块的去块滤波。
2. 像素自适应补偿(Sample Adaptive Offset,SAO):
HEVC 采用的新技术,SAO 在编解码环路内,通过对重建图像的分类,对每一类图
像像素值加减一个偏移,达到减少失真的目的,从而提高压缩率,减少码流。分为带状
偏移(Band Offset,BO)和边缘偏移(Edge Offset,EO)两大类。
3. 自适应环路滤波(Adaptive Loop Filter,ALF):
HEVC 采用的新技术,在编解码环路内,位于 Deblock 和 SAO 之后,用于恢复重建
图像以达到重建图像与原始图像之间的均方差(MSE)最小。
2.3.6 熵编码
H. 264 的熵编码 CABAC 编码器采用串行处理的方式,解码端需要非常高频率的计
算能力;而 H.265 选用了两种并行商编码方案,提高并行处理能力,降低对解码端芯片
的频率要求:
可支持上下文自适应变长编码(CAVLC):用于低复杂度的编码场合
基于语法元素的上下文自适应二进制算术编码(SB-CABAC):用于高效的编码场
合。
2.4 H.264 与 HEVC 关键技术对比
相对于 H.264,H.265 标准的算法复杂性有了大幅提升,增加了一些新技术,大概
有灵活的图像分割方式、更多的预测模式等等。通过增加这些新技术,HEVC 的效果要
比 H.264 的压缩性能提高 40%左右。H.265 在很多特性上都做了较大的改进,具体各项
改进如表 2.1 所示,重要改进技术有:
北京工业大学毕业设计(论文)
15
表 2.1 H.264 与 HEVC 标准对比
1. 分区技术灵活
HEVC 基本分区单位为编码树块 CTB,CTB 还可以分为一个或多个不同大小的
CB,以及可以继续划分为 PU、TU。所以图像平滑的区域可以选择较大的编码块,图
像复杂的区域可以选择较小的编码块进行编码,这样可以提高编码性能,在一定程度
上减少重建图像的失真。
2. 细化的帧内预测技术
HEVC 的帧内预测模式扩展到 35 种,除了直流模式保持不变,新增的平面模式更
适合于图像块的渐进的趋势。新的帧内预测模式使预测更加准确,提高了编码的性
能。
3. 帧间预测的改进
在 HEVC 中引入了新的帧间预测技术,包括运动信息融合技术(Merge)、先进的
运动矢量预测技术(AMVP)以及基于 Merge 的 Skip 模式。Merge 技术利用空域相关
技术名称 H.264 HEVC
宏块匹配像素精度 1/4 像素精度 1/4 像素精度
多参考帧预测 最多 16 个参考帧,High profile 下
最多 4 个参考帧
支持多帧参考,HM 中活动的参考数
目为 4
预测块大小 16×16、16×8、8×16、8×8、
8×4、4×8、4×4
按 CU 从 64×64 往下进行树状划分
直到 8×8,每一层 PU 都可以分成
2N×2N、2N×N、N×2N、N×N、2N×nU、
2N×nD、nL×2N、nR×2N
分像素运动补偿 采用 6抽头滤波器进行 1/2像素插
值并采用双线性滤波器进行 1/4
像素插值
采用了 8 抽头滤波器进行 1/2 像素插
值和不对称 7 抽头滤波器进行 1/4 像
素插值
I 帧编码 支持 INTRA 预测,4×4 公有 9 种
模式,16×16 共 4 种模式
支持 INTRA 预测,PU 从 4×4 到
64×64 每个都有 35 种模式
编码方式 基于上下文的 CAVLC 和 CABAC CABAC
变换方式 整数 4×4 的 DCT 变换,直流系
数经过 HADMARD 变换之后的
DCT 变换
INTRA4×4 为 DST 变换,其他的为
DCT 变换(4×4~32×32)
滤波器 4×4 块边界的环内 Deblocking
Filter(DBF)
Deblocking Filter,Sample adaptive
Offset(SAO)和 Adaptive Loop
Filter(ALF)
并行化设计 支持 Slice 划分和宏块划分 支持 Slice 划分、Tile 划分,采用 CTU
树状划分,引入行波流水处理结构
(WPP)
北京工业大学毕业设计(论文)
16
性和食欲相关性来减少相邻块之间的运动参数冗余。AMVP 技术的作用与 Merge 技术
类似,其得到的运动矢量一方面为运动估计提供搜索起点,另一方面为预测运动矢量
使用。
4. 环路滤波技术改进
HEVC 首次使用了自适应环路滤波技术来降低方块效应、振铃效应以及图像模糊等
失真效应对视频质量的影响。该技术主要包括了去方块滤波技术和样值自适应补偿
(SAO)技术。前者主要用来改善方块效应,后者用来节约振铃效应。但是这些技术在
提高 HEVC 压缩效率的同时也使其计算复杂度大大增加。
2.5 本章小结
由于高清视频的快速发展和人们对移动终端设备播放视频等应用的迅速普及,
HEVC 作为新一代的视频编码标准应运而生。HEVC 在 H.264/AVC 标准的基础上做了很
多方面的技术改进,如增加了灵活的块划分技术等,从而使 HEVC 取得了很高的编码性
能同时也能更好的处理高清乃至超高清视频。本章主要对 HEVC 编码标准及其关键技
术进行介绍,并于上一代编码标准 H.264/AVC 进行对比,使读者能更好的理解 HEVC 在
技术上的改进,为后面的算法分析研究提供了良好的知识背景。
北京工业大学毕业设计(论文)
17
3. HEVC 转码技术
随着数字多媒体技术以及网络的不断发展,多种视频格式和数据压缩编码算法共存
于多种网络环境中,同时移动终端设备也在迅速发展,为了使视频能够在不同网络环境、
不同性能的终端设备间传播,原始视频必须通过动态调整成不同的格式来满足各种网络
和用户的需求。视频转码技术就是这样一种可以解决视频发送端与接收端兼容性问题和
适应不同网络状况的技术。所以 HEVC 转码技术成为如今视频编码发展的研究重点之
一,所以快速视频转码算法的实现成为本文的研究重点。
3.1 转码技术简介
视频转码的目的是解决不同码流之间的相互转换问题,通过这种转换使视频适应不
同条件的传输网络、不同性能的终端设备等。现阶段的转码器包括:像素域转码器和变
换域转码器。其中级联型转码器是像素域转码器中最基本最原始的一种形式,也就是所
谓的“全解全编”转码器,其转码过程如图 3.1 所示。然而由于该转码器是先对原始视
频流进行完全解码再进行编码,并没有利用任何解码器里的信息来加速编码过程,因此
此转码过程计算复杂度非常大,使其再实际应用中受到了限制
[16]
。但是该转码器具有普
适性和无损性的优点,可以在保证视频质量没有损失的前提下,实现各种格式视频的转
码。因此该转码器也经常被作为参考标准来衡量其他转码器性能的优劣。
图 3.1 级联型转码器
为了解决级联型的缺点,如图 3.2 的像素域转码器充分利用输入视频流的残差、运
动矢量等信息对目标编码器的编码提供预测信息,从而加速编码器的编码速度,节省了
转码的时间,又由于这种转码器可以支持各种码流格式之间的转换,因此具备很大实际
应用价值。
北京工业大学毕业设计(论文)
18
图 3.2 像素域转码器
变换域转码器是不完全生成重建视频源,只是对输入码流进行摘解码、反量化等
DCT 反变换之前的过程,如图 3.3 所示,该转码器因为只在变换域进行转码,因此转码
速度快,但只能应用于变码率的转码技术。
图 3.3 变换域转码器
根据转码器的用途,视频转码技术分为帧率转码、码率转码、空间分辨率转码和语
法转码
[16]
。空间分辨率转码技术,可以把同一压缩标准的高分辨率视频转换成为另一个
预先设定分辨率的低分辨率视频。在重编码过程中可以利用解码时提取出的图像分割、
预测模式等信息对重编码部分进行预测和优化,使计算复杂度大幅下降,其实现过程如
图 3.4 所示,是在级联型转码器基础上进行改造的。另外,其主要目的就是为了通过降
低原始高清视频的分辨率,使得转码后的视频格式更符合当前移动终端设备的播放格式
要求,这也是本文所设计的算法想要达到的目的。因此,为了使 HEVC 更广泛的应用到
各种产品中,其空间分辨率转码成为当前需要解决的重要问题之一,也是本文重点研究
的技术。
北京工业大学毕业设计(论文)
19
图 3.4 空间分辨率转码过程
3.2 HEVC 编码器各模块编码时间分析
本文上一章介绍了图像的四叉树划分技术,这种技术虽然可以提高 HEVC 的压缩
效率,但是该模块也是 HEVC 编码过程中计算复杂度最高,编码时间最长的部分。接
下来本文将分析 HEVC 编码器中各个重要模块在编码时所消耗的时间,从而更有针对
性的进行优化和加速。HM 编码器按照通用测试条件对测试序列进行编码,统计了各
个重要模块的运行时间
[17]
,如下表 3.1 所示,得到测试平台 HM 下,编码
BasketballDrillText_416240 序列,共 100 帧,QP=32 时各个模块的编码时间。其中
CTU 划分时间包括对应的 PU 划分方式,及其运动估计和 TU 树决策
[18]
。
表 3.1 HEVC 编码时各个模块所用时间比例
HEVC 各模块 编码时间(s) 编码时间百分比(%)
SAO 0.7 0.04
ALF 7.18 0.41
CTU(LCU)划分 1733.95 99.02
其他 9.28 0.53
总时间 1751.1 /
由表 3.1 可知,编码树单元 CTU(LCU)的划分时间占总编码时间的 99%以上,
由此可知图像 LCU 块划分是 HM 编码时最耗时的模块。因此,以减少 LCU 块划分过
程的复杂度,从而缩短整体编码时间为着手点,本论文后续几章节将研究如何在转码
时解码端获取的 CU 划分信息,在编码端编码时利用获取的相关信息来缩小 LCU 划分
深度的遍历范围,来降低编码端的计算复杂度,从而达到加快编码速度的目的。
北京工业大学毕业设计(论文)
20
3.3 HEVC 块划分及现有算法研究
在 HEVC 的视频编码过程中,为了选择最佳的性能,率失真函数或者其他性能指标
被用于评价 CU 或 PU 划分。目前,基于 HEVC 预测 CU 的深度(depth)有四个(depth=0,
1,2,3),即 CU 的尺寸可为 64×64、32×32、16×16、8×8。接着对每个 CU 采用最
多 8 种不同的预测单元 PU 模式进行预测。在遍历过程中,当前 CU 是否要继续划分成
4 个更小尺寸的 CU,判断标准是两层之间率失真代价的大小,选择率失真代价更小的
作为下一步的前提条件。
在以前的 H.264/AVC 的缩短编码时间的研究中已经提出了一些方法,比如通过分析
宏块包含的像素特性来减少帧间预测的计算复杂度,或者借助输入码流中的运动矢量来
避免当前宏块的运动估计,以及利用了宏块时域或空域上的相关性来降低帧间预测的计
算复杂度等等。这些方法都取得了良好的实验结果,可利用相关思路应用在 HEVC 平台
上。本章就是在此基础上,从编码单元划分的提前终止方面做进一步的研究。
3.3.1 HEVC 块划分过程
HEVC 中块结构的划分设计到 CU、PU、TU 最佳模式的判决过程。 每一个判决根
据相应的代价判决标准来判定,寻找代价最小的划分模式作为最佳的划分模式。
HEVC 这种灵活的块划分结构更有效的匹配视频的特性,可取得更高的压缩性能的
同时也极大增加了编码过程的计算复杂度。在 PU 的最佳模式的判决中,需要进行大量
的运动估计、运动补偿等一系列具有高度计算复杂的编码过程;在 TU 的最佳模式选择
过程中,需要进行变换、量化、反变换、反量化、熵编码等也具有相当高复杂度的编码
过程;CU 在 PU 和 TU 的基础上,采用迭代的方式,遍历所有的 CU 块大小(从 64×
64 到 8×8 的尺寸)以寻找最佳的 CU 划分模式。
高复杂度的灵活快划分构成是 HEVC 编码不得不面临的问题。因此,为了降低编码
过程的计算复杂度,缩短编码时见,对 HEVC 的 LCU 块结构划分复杂度的分析变得十
分必要,同时也是为后文的快速算法提供有利的统计依据。
CU、PU、TU 划分的综合过程如图 3.5
[19]
所示。
北京工业大学毕业设计(论文)
21
图 3.5 HEVC 块划分示意图
在 HM16.9 中,编码器采用迭代方式对深度 i(i=0,1,2,3)的 CU 进行编码。首先对
当前深度(i)的 CU 进行预测编码,并得到最佳的预测模式以及最小率失真代价 RD1;
然后,对深度 i+1 的四个子 CU 进行相同的预测过程,同时得到四个子 CU 的率失真代
价和 RD2,并和 RD1 进行比较,选择数值较小的模式作为当前 CU 的最佳划分模式。
具体编码过程如图 3.6 所示。
北京工业大学毕业设计(论文)
22
图 3.6 HM 编码流程
北京工业大学毕业设计(论文)
23
3.3.2 HEVC 块划分复杂度分析
在 HEVC 中,为了得到 LCU 的最佳划分模式,次啊用率失真代价最优化准
则来寻找代价最小的划分模式。在此过程中,PU 预测模式的选择用到的 RD 代价需要
进行变换、量化、反变换、反量化、熵编码以及基于 RDOQ 的 TU 划分优化过程,计算
复杂度高。下面将对 HM 中基于 LCU 全模式判决过程中的 RD 复杂度进行分析。
不同大小的 CU 的 PU 预测模式个数有所不同,而且不同的编码配置也同样
会影响 PU 的预测模式总数。表 3.2 统计的是在配置为:Intra_PCM 为 16×16;非对称
划分允许 CU 为 32×32 和 16×16 的情况下需要进行的 RD 代价计算的数量。
表 3.2 不同 CU 的 RD 代价计算数量
通过分析 HM 块划分的过程,以及上表,可得到完成一个 LCU 的最终划分需要进行:
1 个 LCU 的率失真代价计算总数 = 1 个 64×64CU 的 RD 计算数量+4 个 32×32CU 的
RD 计算数量+16 个 16×16CU 的 RD 计算数量+64
个 8×8CU 的 RD 计算数量
= 1×8+4×12+16×12+64×21
= 1592
基于 LCU 的块划分过程需要进行 1592 次 RD 代价的计算,每次计算都需要进行变
换、量化、反变换、反量化、熵编码以及基于 RDOQ 的 TU 划分优化过程。足以见得 HM
中全模式判决的 LCU 块划分的过程的计算复杂度非常大。同时,这也表明减少 LCU 块
CU 帧间预测模式 帧内预测模
式
帧间预测率
失真代价计
算数量
帧内预测率
失真代价计
算数量
率失真代
价计算总
数
64×64 Skip,Inter_2N×2N,
Inter_2N×N, Inter_N×2N
Intra_2N×2
N,Intra_PC
M
4 4 8
32×32 Skip,Inter_2N×2N,
Inter_2N×N, Inter_N×2N,
Inter_2N×nU, Inter_2N×nD,
Inter_nL×2N, Inter_nR×2N
Intra_2N×2
N,Intra_PC
M
8 4 12
16×16 Skip,Inter_2N×2N,
Inter_2N×N, Inter_N×2N,
Inter_2N×nU, Inter_2N×nD,
Inter_nL×2N, Inter_nR×2N
Intra_2N×2
N,Intra_PC
M
8 4 12
8×8 Skip,Inter_2N×2N,
Inter_2N×N, Inter_N×2N,
Inter_N×N
Intra_2N×2
N,Intra_PC
M
5 16 21
北京工业大学毕业设计(论文)
24
划分的计算复杂度,是提高整体编码速度的一个最有效的途径。所以下文将对现有的相
关 LCU 划分算法进行总结比较,并提出本文的快速 LCU 划分算法。
3.3.3 现有 HEVC 块划分快速编码算法研究
1. 在文献
[20]
中,提出一种基于内容的分层次 CU 块深度信息预测快速算法。该算法对
块划分的深度信息进行控制,在帧级以及块级上进行实现。在帧级上,根据相邻帧的相
关性,利用相邻的 CU 深度划分信息来预测当前帧的 CU 深度信息。同时需要设定阈值,
当前一阵的某一深度的 CU 的比例少于阈值时,停止当前帧 CU 的深度划分,不采用该
深度 CU 的划分结构。在块级层次上,利用相邻 CU 块深度信息作为参考来预测当前 CU
的最佳深度。该算法综合两层次的深度控制,有效的降低了块结构中运动估计的时间约
45%,同时编码性能几乎不受影响。
2. 在文献
[21]
中,提出了一种 LCU 级深度范围预测的快速算法,利用空域相关性和纹
理复杂度相结合来预测当前 LCU 的最有可能的深度范围,跳过了不必要的 CU 深度的
分割和编码,缩小了编码过程中 CU 深度的遍历范围,从而有效降低了编码的计算复杂
度。实验结果表明,在率失真性能损失可以忽略不计的情况下,帧内编码复杂度降低了
41.81%,使高清视频更有利于传播。
3. 在文献
[22]
中,根据图像的空间相关性和时间相关性,提出了一种帧内预测快速算法,
邻近已编码的 CU 深度可以为当前编码单元的划分提供参考,可以提前终止对某些 CU
尺寸块的划分,从而有效减少计算量,提高编码效率。实验结果表明,在编码时间缩短
平均 30%的同时,图像质量并没有明显影响。
3.4 本章小结
为了适应发展迅速的各种网络环境以及性能各异的移动终端设备,HEVC 视频转码
成为使高清视频能够在更多设备和网络之间传输的重要技术,因此也受到了越来越多的
人的关注,对转码过程的相关技术的研究也逐渐成为国内外重点研究的话题。本章首先
对 HEVC 转码技术及其过程进行了介绍,并确定从转码过程中占用最多时间的编码部
分入手进行快速算法研究。从而接下来对 HEVC 块划分及相关编码流程和复杂度进行
了分析研究。通过分析发现,HEVC 中 LCU 块划分的编码计算复杂度和时间在整个编
码过程中都占有很高的比例,此发现为后文研究对编码计算复杂度的减少和缩短时间的
算法的研究,提供了有利的统计依据。同时,本章还对 HEVC 现有的块划分的相关算法
进行了研究和分析总结,为本文的算法提出提供了很好的理论依据和参考。
北京工业大学毕业设计(论文)
25
4. 基于 LCU 块划分的降分辨率快速视频转码算法
随着宽带的普及和第四代移动通信技术网络的兴起,越来越多的人使用移动播放设
备观看视频。这种终端设备通过有限宽带的信道获得网络中存储的高清视频流,然后对
其进行解码后播放。但是由于移动终端设备的各项性能都比传统计算机要差得多,这就
限制了移动终端设备多播放视频的分辨率。为了能使视频正常播放,往往需要将高分辨
率视频转换到低分辨率。因此降视频分辨率转码在视频网络传输中十分普遍,同时因为
HEVC 是目前主流的视频编码标准,所以基于 HEVC 的降分辨率转码具有十分广阔的应
用前景。
本文主要研究转码过程中,如何减少编码过程的计算复杂度,从而减少整个转码的
时间。通过上一章的统计和相关分析发现,HEVC 基于块的灵活划分在提高编码性能的
同时也带来了巨大的计算复杂度,从而造成了编码时间过长的现状,所以本文提出的算
法主要针对减少 LCU 块划分的计算复杂度来整体缩短编码时间,从而使转码整体速度
有所提升。
本章接下来的部分,将在 4.1 和 4.2 部分对本文提出的基于 LCU 块划分的降分辨率
快速视频转码算法的设计目的、基本原理及重要步骤进行介绍,在 4.3 部分给出本文算
法的整体流程及具体实现步骤。
4.1 算法原理
1. 算法设计目的
(1) 目前随着 4K(3840×2160)电视及电影的出现和不断发展,数字电视已经由 720P、
1080P 逐渐走向 4K 时代。然而,目前市场上大多数移动终端设备所能支持的分辨率最
多能达到 1080P。因此,为了能使更多的高分辨率的视频能够在移动终端上播放,必须
降低其分辨率
[23]
。
(2) 图像的四叉树划分技术具有更高的灵活性,同时可以提高 HEVC 的压缩效率,但
是同时也使其计算复杂度大大增加,这也是转码过程中编码时间占用过长的主要原因。
(3) 本文旨在提出一种基于 LCU 块划分的降分辨率快速视频转码的方法,该方法主
要是通过降低转码过程的计算复杂度来减少对低分辨率视频的编码时间,从而达到原始
高分辨率视频到低分辨率视频快速转码的目的。
2. 算法原理解析
在转码整体过程中,占用时间最长的是对高分辨率下采样后产生的低分辨率视频进
行编码的过程,而在整个编码过程中,LCU 块划分过程占到绝大部分时间,所以降低此
过程的计算复杂度,缩短块划分的时间是使转码过程中的编码时间整体缩短的最有效的
方法。
同时,降分辨率前后的视频只是在空间分辨率上有所变化,图像中所包含的信息并
没有实质上的变化。而且经过研究 HEVC 快速转码、快速编码和 LCU 块划分的相关文
北京工业大学毕业设计(论文)
26
章发现,转码前的高分辨率视频和下采样后的低分辨率视频在图像的 LCU 块划分上有
相互对应的关系,因此可以利用高分辨率视频的信息对低分辨率视频进行编码。因此,
可以在高分辨率视频在解码端进行解码时提取相关信息(LCU 块划分信息),在编码端
对低分辨率视频进行重新编码时利用相关信息,降低编码时计算LCU块划分的复杂度,
从而达到减少编码时间的目的。
本节主要是提出一种利用空间分辨率转码技术的算法,主要包括如下步骤:
(1) 使用解码器将原始的高分辨率视频码流进行解码,生成重建视频,并获得视频的
LCU 划分信息;
(2) 对重建后的视频进行空间分辨率下采样操作(2:1);
(3) 编码器利用解码端获取的信息对下采样后的视频进行重新编码,得到目标空间分
辨率(低分辨率)的视频并将其输出。
4.2 算法重要过程说明
1. 解码端对高分辨率视频进行解码时,获取视频的 LCU 块划分信息并进行数据处理
(1) HM 解码时,将每一帧的每个 LCU 的块划分信息(CU 深度划分信息,depth=0,
1,2,3)连续输出到 TXT 文件中;
(2) 因为视频是进行 2:1(视频长宽都缩小一半)的下采样,所以原高分辨率视频
与下采样后的低分辨率视频的 LCU 块的对应关系是 4:1,即原视频的 4 个 LCU 与低分
辨率视频的 1 个 LCU 是成对应关系的,所以需要对提取的数据信息进行处理。处理后
的数据需要与低分辨率视频的 LCU 的编码顺序一致;
(3) 提取原始视频 4 个相邻 LCU 深度信息中最小值和最大值,作为降分辨率后的视
频的 1 个 LCU 的起始 LCU 划分深度信息。
2. 利用 ffmpeg 进行空间下采样
使用相关口令对高分辨率视频进行 2:1 的下采样,得到降分辨率后的视频。
3. 利用处理后的数据信息,在对 LCU 编码时减少不必要的深度的遍历运算
(1) 在对 LCU 块划分进行编码时,是以 1 个 LCU(64×64)为单位进行迭代形式调
用 TEncCU::xCompressCU(CUDepth)函数,其中 CUDepth 为当前 CU 深度。具体 HM 中
LCU 块划分实现流程如图 4.1 所示,对于 LCU,一开始执行的是 xCompressCU(0),深
度从 0 开始遍历迭代运算。
北京工业大学毕业设计(论文)
27
图 4.1 HM 中 LCU 块划分流程图
(2) 因为每一个 LCU 的块划分都是需要从深度 0 开始一直到深度 3 进行遍历,每一
层都进行 RD 代价的计算,直到找到最优 RD 代价划分模式。经过第三章的分析发现,
这种迭代过程会带来极大的计算复杂度,所以如果可以在 LCU 划分之前就知道块划分
的最优深度信息或者获得最有深度信息的区间,减少遍历的深度的数量,也可以大大减
少编码的计算复杂度。
北京工业大学毕业设计(论文)
28
4.3 算法实现流程
步骤一:首先在转码器的解码端对 HEVC 高分辨率视频码流进行解码,同时从中提
取相应的视频编码模式,即编码单元 CU 的深度信息。
步骤二:对解码后的高分辨率视频进行基于梯度自适应的下采样,得到低分辨率视
频。利用 ffmpeg 程序对高分辨率视频进行下采样,因为 ffmpeg 是一套可以用来记
录、转换数字音频、视频,并能将其转化为流的开源计算机程序,可以通过简单的
命令行,快速转换视频的分辨率。
步骤三:对步骤一中提取的信息进行处理:
(1) 将原数据信息进行 1/4 的数据提取,使信息适用于将分辨率后的视频
(2) 高分辨率视频中的 64×64,相当于降分辨率后视频中的 32×32 尺寸,所以还要
将(1)中的数据按照降分辨率后的视频 LCU 的编码顺序进行数据前后调换。根据不同
的分辨率,交换 LCU 块划分信息的顺序的公式有所不同,在这里就不过多赘述。
(3) 将(2)中以 64 个数据(以降分辨率后视频的 LCU 为单位进行数据统计)为处
理单位进行最大值 MaxDepth 和最小值 MinDepth 的提取,从而可以获得高分辨率视频
降分辨率后的视频的相应位置的LCU划分的初始信息,也就是对低分辨率视频编码时,
CUDepth 的遍历范围不一定是从 0 到 3,而是根据前面得到的数据,范围得以进行相应
缩小。
步骤四:在 HEVC 标准下进行对步骤二得到的低分辨率视频的编码,将步骤三中的
LCU 块划分信息作为编码时 LCU 深度遍历的范围信息,重新规定当前编码 LCU 的
最小深度和终止深度。记录编码的实验结果,包括编码时间、比特率、峰值信噪比;
步骤五:对步骤二中得到的低分辨率视频进行 HEVC 全编码,并记录实验结果,包
括编码时间、比特率、峰值信噪比,并将步骤四和步骤五的结果进行对比,比较本
文提出的算法的性能。
具体算法的流程如图 4.2 所示:
北京工业大学毕业设计(论文)
29
图 4.2 基于空间分辨率的快速转码算法流程
北京工业大学毕业设计(论文)
30
4.4 本章小结
本章首先分析了 HEVC 转码的目的与意义,其次大致介绍了转码技术的现状,最后
提出了基于 LCU 块划分的降分辨率快速视频转码算法。为了能够减少 LCU 编码过程中
遍历的深度,降低计算复杂度,提高编码效率,本章对最基础的 HEVC 级联转码结构进
行了改进,在解码端增加了 LCU 块划分信息的提取,以及将此信息合理利用在编码端
的编码过程中。此算法改进中,关键的步骤是解码端信息的提取过程,以及相关信息根
据下采样前后视频的 LCU 块位置对应关系的数据处理,只有提取到有效准确的深度信
息,才能使低分辨率视频编码时不仅可以缩短编码时间,同时还能保持较好的编码性能,
不会造成视频质量下降。
北京工业大学毕业设计(论文)
31
5. 算法性能评估
5.1 测试平台及测试参数说明
实验平台:软件:HM16.9
硬件:Intel(R) Core(TM) i7-6700HQ,CPU 2.6GHz,内存 4G;操作系统
Windows10,64 位;开发工具为 Visual Studio 2015
实验的主要编码配置为:采用 encoder_lowdelay_P_main
[24]
配置文件
测试序列为:BasketballPass(416×240),BQSquare(416×240),BasketballDrillText
(832×480),BQMall(832×480),ChinaSpeed(1024×768),FourPeople(1280×720),
Johnny(1280×720)。
编码帧数为 100 帧。编码器的主要配置参数如表 5.1 所示。
表 5.1 编码器的配置文件主要参数
参数名称 值 描述
MaxCUWidth 64 最大编码单元宽度
MaxCUHeight 64 最大编码单元高度
MaxPartitionDepth 4 最大分区深度
IntraPeriod -1 IPPP 帧
QP 22,27,32,37 量化参数
FastSearch 1 采用 TZ search 搜索
Motion SearchRange 64 运动估计搜索范围
5.2 快速转码算法性能评估
1. 客观质量效果
算法的性能评价指标采用∆Time、∆Bitrate、∆PSNR。
∆Time 是指本文设计的快速算法与标准 HEVC 的算法编码时间之差的百分比,可
由式 6-1 计算得到;∆Bitrate 是指本文设计的算法与标准 HEVC 的算法编码比特之差的
百分比,可由式 6-2 计算得到;∆Y-PSNR 是指本文设计的算法与标准 HEVC 的算法编
码峰值信噪比之差,可由式 6-3 计算得到。
∆Time = (𝑇𝑖𝑚𝑒
快速算法
− 𝑇𝑖𝑚𝑒𝐻𝐸𝑉𝐶)/𝑇𝑖𝑚𝑒𝐻𝐸𝑉𝐶×100% (6-1)
∆Bitrate = (Bitrate
快速算法
− Bitrate𝐻𝐸𝑉𝐶)/Bitrate𝐻𝐸𝑉𝐶×100% (6-2)
∆PSNR = PSNR
快速算法
− PSNR𝐻𝐸𝑉𝐶 (6-3)
北京工业大学毕业设计(论文)
32
2. 主观评价
主观编码质量效果是通过人眼观察采用标准 HEVC 算法和本文所提出的快速算法
解码后重建的视频的效果。
5.3 实验设计
本实验采用 7 个测试序列对其进行分析比较,分别是 BasketballPass(416×240),
BQSquare(416×240),BasketballDrillText(832×480),BQMall(832×480),ChinaSpeed
(1024×768),FourPeople(1280×720),Johnny(1280×720)。在标准 HEVC 解码器下进
行解码,然后运用 ffmpeg对解码后的视频进行1/2下采样,处理后的视频为BasketballPass
(208×120),BQSquare(208×120),BasketballDrillText(416×240),BQMall(416×240),
ChinaSpeed(512×384),FourPeople(640×360),Johnny(640×360)。先对下采样降分辨
率后的视频进行 HEVC 标准编码,并记录相关数据;再用本文提出的快速算法对下采样
后的降分辨率视频进行编码,记录相关数据。编码帧数为视频的前 100 帧。
5.4 实验结果及分析
量化是视频编码中重要的过程,该过程可将图像中的样本点映射后再编码,这样可
以减少图像编码所需的比特数。量化参数 QP 值越小,经过量化后的数值越大,其相应
所需的编码比特数越多,则图像的细节损失越少,编码后重建的图像越清晰;量化参数
QP 值越大,经过量化后的数值越小,其相应所需的编码比特数越少,则图像的细节损
失越多,编码后重建的图像越模糊。量化参数 QP 对编码比特数和图像的失真度有很重
要的影响。因此,实验时也需要针对不同的量化参数 QP 分别实验。
北京工业大学毕业设计(论文)
33
1. 实验数据比较
表 5.2 本文快速算法与标准 HEVC 编码时间比较
序列名称及分辨率 QP
标准 HEVC 编码时间
(𝑇𝑖𝑚𝑒𝐻𝐸𝑉𝐶)/s
本 文 算 法 编 码时 间
𝑇𝑖𝑚𝑒
快速算法
/s
∆Time/s
BasketballPass
208×120
22 597.851 404.740 -32.301
27 451.786 338.015 -25.182
32 386.306 296.840 -23.159
37 335.771 255.902 -23.787
BQSquare
208×120
22 712.168 419.075 -41.155
27 432.744 345.494 -20.162
32 344.789 237.744 -31.047
37 288.705 199.254 -30.983
BasketballDrillText
416×240
22 2898.844 1983.593 -31.573
27 2120.786 1481.806 -30.129
32 1751.107 1269.743 -27.489
37 1529.922 1078.859 -29.483
BQMall
416×240
22 2783.898 1824.278 -34.470
27 2133.806 1489.168 -30.211
32 1782.530 1263.925 -29.094
37 1540.914 1130.312 -26.647
ChinaSpeed
512×384
22 5894.266 4159.111 -29.438
27 4907.914 3421.777 -30.280
32 3999.540 2746.029 -31.341
37 3242.976 2438.026 -24.821
FourPeople
640×360
22 3401.580 2403.210 -29.350
27 2918.364 1965.083 -32.665
32 2647.747 1985.943 -25.005
37 2471.161 2026.476 -17.995
Johnny
640×360
22 3348.390 2577.493 -23.023
27 2781.987 2221.826 -20.135
32 2524.491 1938.223 -23.223
37 2370.508 1793.280 -24.350
北京工业大学毕业设计(论文)
34
表 5.3 本文快速算法与标准 HEVC 编码比特率比较
序列名称及分辨率 QP
标准 HEVC 编码比特
率Bitrate𝐻𝐸𝑉𝐶/(kbit/s)
本文算法编码比特率
Bitrate
快速算法
/
(kbit/s)
∆Bitrate /
(kbit/s)
BasketballPass
208×120
22 408.1960 407.5240 -0.165
27 201.5160 201.5120 -0.002
32 99.3320 99.7840 0.455
37 50.9080 51.4120 0.990
BQSquare
208×120
22 712.5936 716.8549 0.598
27 266.9568 268.3728 0.530
32 118.9056 119.6131 0.595
37 53.2320 53.6696 0.822
BasketballDrillText
416×240
22 1355.720 1366.2560 0.777
27 651.0280 655.6520 0.710
32 318.5160 322.3280 1.197
37 166.4080 168.7160 1.387
BQMall
416×240
22 1864.9152 1867.6704 0.147
27 906.9600 909.8736 0.321
32 447.5136 451.1568 -0.814
37 226.5936 229.9200 1.468
ChinaSpeed
512×384
22 1738.9536 1754.1336 0.873
27 817.3392 823.6536 0.773
32 374.7576 382.1112 1.962
37 180.9264 183.4829 1.413
FourPeople
640×360
22 770.5824 781.6512 1.436
27 367.2864 370.4561 0.863
32 194.9328 196.3753 0.740
37 103.0032 103.9261 0.896
Johnny
640×360
22 565.1712 568.0464 0.509
27 228.6000 232.6464 1.770
32 111.4176 113.2512 1.646
37 60.5904 61.2747 1.129
北京工业大学毕业设计(论文)
35
表 5.4 本文快速算法与标准 HEVC 编码 PSNR 比较
序列名称及分辨率 QP
标 准 HEVC 编 码
PSNR𝐻𝐸𝑉𝐶/(dB)
本 文 算 法 编 码
PSNR
快速算法
/ (dB)
∆PSNR
/(dB)
BasketballPass
208×120
22 41.2224 41.2126 -0.0098
27 37.4415 37.4457 0.004
32 34.2574 34.2695 0.012
37 31.6348 31.6413 0.007
BQSquare
208×120
22 39.7456 39.7509 0.005
27 35.6980 35.6874 -0.011
32 32.5397 32.5693 0.030
37 29.1974 29.2194 0.022
BasketballDrillText
416×240
22 40.9682 40.9688 0.001
27 37.5672 37.5724 0.005
32 34.5596 34.5754 0.016
37 31.8960 31.8934 -0.003
BQMall
416×240
22 40.9246 40.9207 0.0006
27 37.2587 37.2590 0.0003
32 33.9820 33.9681 -0.014
37 31.2098 31.2124 0.003
ChinaSpeed
512×384
22 42.4207 42.4188 -0.002
27 38.5186 38.5018 -0.017
32 35.0194 35.0047 -0.015
37 32.0239 32.0002 -0.023
FourPeople
640×360
22 43.6010 43.6261 0.025
27 40.3612 40.3701 0.009
32 37.1411 37.1549 0.014
37 34.0750 34.0636 -0.011
Johnny
640×360
22 44.8970 44.8940 -0.003
27 42.1255 42.1270 0.002
32 39.3358 39.3150 -0.021
37 36.6006 36.6487 0.048
北京工业大学毕业设计(论文)
36
表 5.5 不同测试序列的性能比较
由表 5.2、表 5.3、表 5.4 以及表 5.5 可以看出,本文提出的快速转码算法与标准
HEVC 编码算法相比,编码时间有明显的减少,平均减少了约 27.8%;码率平均只增加
了约 0.82%;峰值信噪比(PSNR)平均增加了 0.0026dB。
2. 率失真比较
图 5.1~图 5.6 分别是视频序列 BasketballPass(416×240),BQSquare(416×240),
BasketballDrillText(832×480),BQMall(832×480),ChinaSpeed(1024×768),
FourPeople(1280×720),Johnny(1280×720)的 RD 曲线,反应本文所提出的算法与
标准 HEVC 算法的率失真对比。
图 5.1 视频序列 BasketballPass 的 RD 曲线 图 5.2 视频序列 BQSquare 的 RD 曲线
序列名称及分辨率 ∆Time/s ∆Bitrate/(kbit/s) ∆PSNR /(dB)
BasketballPass_208x120 -26.10725 0.3195 0.0033
BQSquare_208x120 -30.83675 0.63625 0.0115
BasketballDrillText_416x240 -29.6685 1.01775 0.00475
BQMall_416x240 -30.1055 0.2805 -0.002525
ChinaSpeed_512x384 -28.97 1.25525 -0.01425
FourPeople_640x360 -26.25375 0.98375 0.00925
Johnny_640x360 -22.68275 1.2635 0.0065
30
32
34
36
38
40
42
0 100 200 300 400 500
P
S
N
R
/(
d
B
)
Bitrate/(kbit/s)
HM16.9 快速算法
25
27
29
31
33
35
37
39
41
0 200 400 600 800
P
S
N
R
/(
d
B
)
Bitrate/(kbit/s)
HM16.9 快速算法
北京工业大学毕业设计(论文)
37
图 5.3 视频序列 BasketballDrillText 的 RD 曲线 图 5.4 视频序列 BQMall 的 RD 曲线
图 5.5 视频序列 ChinaSpeed 的 RD 曲线 图 5.6 视频序列 FourPeople 的 RD 曲线
图 5.7 视频序列 Johnny 的 RD 曲线
从 RD 曲线可以看出,本文所提出的快速算法的率失真曲线与标准 HEVC 算法的率
失真曲线基本重合,从而说明本文所提出的快速算法与标准 HEVC 算法的编码性能接
近。
30
32
34
36
38
40
42
0 500 1000 1500
P
S
N
R
/(
d
B
)
Bitrate/(kbit/s)
HM16.9 快速算法
30
32
34
36
38
40
42
0 500 1000 1500 2000
P
S
N
R
/(
d
B
)
Bitrate/(kbit/s)
HM16.9 快速算法
30
32
34
36
38
40
42
44
0 500 1000 1500 2000
P
S
N
R
/(
d
B
)
Bitrate/(kbit/s)
HM16.9 快速算法
30
32
34
36
38
40
42
44
46
0 200 400 600 800 1000
P
S
N
R
/(
d
B
)
Bitrate/(kbit/s)
HM16.9 快速算法
35
37
39
41
43
45
47
0 200 400 600
P
S
N
R
/(
d
B
)
Bitrate/(kbit/s)
HM16.9 快速算法
北京工业大学毕业设计(论文)
38
3. 实验结果分析
从上述实验数据统计对比可以看出,本文所提出的算法与标准 HEVC 算法(HM16.9)
相比,编码时间平均减少 27.8%,较大幅度提高了编码速度,但同时两种算的率失真曲
线基本重合。由此可见,本文所提出的算法在较好的保持 HEVC 编码器的性能的同时,
较大的降低了编码器的计算复杂度。
5.5 本章小结
本章首先介绍了实验平台,编码配置文件以及快速算法的效果评估。接着本章主要
对所提出的算法进行实验仿真,主要是对 7 个不同分辨率的视频序列分别在 4 种 QP 情
况下进行实验。最后将改进后的算法与 HM16.9 测试模型所采用的原始数据进行比较,
本文提出的算法可以在保持较高的率失真性能的前提下,较大幅度降低编码器的计算复
杂度,从而整体提高转码速度。
北京工业大学毕业设计(论文)
39
结 论
近年来基于新一代高标视频编码(HEVC)技术的快速转码算法受到越来越多的关
注。为了能够获得更高的编码效率,HEVC 在帧内和帧间编码时采用了多种新技术,这
导致 HEVC 在获得比上一代 H.264/AVC 更好的压缩情况的同时,也增加了编码的计算
量,严重影响了编码速度。同时,移动终端设备和网络的快速发展,使得人们对于视频
在移动设备上播放的需求愈发强烈,所以网络上的高清视频需要通过转码来适应不同的
移动终端设备,这也使转码技术受到越来越多人的重视。因此在 HEVC 发展过程中,还
需要对其相关技术进行不断的研究和改进。
1. 本文完成的工作和创新点
本文首先就视频压缩编码标准的整体发展和研究现状做了一定的说明,接着详细介
绍了 HEVC 标准中四叉树分割的一些基本概念,然后介绍了帧内预测、帧间预测及其他
关键技术,并介绍了 HEVC 的新技术以及其和上一代 H.264/AVC 标准的相关技术对比。
第三章首先对 HEVC 转码技术进行了介绍并对现有的 HEVC 块划分过程的算法进行了
分析。接着对本文提出的基于LCU块划分的降分辨率快速视频转码算法进行详细介绍,
并进行了相关实验分析。
本文提出的快速转码算法是基于 LCU 块划分的空间分辨率转码。因为在转码过程
中,占用时间最长的是编码部分,而编码过程中,LCU 块划分的编码时间占整体时间的
90%以上,所以减少这部分的编码时间可以缩短整体的转码时间。本文利用转码器中解
码端对高分辨率视频解码时获取的视频 LCU 块划分信息,将信息进行数据处理后,利
用在编码端对降分辨率后的视频编码中。由于降分辨率前后的视频有空间上的对应关系,
所以 LCU 的划分状态也有相应关系,所以 LCU 块划分信息可以有效减少编码过程中对
不必要的块大小和深度的迭代运算,可以有效减少计算复杂度从而缩短编码时间。此方
法的实验结果表明该算法可以有效的加快编码速度从而缩短整体转码时间,实现基于
HEVC 的快速视频转码。
2. 下一步研究重点
本文的算法虽然取得了一定成果,但是只限于 HEVC 众多关键技术中的一个方面—
—LCU 块划分方面进行了研究,而且编码时间的减少还不够理想。HEVC 视频编码技术
标准快速算法仍然后很大的研究空间。有些问题尚待更深入的研究和改进:
(1) 本算法仅研究了解码端提取的 CU 划分信息,其实还可以利用解码端获取的 PU
模式信息和图像运动特征,运用到编码端,避免模式选择过程中 PU 的冗余,使编码计
算复杂度进一步减少。
(2) 其他模块的算法优化,HEVC 的压缩编码方案涉及很多新技术,本文只对其中一
部分进行了研究,虽然使此模块性能有所提升,但是对整个计算复杂度还是很高的
HEVC 来说显然是不够的,因此这也是一个值得研究的方向。
北京工业大学毕业设计(论文)
40
3. 论文工作的社会影响分析
(1) 论文方案的经济性分析
目前数字多媒体技术正处于蓬勃发展时期,在终端设备上接收和播放高清视频受到
越来越多人的青睐。但是由于网络多样性和终端设备性能差异的限制,为了使视频能够
在不同环境下兼容,就需要对视频进行转码处理。本文所提出的基于 LCU 块划分的降
分辨率快速转码算法,在满足终端设备分辨率要求的同时能够有效的缩短转码时间。在
用户对视频进行下载和播放时,节省较多的时间,实现了资源的合理利用,具有一定得
经济性。
(2) 论文方案的安全性分析
转码技术不仅应用于视频广播、多媒体会议等商用产品中,同时也将用于包括数字
机顶盒、视频段话、高清摄像机等产品中。本文设计的转码方案在保证视频信息没有泄
露的前提下,较大的提升了整体转码的时间,使安全性有所提升。
(3) 论文方案对环境影响分析
本文设计的算法是利用解码器在解码时得到的 LCU 块划分信息来简化编码器对低
分辨率视频编码的过程,实现的算法能够简化编码过程,预测编码的迭代运算次数明显
减少,使处理器的负载降低,对环境利好,符合国家“节能减排”的号召。
北京工业大学毕业设计(论文)
41
致 谢
本科四年的学习生涯即将结束,这四年过的非常充实并且很有意义,感谢北京工业
大学,让这四年成为我人生中非常重要的阶段,不仅让我认识了这么多可爱的同学和令
人尊敬的老师们,也让我学习到了许多的专业知识和人生的哲学。在此我还想感谢一路
走来给予我关爱的老师、同学和亲友。
首先,感谢我的导师刘鹏宇老师。感谢老师一直以来对我的关怀和指导。从最初的
定题,到收集资料,确定基本算法并实现到最后的撰写论文,老师都对我进行了耐心的
指导和无私的帮助。老师经常放弃自己的休息时间来为我解答问题,无论是专业上的问
题,还是论文撰写过程中遇到的问题,老师无一不进行详细耐心的解答,这样才使我的
论文可以圆满完成。再一次对刘老师表示衷心的感谢。
同时我还要感谢这四年来帮助和教导我的所有老师,是他们不仅教会我丰富的专业
知识,同时也教导我做人的道理,令我受益匪浅。正是由于老师谆谆教诲,我才能在各
方面都取得进步,才能更有信心得走向未来的生活。在此我对老师们表示我最诚挚的谢
意,并祝所有老师们身体健康,桃李满天下。
我还要感谢我可爱的同学们,他们让我的大学生活更加的丰富且充满快乐。无论是
悲伤还是喜悦,无论是在生活中还是在学习上,都有这一群朋友的陪伴,这会是我一生
中最难以忘记的时光。
最后我要深深地感谢养育我的父母。当我遇到困难时,父母总是在身后一直支持我。
回顾这 20 多年走过的成长道路,每一个脚印写满了他们对我无私的关爱。是他们的支
持,坚定了我追求人生理想的信念。大恩无以言报,惟有以永无止境的奋斗,期待将来
辉煌的事业让父母为之骄傲。
最后,再次向所有关心、帮助我的亲人、老师和朋友们表示由衷地感谢!
北京工业大学毕业设计(论文)
42
参考文献
[1]朱惟妙.基于四叉树结构的 HEVC 快速帧内算法研究[D].南京:南京邮电大学,
2015.
[2]朱秀昌,刘峰,胡栋.H.265/HEVC——视频编码新标准机器扩展[M].北京:电子
工业出版社,2016.63-70.
[3]陈功,黄祥林,沈兰荪.视频转码技术[J].测控技术,2003,22(5):36~37.
[4]李雪晴,何小海,吴小强,林宏伟,等.结合模式对应与机器学习的 HEVC 降分辨
率转码[J].电视技术,2016,40(1):1-6.
[5]何小海,李雪晴,熊淑华,等.基于 HEVC 降视频分辨率的快速帧间转码的方法
[P].中国发明专利:CN 04581170 A,2015-04-29.
[6]张昊,李林格,王洁.一种 HEVC 空间分辨率转码方法[P].中国发明专利:
CN 106131573 A,2016-11-16.
[7]Sung M, Kim M, Kim M, Ro WW. Accelerating HEVC transcoder by exploiting
decoded quadtree[J] .International Symposium on Consumer Electronics,2014:1-2.
[8]Peixoto E,Macchiavello B,Queiroz RLD ,Hung EM .Fast H.264/AVC to HEVC
transcoding based on machine learning[J] .International Telecommunications
Symposium,2014:1-4.
[9]Jiang W, Chen YW. Low-complexity transcoding from H.264 to HEVC based on
motion vector clustering[J] .Electronics Letters, 2013,49(19):1224-1226.
[10]Jiang W, Chen Y, Tian X .Fast transcoding from H.264 to HEVC based on region
feature analysis[J]. Multimedia Tools and Applications,2014,73(3):2179-2200.
[11]H265(HEVC Heigh Efficiency Video Coding).
https://wenku.baidu.com/view/c6bde4c0ed630b1c58eeb541.html
[12]Sjoberg R, Chen Y, Fujibayashi A,Hannuksela MM,Samuelsson J,et al.
Overview of HEVC High-Level Syntax and Reference Picture Management[J].
Circuits and Systems for Video Technology,IEEE Transactions on,2012,
22(12):1858 -1870.
[13]Ugur K, Andersson K, Fuldseth A, Bjontegaard G, Endresen LP, et al. High
Performance, Low Complexity Video Coding and the Emerging HEVC
Standard[J] .Circuits & Systems for Video Technology IEEE Transactions on,
2010,20(12):1688-1697.
[14]Koumaras H, Kourtis MA, Martakos D. Benchmarking the encoding efficiency of
H.265/HEVC and H.264/AVC[C].Future Network & Mobile Summit,2012:1-7.
[15]Leng J, Lei S, et al. Content Based Hierarchical Fast Coding Unit Decision Algorithm
for HEVC[J]. International Conference on Multimedia and Signal Processing,
2011,56-59.
https://wenku.baidu.com/view/c6bde4c0ed630b1c58eeb541.html
北京工业大学毕业设计(论文)
43
[16]袁禄军.视频转码技术的研究及其应用[D].北京:中国科学院计算技术研究所,
2005.
[17]Shen X, Yu L, Chen J. Fast coding unit size selection for HEVC based on Bayesian
decision rule[C]. Picture Coding Symposium (PCS).IEEE,2012:453 – 456.
[18]Helle, P, Oudin, et al. Block Merging for Quadtree-Based Partitioning in HEVC[J].
IEEE Transactions on Circuits and Systems for Video Technology,2013,22(12):
1720-1731.
[19]施华德.新一代视频编码标准 HEVC 块结构划分快速算法研究[D].广东:中山大
学 ,2012.
[20]Kim J, Jeong S, Cho S, Jin SC. Adaptive Coding Unit early termination algorithm for
HEVC[C]. Consumer Electronics(ICCE),2012:261-262.
[21]李鹏,彭宗举,李持航,陈芬.基于纹理特性与空域相关的高效视频编码帧内分
级快速算法[J].计算机应用,2016,36(4):1085—1091.
[22]谌博,顾梅花,马蒙蒙.一种改进的 HEVC 帧内预测算法[J].计算机与数字工程,
2017(1):131-134.
[23]丁彬.H_264 到 HEVC 视频转码快速算法研究[D].浙江:浙江大学,2015.
[24]Bossen F, Common test conditions and software reference configurations.Joint
Collaborative Team on VideoCoding (JCTVC) of ITU-T SG16 WP3 and ISO/IEC
JTC1/SC29/WG11, Document: JCTVC-B300, 2nd Meeting: Geneva, CH, 21-28 July,
2010.