文中提出了一种基于深度残差网络的HEVC压缩视频增强方法。该方法利用一系列级联的残差模块来完成特征提取,然后基于这些特征进行视频的质量增强。与现有的方法相比,所提方法能够捕捉到压缩视频帧更清晰和泛化的特征。实验结果表明,所提方法在20个通用的测试视频序列上能够实现平均6.92%的BD-rate增益,是所有参与比较的方法中效果最好的。

恰可察觉失真模型(JND)是一种人眼感知模型,它是图像/视频压缩中去除冗余最为有效的方法之一。针对现有JND模型对比掩盖效应(CM)的计算不够完善及深度信息的考虑不够准确的问题,文中提出了一种融合深度基于灰度共生矩阵的JND模型。首先,采用总变分分解模型将图像分解为结构部分和纹理部分,对结构部分采用Canny算子处理,对纹理部分采用灰度共生矩阵处理,两个部分形成更准确的CM模型;结合背景亮度掩盖效应,建立了一种基于灰度共生矩阵的像素域JND模型。然后,在对人眼深度感知进行研究的基础上,引入新的深度加权模型。最后,建立了一种新的融合深度基于灰度共生矩阵的感知模型。实验结果表明,所提出的模型更一致于人的视觉感知。相对于已有的JND模型,所提JND模型能够容忍更多的失真,且拥有更好的感知质量。

在线多目标跟踪算法是自动驾驶和辅助驾驶系统的重要组成部分。目前,大部分多目标跟踪方法集中于图像域跟踪。虽然通过建立自适应在线模型或最小化能量函数可以解决大多数跟踪问题,但是如何处理复杂交通场景下目标的相互遮挡仍是研究者们面临的难题。文中基于2D和3D联合信息提出了一种改进的基于马尔科夫决策过程(MDP)的跟踪算法,通过将原始MDP跟踪算法的相似性特征由图像域拓展到空间域,使用一种新的光流特征描述子即多图像前后向跟踪误差(Multi-image FB error)来代替原算法的多区域前后向跟踪误差(Multi-aspect FB error),取得了良好的跟踪效果。最后,采用KITTI数据库对本文算法进行测试,结果显示其综合性能相较于原算法有显著提升。

近年来,4G和5G网络的出现大大提高了移动设备数据传输的带宽,同时视频播放设备的性能也不断提高,使得用户对视频流媒体质量的要求不断提升。因此,提升移动视频传输系统的效益变得越来越重要。文中从用户偏好的角度出发,分析多内容移动视频传输系统中用户偏好对系统效益的影响,同时考虑流量价格对用户效益的影响,建立了基于用户偏好的用户效益模型,将多内容移动视频传输系统的效益优化问题转化为加权用户总效益的优化问题。考虑到拥有不同偏好的用户对用户总效益的影响不同,文中提出了一种基于偏好-码率比的用户权重选择方法,以此来选取当前用户偏好下的最优权重。文中通过求解最优加权用户总效益优化问题,得到了当前用户偏好下的最优视频传输码率。实验结果表明,所提方法相比现有效益优化方法提升了5％～10%的系统总效益。

帧间双向预测在目前的主流视频编码标准中扮演着重要的角色,该技术主要利用时域相关性去除图像间的冗余信息。帧间双向加权预测仅对两个运动补偿块做简单的加权平均(即权值为0.5)。但当参考帧与编码帧之间的亮度发生剧烈变化,或由于诸如量化等因素导致生成预测块的质量不同时,采用现有的方法将会产生严重的失真。因此文中提出了基于参考质量的帧间自适应加权预测方法来解决上述问题。在本方案中,当前编码块参考的质量越好,则分配的权值越大,反之亦成立。实验结果显示,在编解码复杂度可接受的情况下,采用两种方法计算的权值在随机接入(RA)配置下和低时延B帧(LDB)配置下,相比于JEM5.0.1参考软件的基准平均码率分别节省约0.25%和0.3%。

由于良好的率失真表现,新一代视频压缩标准HEVC(High Efficiency Video Coding)得到了越来越多终端设备的支持。然而目前仍有大量的H.264码流存在,因此H.264到HEVC的高效视频转码具有重要的实际意义。实现H.264到HEVC转码最简单的方法,是将H.264解码端和HEVC编码端直接级联起来。由于HEVC编码过程的复杂度较高,这种方法的转码时间较长。针对H.264到HEVC转码耗时的问题,文中提出一种基于深度学习的方法来预测HEVC的CTU(Coding Tree Unit)块划分结果,从而避开HEVC对CTU所有块划分情况循环遍历以寻找率失真最优划分结构的过程,实现H.264到HEVC的快速转码。首先建立了一个H.264到HEVC转码的大型数据库,为训练深度学习模型提供数据保障;随后对H.264压缩域特征和HEVC的CTU块划分模式进行相关性分析,并发掘了CTU块划分模式在时序上的相似性,进而提出基于时间递归神经网络LSTM(Long Short-Term Memory)的三级分类器来预测HEVC的CTU划分。实验结果表明,与直接级联转码器相比,文中提出的H.264到HEVC快速转码算法实现了60%的时间节省,同时峰值信噪比仅下降了0.039kdB,其性能胜过近年来的转码算法的性能。

图像层分离是根据任务需要将观测图像分解成两个独立且具有实际意义的组成成分。图像恢复领域中的很多问题在本质上都可以被理解为两个不同层的分离,如自然图像去雨、本质图像分解、反射层去除等。因此,做好图像层分解工作对解决这些问题有极大的推动作用。由于这个问题的求解具有病态性,已有的方法大多都是通过设计一个复杂的模型先验来约束所需要的两层。然而,复杂的先验会导致目标函数难以被优化求解,算法的有效性也不能很好地发挥出来。更重要的是,这些方法只能针对其中某一个特定的任务,不能迁移到其他应用上,泛化能力不强。为了弥补上述不足,文中提出了一个自适应的灵活优化框架,将深度网络整合到图像层分离迭代过程中。近年来,深度学习在特征提取上的优势逐步体现,在低级图像处理领域也越来越多地被采用。因此,该算法使用深度结构替代传统模型先验来刻画不同层的特征,同时,为了减少网络对训练数据的依赖并提升算法的有效性,将深度信息与传统优化框架相结合。具体来讲,首先基于MAP(最大后验概率)建立能量函数。然后使用ADMM(交替方向乘子法)将该模型分解成3个子问题。前两个子问题用来估计分离的两层,其中鉴于卷积操作在特征刻画上的优势,使用其作为隐式先验刻画问题属性;最后一个子问题通过优化的手段得到最终的精确结果。通过深度卷积先验引导优化迭代,既保持了深度结构对特征的刻画优势,又保留了传统模型优化的稳定性。最后,将所提方法应用到多种图像恢复问题上,包括自然图像去雨和反射层去除。与同类方法的定性与定量比较表明,所提方法在可视效果和数值结果上均表现出了极大的优势,证明了该方法具有强大的泛化能力和有效性。

针对高阶方向导数局部二值模式(DLBP)算法会丢失部分高尺度邻域信息的缺陷,提出一种基于改进多尺度LBP算法(MSLBP)的肝脏CT图像特征提取方法。该方法首先对肝脏CT图像进行预处理,并提取正异常ROI区域,然后利用改进的多尺度LBP特征提取方法提取特征,将高阶尺度采样点信息融合其邻域相关点信息作为该采样点的最终信息参与运算,同时利用对角线区域求平均操作,突出了邻域像素点之间的关系特征,从更大范围描述肝脏图像的纹理信息,最后进行分类。实验结果表明:所提方法的准确率可达到90.1%,相比原始的LBP特征提取方法提高了8.7%,有一定的临床应用意义,可用于医生的辅助诊断。

随着视频广告在检索和用户推荐等领域的广泛应用,视频广告的分类成为一个重要问题。与现有视频分类任务不同,视频广告有其自身的特点:1)在时域上,产品对象在广告视频中的出现具有非周期性和稀疏性的特点,这使得分类任务需要排除大量与视频类别不相关的视频帧的干扰,利用少数相关视频帧进行分类;2)在空域上,视频帧中除产品外,还包含复杂背景的问题,这使得有效捕捉产品信息变得困难。为了解决上述问题,文中提出了一种基于镜头分割和空域注意力模型的视频广告分类方法,简称SSSA。针对视频中存在的大量干扰帧,文中使用基于镜头切换的分割方法采样视频帧。针对视频帧中包含复杂背景,文中在网络中引入视觉注意力机制帮助网络从产品相关区域提取判别性的特征。为了验证所提方法的有效性,构建了一个包含1k000多个视频广告的数据库(简称TAV)并收集了眼动数据来训练注意力模型。实验结果显示,提出的SSSA视频分类方法比现有的视频分类方法在性能上提升了10%。

为解决补充学习跟踪算法(Staple)在目标被部分遮挡时存在的跟踪失败问题,文中提出了一种简单而有效的高置信度补充学习跟踪算法(High-confidence updata Complementary Learner Tracker,HCLT)。首先,输入当前帧,得到标准相关滤波分类器的检测响应值;然后,计算相关滤波响应的置信度,若计算结果大于阈值则当前帧更新滤波器,否则停止更新;接着,计算出持续不更新的帧数,如果有连续10帧不更新,则强制更新;最后,通过融合颜色补充学习器的响应,得到总的响应结果,其中,响应中最大值的位置即为跟踪结果。将所提算法与补充学习跟踪(Correlation Filter Net tracker,Staple)、端到端表示跟踪(CFNet)、注意力相关滤波网络跟踪(Attentional Correlation Filter Network tracker,ACFN)和对冲深度跟踪(Hedged Deep Tracking,HDT)等先进算法进行实验对比。在OTB100和VOT2016数据集上的结果表明,所提算法在成功率和预期覆盖率方面分别超过基准补充学习跟踪算法(Staple)1.0个百分点和0.4个百分点。另外,在严重遮挡和剧烈光照变化的视频集上的良好表现也充分说明了所提算法在处理表观剧烈变化的情况时很有效。

码率控制是视频编码系统中的重要模块,用于控制编码器输出特定目标的码率,并使编码视频失真最小。R-λ模型码率控制方法是新一代视频编码标准HEVC中推荐的码率控制算法,其主要包括固定比例比特分配和自适应比率比特分配两种码率控制策略。为了提高R-λ模型码率控制算法的码率控制精度和率失真性能,文中提出了相应的算法改进。首先,根据图像组的编码结构设计了精确的率失真模型参数更新方法;其次,根据率失真依赖关系改进了图像组层的比特分配策略;最后,提出动态的图像组层拉格朗日乘子和编码帧比特权重计算方法。实验结果显示,所提方法在低延迟P帧和B帧配置下,码率相对误差仅为0.006%和0.005%,相比自适应比率比特分配码率控制策略,改进方法的率失真性能提高了1.2%和1.3%。

近年来,基于视图的3D模型检索已经成为计算机视觉领域的重点研究方向。3D模型检索算法包括特征提取和检索算法两个部分,且鲁棒的特征对于检索算法起着决定性的作用。目前,研究者们已经提出了许多人工设计特征和深度学习特征,但是很少有人比较它们的异同。因此,文中对不同的人工设计特征和深度学习特征的性能进行了评估分析,基于充分对比的前提,采用了多个数据集、多样的评价标准和不同的检索算法进行了实验,并进一步比较了深度网络不同层特征对性能的影响,从而提出了基于残差网络的三维模型检索算法。在多个公开数据集上的实验表明:1)残差网络所提取的深度特征相较于传统特征,综合性能提升了1%～20%;2)与VGG网络所提取的深度特征相比,残差网络的综合性能提升了1%～5%;3)VGG网络中不同层特征的性能也有差异,深层特征与浅层特征相比,综合性能提升了1%～6%;4)随着网络深度的增加,残差网络所提取的特征的综合性能得到了有限提高,且比其他对比特征均更加鲁棒。

基于对运动补偿去隔行算法的分析,提出了基于场景切变检测和内容特征检测的去隔行算法。该算法首先进行场景切变检测和视频内容特征检测,其次基于场景切变检测的结果进行优化的运动估计,然后对图像块进行局部区域划分,最后根据划分结果自适应选取不同的插值方式。实验结果表明,该算法不仅能够以较低的算法复杂度提升图像的垂直分辨率,而且对于不同视频内容的隔行视频序列,都能得到高质量的逐行序列。

航拍巡线图像中的绝缘子目标存在部分遮挡的情况,利用区域全卷积网络(Region-based Fully Convolutional Networks,R-FCN)模型对其进行检测,出现了绝缘子目标检测效果较差且检测框无法完全贴合目标的问题。基于此,文中提出了一种基于改进的R-FCN航拍巡线图像中的绝缘子目标检测方法。首先,根据绝缘子目标的宽高比特征,将R-FCN模型中RPN的建议框的宽高比修改为1∶4,1∶2,1∶1,2∶1,4∶1;然后,针对遮挡问题,在R-FCN模型中引入对抗空间丢弃网络(Adversarial Spatial Dropout Network,ASDN)层,对特征图的部分位置生成掩码以获得目标特征的不完整样本,从而提高模型对目标特征较差的样本检测性能。在包含7433个绝缘子目标框的数据集中,R-FCN模型的平均检测率达到了77.27%,而改进的R-FCN检测方法的平均检测率达到了84.29%,性能提升了7.02%,且检测框更贴合目标。