行为识别是计算机视觉领域的基本问题之一,基于深度学习的行为识别算法是当前行为识别的主流算法。在已有的研究中,传统特征提取方法一般是通过人工观察和设计,手动设计出能够表征视频动作的特征。然而,在手工特征表达的基础上构建复杂分类模型的方法已经不能适应高识别精度和应用性的要求,而深度学习的引入为行为识别带来了新的发展方向。文中主要综述了基于深度学习的行为识别算法,首先介绍了行为识别的研究背景和意义,并分别对行为识别的传统学习方法和深度学习方法进行了介绍;然后对深度学习下的算法模型结构进行分类介绍,包括Two-Stream、3D-ConvNet、融合CNN-LSTM 3种算法模型结构;最后介绍了目前常用的公开验证数据集,并主要针对基于两种数据模态的识别算法进行了横向比较,一种是基于RGB视频的UCF101和HMDB51数据集,一种是基于人体骨架序列视频的NTU RGB＋D数据集。实验结果表明:深度学习方法已经取得了很大的进步,卷积神经网络的应用极大地促进了行为识别算法的发展,逐步替代了基于手工提取特征的传统方法,尤其采用了卷积神经网络算法之后在行为数据集上的准确率有了显著提高。对于RGB视频而言,Two-Stream和3DConvNet是算法模型结构的主流,对于骨架序列视频而言,Two-Stream和融合时空图模型是算法模型结构的主流。

光声成像(Photoacoustic Imaging,PAI)是一种多物理场耦合的无创生物医学功能成像技术,它将纯光学成像的高对比度与超声成像的高空间分辨率相结合,可同时获得生物组织的结构和功能成分信息。近年来,随着深度学习算法在医学图像处理中的广泛应用,基于深度学习的光声成像算法也成为该领域的研究热点。对深度学习在PAI图像重建中的应用现状进行综述,归纳和总结现有的算法,分析目前存在的问题,并展望未来可能的发展趋势。

障碍物对列车的正常运营构成了极大的安全隐患,钢轨识别是实现障碍物检测的关键步骤。钢轨识别算法需要能够快速有效地检测列车前方钢轨的位置,同时不能占用过多的计算资源,影响障碍物检测程序的运行速度。为解决上述问题,文中提出一种基于扩展Haar特征提取和DBSCAN密度聚类的钢轨识别算法。首先通过仿射变换、池化、灰度均衡化、边缘检测等算法对图像进行预处理,然后基于扩展Haar特征提取图像中钢轨的特征点,最后利用DBSCAN算法对特征点进行聚类,提取出有效的特征数据点进行曲线拟合,从而识别钢轨的位置。通过车载实验结果表明,该方法能够在列车运行过程中有效检测到钢轨的位置,满足多场景、多工况的实际使用需求。

智能相机在获取图像时,由于成像条件的限制,容易导致彩色图像的颜色与物体本身的颜色偏差较大;为了减少两者的偏差,提高颜色的还原性,文中提出了一种新的颜色校正方法。该方法先在RGB颜色空间中以最小二乘法求出最逼近的Color Matrix,再在L^*ab颜色空间中对其进行优化。通过该方法获得的颜色矩阵,改进了在RGB空间中以穷举方式逼近目标值的方式。为验证新算法的有效性,以标准D65光源为照明光源,Color Check24色卡/ColorCheck+Vectorscope为实验对象,来衡量校正结果。实验结果表明,色块区域使用新方法后的色彩均衡效果优于传统的颜色矩阵计算方法。

语义分割任务是对图像中的物体按照类别进行像素级别的预测,其难点在于在保留足够空间信息的同时获取足够的上下文信息。为解决这一问题,文中提出了全局双边网络语义分割算法。该算法将大尺度卷积核融入BiSeNet网络中,在BiSeNet网络原有的空间路径和上下文路径两条分支的基础上增加全局路径分支,使网络能够捕获更多的上下文信息,同时提出将BiSeNet网络中的注意力优化模块和特征融合模块中的全局池化模块替换为全局卷积模块,进一步提高了网络获取上下文信息的能力,从而使预测结果更加准确。实验结果表明,该算法在Cityscapes数据集上将交并比(MIoU)指标提高了0.84%,获得了优于BiSeNet网络的表现。

在采用深度学习进行图像分类时,为减少下采样导致的空间信息损失,往往采用膨胀卷积代替下采样,但尚未有文献研究膨胀卷积作用于不同网络层的性能差异。文中进行了大量图像分类实验,找到了适宜膨胀卷积作用的最佳网络层。 但使用膨胀卷积会丢失近邻点的相关信息,导致网格现象,造成图像部分局部信息的丢失。为消除网格现象,又提出在前述最佳网络层采用多尺度膨胀卷积构建神经网络的方法。实验结果表明,所提出的构建网络方法在图像分类中取得了较好的效果。

实时鲁棒的开放性外科手术视频流程自动识别检测将是未来人工智能医疗手术室的核心组成部分,这一关键技术结合其他AI(Artificial Intelligence)技术就可以帮助医护人员自动化、智能化地完成多项术中的常规活动。利用人工智能和计算机视觉的方法进行手术流程识别检测需要对大量的数据进行学习,为了训练这种方法,需要大量地标记手术视频数据,然而在医学领域,对外科手术视频数据的标记需要专家知识,收集足够数量的标记外科手术视频数据是困难且耗时的。因此,文中以腹腔镜胆囊切除术视频数据为研究对象,通过半监督学习方法卷积自编码器对视频进行空间特征提取,结合从同视频上下文中的一对视频帧进行时序特征提取,将非结构化的手术视频数据结构化,从而构建低层手术视频特征到高层外科手术流程语义之间的桥梁,以低代价实现对手术视频流程的智能化识别检测,高效判定手术流程进展。在开源数据集上的实验的结果表明,使用该模型Jacc系数达到71.3%,准确率为86.6%,取得了较好的实验效果。

传统遥感图像目标检测方法的时间复杂度高且精准率低,如何快速准确地检测遥感图像中的特定目标成为当前的研究热点。为解决这一问题,文中在YOLO-V2目标检测算法的基础上进行改进,减少了卷积层数与维度,并结合特征金字塔思想,增加了检测尺度,达到了提高检测精度的目的。同时给出了一种基于深度学习的遥感图像目标检测算法的通用处理框架,解决了无法直接处理大幅遥感图像的问题。在DOTA数据集上进行对比实验,结果表明改进YOLO-V2算法在15个类别上的精准率和召回率均优于YOLO-V2算法,mAP值提高了0.12。在时间复杂度方面,所提方法略低于YOLO-V2算法;在大小为416×416的图像小块上,改进YOLO-V2算法相比YOLO-V2检测时间缩短了0.1ms。

目标跟踪是计算机视觉中的一个重要研究领域,在交通导航、自动驾驶、机器人技术等众多方面有着广泛应用。基于局部稀疏表示的生成式模型算法ASLA的速度快、跟踪准确性高,但是在复杂跟踪环境下,例如目标局部遮挡、目标外观剧烈变化等,往往会丢失目标。文中分析原算法跟踪原理得到了产生目标跟踪丢失的原因。基于ASLA算法,提出了3点改进方法:1)适应跟踪目标区域大小,采用多尺度分块方式,获取互补的目标局部信息;2)在ASLA特征池化过程中根据分块重构误差建模分块自适应权重,以区分不同分块中包含的判别信息,且在多尺度池化特征中引入不同尺度下的目标遮挡信息作为权重;3)在模板更新时,利用最近帧跟踪结果的稀疏表示权重,使更新模板更相似最近跟踪结果,提高了算法的鲁棒性。实验结果表明,该算法在复杂跟踪环境下相比ASLA等具有更高的跟踪准确度,能够实时、准确地跟踪到目标。

通过对精神分裂症语音的临床特点进行研究,实验采集了14个精神分裂症患者的686个元音数据样本和14个与之性别、年龄、文化程度相匹配的健康对照组的793个元音数据样本,来建立病理语音数据库,利用结合集成希尔伯特黄变换(Ensemble Hilbert-Huang Transform,EHHT)和倒谱内插(Cepstrum Interpolation,CI)的改进共振峰提取算法,来获取反映精神分裂症语音音质情感变化的声学特征参数集,结合支持向量机(Support Vector Machine,SVM)分类器来进行分类,实现了精神分裂症患者语音和健康对照组语音的自动检测,并设计实验讨论了白噪声的次数和方差、IMF分量个数、窗长4个因素对检测效果的影响,以及与经典的共振峰估算方法的比较。实验结果表明,文中提出的算法的检测正确率可以达到98.8%,精神分裂症患者在体现音质特征的共振峰语音声学参数上与健康对照组存在显著差异,并有可能为精神分裂症的临床辅助诊断研究提供一个全新、客观、定量和高效的指标。

道路上的遗洒物可能对交通运输构成潜在的安全威胁。在自动驾驶环境感知的行业应用背景下,提出一种基于动态多特征融合的道路遗洒物威胁度分析方法,一方面可以实现对道路多车辆目标的跟踪,另一方面可以实现行驶区域内遗洒物对车辆行驶的威胁度自动分析。为提取道路前景车辆目标的交通特性参数,首先开展多车辆跟踪方法研究,提出一种基于Camshift和身份数据关联的多目标跟踪算法,通过建立跟踪链表,对跟踪车辆身份数据进行记录,实时跟踪道路前景车辆目标,提取并记录感兴趣车辆交通特性参数;然后结合交通特性参数提取道路车辆动态特征,在该类目标跟踪基础上建立道路遗洒物安全分析模型,通过分析被跟踪车辆的特征变化,提出一种多特征融合的道路遗洒物威胁度分析方法,突破单一动态特征分析在自动驾驶环境感知应用中的局限性,利用动态多特征的融合决策方法,准确量化判断道路遗洒物对交通运输造成的威胁程度;最后,为了验证算法的鲁棒性和实用性,设计了仿真视频结合实际传感器获取的道路视频对所提威胁度分析方法进行验证,仿真视频用3dmax仿真得到,实采视频由CCD摄像机拍摄得到。相关算法验证采用VS2008和OpenCV搭建软件平台,仿真图由MATLAB2014得到,视频图像的分辨率为320*240。实验结果表明,该方法能准确、真实地确定遗洒物的威胁程度,利用第三方实验视角拓宽了特定车辆安全威胁区域分析的应用范围,通过对自动驾驶主车体行驶范围内的安全威胁环境建模,为自动驾驶车辆安全行驶决策的车载应用提供理论依据和技术支持。

单木检测是一种将遥感影像和计算机视觉技术相结合自动或半自动获取单棵树木信息的方法。针对复杂森林场景中大量树木相互覆盖的现象,以及树冠内部大量弱边缘导致的树冠顶点过度提取和树冠轮廓描绘不精细的问题,提出了一种基于主动轮廓演变模型的遥感影像单棵树木检测方法。该方法基于树荫和树木数量正相关的先验知识划分阴影控制区域并将区域形心作为树冠顶点;接着使用光照角度优化的形态主动轮廓演变模型(Snake模型)进行树冠轮廓描绘,使其可以越过弱边界点;最后依照形状特征优化树冠轮廓。实验结果表明,该方法提高了复杂森林场景下的单棵树木信息提取的准确度,降低了树冠顶点提取过程的误识率,使树冠轮廓形状更加准确。

作为智能交通的重要组成部分之一,车牌识别在人们的日常生活中发挥着不可替代的作用,例如,生活中违规车辆常常因号牌污损或者故意遮挡等来躲避处罚,进一步加大了执法的难度,因此提高污损或遮挡车牌的识别效率依然是当今自动识别系统中的一项至关重要的任务。文中主要集中解决遮挡号牌的识别问题,其主要分为正常号牌、部分遮挡号牌、完全遮挡号牌以及未悬挂4种情况。传统的OCR算法在汉字、字符以及数字之间的识别上具有很高的准确性,当将其运用到识别车牌上后,虽然在正常号牌和部分遮挡号牌的检测上也都体现出了很好的识别效果,但对全部遮挡和未悬挂车牌的识别效果依然很差,随着人工智能的发展,使得其在全部遮挡和未悬挂号牌的识别上也能有更好的效果。因此,结合传统算法的优点,采用OCR技术并结合现今的深度学习算法,优化对污损车牌的识别效果。

彩色图像多阈值分割在许多应用领域中都发挥着非常重要的作用,传统的多阈值分割算法存在随着阈值个数的增加分割时间急剧增长的问题。为了解决此问题,提出了一种基于改进树种算法(ITSA)的彩色图像多阈值分割方法,以最大类间方差(OTSU)为目标函数。为了提高基本树种算法的搜索速度和搜索精度,提出自适应搜索趋势常数来平衡树种算法的局部搜索和全局搜索能力,并利用五幅标准测试图像对算法的性能进行测试,将ITSA算法与树种算法(TSA)、粒子群优化算法(PSO)和差分进化(DE)算法的性能进行比较,实验结果表明,针对多阈值彩色图像分割问题,ITSA算法的性能优于TSA,PSO和DE算法,基于OTSU和ITSA的彩色图像多阈值分割算法是一种性能较好的算法。

图像作为一种典型信号,理论上可由一系列基本信号构成。为寻找一组可重构图像的基本信号,提出了基于特征的基图像提取和重构方法,使得可由任意图像集进行基图像提取并可由提取的基图像重构内容无关的任意图像。使用特征提取算法从训练集图像中分解出一系列基图像,阐述了基图像分解和提取的算法流程,通过将测试集图像投影到k个基图像构成的空间中得到投影系数,建立由投影系数和基图像重构原图像的方法和过程。实验结果表明,通过控制基图像数量k,图像的重构误差和质量可以达到较高要求,基图像的提取和重构的图像具备内容无关性,同时,该方法对于图像抽象特征的理解、深度神经网络应用等具有重要作用。

得益于计算机视觉的快速发展,人脸图像复原技术可以仅利用人脸的轮廓来生成完整的人脸图像。目前已有许多基于卷积神经网络和生成对抗网络等方法的人脸复原技术被提出,它们可以利用部分破损的人脸图像进行复原或者使用人脸轮廓直接生成人脸图像。然而,使用这些技术复原后的人脸图像在定性和定量分析时效果不够理想,并且复原时存在诸多的条件限制。因此,文中提出了一种基于残差生成对抗网络的人脸图像复原(FR-RGAN)方法,该方法借助深度卷积、残差网络和更小的卷积核,提升了模型性能,利用人脸的轮廓复原面部局部细节,使其更加生动地呈现出来。实验结果表明,FR-RGAN在均方误差、峰值信噪比和结构相似度指标上比pix2pix分别提高了8.7%,2.1%和9.6%,比无残差方法分别提高了53.4%,12.6%和30.1%。

海面船只检测技术具有重要的民用和军用价值,针对复杂海面场景下船只检测精度低的问题,提出了一种基于视觉显著性的遥感图像海面船只候选区域检测方法。为检测到所有船只的候选区域,该方法首先采用Scharr边缘检测算子提取显著目标的边缘轮廓特征,然后基于边缘检测结果运用FT显著性模型得到最终的候选区域检测结果。在公开遥感数据集上的仿真实验结果表明,该方法在多种复杂检测场景下的船只候选区域检测任务中取得了较好的检测效果,实现了对船只候选区域的快速提取。

摔倒对于老年人来说是一个十分严重的问题,实时检测老年人是否摔倒对于减轻摔倒造成的伤害具有重要意义。为此,文中提出了一种基于BP神经网络的摔倒检测算法。该算法采用佩戴于腰部的六轴传感器(MPU6050)来采集人体运动数据,使用简单的统计学方法对数据进行特征提取,并以提取到的特征为BP神经网络的输入神经元,用Levenberg-Marquardt算法训练神经网络模型,使其能够实现摔倒检测的功能。实验结果表明,该算法可以较好地识别摔倒,其准确率可以达到99.55%。

随着计算机视觉的高速发展,在产品检测方面,人工劳动力逐渐被机器视觉取代,特别是在工作人员不宜长期逗留的生产环境中,工业产品的表面缺陷自动检测是现代化工业的必然趋势。文中将缺陷检测看作一种特定的图像分割问题,将产品表面看作背景、以表面缺陷为前景来进行提取。在所提方法中,分割的主要依据是前景和背景的灰度分布直方图差异程度以及背景分布和先验背景分布的直方图相似程度;结合非参数统计活动轮廓模型和先验分布,以产品表面的灰度分布为背景的先验信息,构造对应的能量函数,然后最小化能量函数得到相应的水平集函数迭代方程,以更高效地进行缺陷检测。相关实验表明,所提出的缺陷检测方法在视觉上有较大提升,在检测正确率、虚警率和漏检率等数值指标上也有较大提升。

对三角形坐标系作了推广,给出了广义三角坐标,使之使用于人脸表情特征表示,结合高斯核SVM分类器,采用留一主体交叉验证技术。针对CK+人脸表情数据库,得到了人脸表情正确识别率为98.2%,相比于其基准算法和M-CRT算法,正确率有较大提高。这表明所提出的人脸表情特征表示方法的有效性。

针对肺结节图像的分类识别精度和效率问题,分别将CNN(Convolution Neural Network)模型和DBN(Deep Belief Network)模型用于肺结节分类识别,并评估不同的深度学习模型在肺结节图像分类方面的性能。首先,实验将预处理过的训练集和标签分别输入到CNN模型和DBN模型,达到训练模型的目的;其次,将测试集输入到参数最优的模型中,比较两种模型测试集分类的准确率、敏感性和特异性,并分析两种模型的分类识别性能。最后,从分类准确率、敏感性和特异性3个指标以及时间复杂度来分析比较两种模型,发现CNN模型在肺结节图像分类识别上更有优越性。

随着计算机视觉识别技术的发展,越来越多的研究人员将该技术应用到肿瘤图像的识别上。但由于成本,许多医院仍然采用成本较低的B超等设备,产生了模糊、伪影和多个相似肿瘤噪声区域。目前的方法在清晰图像识别中具有很高的精度,但在超声图像方面却存在低准确度且不稳定的结果,其原因是许多现有算法对模糊、噪声图像误判较高。文中基于R-CNN和PRN的方法快速准确地获取高噪声的超声图像的关键特征,并通过数据增强和形态学滤波的方法确保了识别的稳定性。同时,所提方法还融合了血流信号分类模型增强识别精度。基于实际甲状腺肿瘤图像的数据集可知,提出的方法对比新近算法具有较高的准确性和稳定性。