现代医学中,利用臂丛神经分割与识别后的图像经过对比度增强优化后,可以更利于医师识别出病症和肿瘤。在上肢手术与术后护理中需要进行麻醉护理,而臂丛神经阻滞是一种常用的局部麻醉方式。为了精确确定臂丛神经的位置,在实际治疗过程中广泛应用超声设备对神经系统进行检测和定位。文中阐述了基于深度学习以及神经网络,在超声动态影像中准确地识别并分割臂丛神经,且在截出的图像中通过自适应对比度增强来优化超声图像的显示。实验数据来自于北京积水潭医院,分为病人的超声影像以及对应的良性恶性肿瘤图片。文中运用了增强对比度的算法对所提取的特征进行处理,结果表明增强了图像的对比度和显示内容的精确度。

立体视觉的核心问题是通过立体匹配算法获得准确的视差值,然而大多数现有的立体匹配算法无法在低纹理或接近无纹理的区域中获得准确的视差值。为了解决低纹理区域匹配精度相对偏低、高精度半全局匹配算法运算量较大的问题,文中提出了一种基于自适应滑动窗口的立体匹配算法。首先通过AD-Census变换计算匹配代价,然后针对不同区域调节聚合窗口形状及像素点权重,最后结合符合人体视觉特征的多尺度代价聚合框架获得聚合匹配代价,采用赢者通吃策略获取最终的稠密视差图。实验结果证明,该算法在低纹理区域的误匹配率相比较传统方案的下降范围为5.8%～21.68%,运算时间较半全局算法更短。

非实验室场景下的人脸图片数量巨大,更加贴近生活,对其进行识别具有较大的研究价值。文中对非实验室环境下的人脸属性识别问题进行了研究,提出了一种人脸属性识别网络(Regional Multiple Layer Attributes Related Net,RMLARNet),不仅对人脸特征的提取方式进行了研究,还挖掘了人脸属性间的关系。该网络由3个部分组成:1)将人脸图像分割成包含属性部位的多个局部区域,并将这些局部区域作为输入提取特征信息;2)以Inception V3 为迁移模型,采取多个不相邻卷积层迁移方式提取人脸特征;3)搭建了一个以人脸属性关系为约束的属性识别网络。实验结果表明,对CelebA数据集进行筛选处理,创建属性样本较平衡的CelebA-数据集,并在该数据集上设计实验将取得优于现有方法的实验效果。

大尺度智能驾驶场景重建能够在车辆驾驶环境中为车辆控制系统反馈周围道路交通的环境信息,并实现环境信息的可视化。目前,现有的三维重建方案主要面向结构化场景,对大尺度非结构化的智能驾驶场景进行三维重建时,在保证一定精度的情况下,难以满足智能驾驶系统所需的实时性。针对这一问题,文中提出了一种基于双目视觉的三维场景重建方法,首先通过优化立体匹配策略来提高立体匹配效率,再提出均匀保距的特征点提取算法RSD,减少三维点云计算与三角剖分耗时,提高大尺度智能驾驶场景重建的实时性。实验结果证明了该算法的有效性,采用所提算法对大尺度智能驾驶场景进行场景重建可得到良好的重建效果,且能够满足智能驾驶系统对实时性的需求。

文中利用运动中共线点的几何特性来获得多摄像机的内外参数。首先,由空间中共线点与图像点之间的对应矩阵来得到对内参数的线性约束,获得了多个摄像机的内参数;然后,根据共线点在摄像机组中各个摄像机下运动前后的坐标,获得摄像机相对于基准摄像机的旋转矩阵和平移向量,以求出摄像机的外参数;最后,进行模拟数据实验和真实图像实验,结果表明了该方法的可行性和有效性。

人脸聚类将属于同一身份的人脸图片自动分到同一组,可用于人脸标注和图像管理等领域。传统的聚类算法的准确率很高,其召回率往往较低。为了解决这个问题,文中提出了一种加入三角约束关系和上下文约束的聚类算法。该聚类算法基于条件随机场模型,结合三角约束关系,同时考虑图像中常见的上下文约束,分别在聚类迭代过程和初步聚类之后添加最大相似度约束和共同出现约束,并对簇类进行整合。实验结果显示,结合上下文约束的条件随机场模型可以快速进行人脸聚类,同时还能保证在较高准确率的基础上有较高的召回率,从而提高整体的聚类效果。

针对汉字手写体的笔画动态序列恢复问题,文中提出了一种基于端点顺序预测的手写体笔画顺序恢复模型。首先对经过数字化处理后的手写体图像进行细化、笔画片段分割、图像坐标提取和规整等预处理,然后利用预处理后的图像和对应的书写坐标序列生成网络训练的样本,样本由静态手写体图像和包含字体书写顺序的热力图标签组成,该模型采用一种端到端的卷积神经网络结构,最后使用训练好的网络模型对静态手写体图像进行预测,从而得到字体原先的书写顺序。实验结果表明,该方法能够有效地对5笔以内的手写字体进行书写顺序的恢复,具有较高的准确率和处理速度。

针对现有图像复制粘贴篡改检测中提取的特征对于彩色图像内容描述不全面且匹配时间过长的问题,研究了运用量化颜色特征和SURF检测器的数字图像盲鉴别算法。该算法在特征提取过程中将HSV模糊量化颜色特征和SURF检测器结合,形成全面描述彩色图像内容的FCQ-SURF特征,并在特征匹配阶段将K-Means聚类和KNN方法结合来提高匹配效率。实验结果显示,在CASIA 1.0和FAU彩色图像测试库上,所提算法能很好地检测和定位彩色图像的复制粘贴篡改,在图像的多重篡改攻击和多区域篡改方面也得到了很好的检测效果。实验数据结果说明,该算法对彩色图像复制粘贴篡改检测的正确率较高,且匹配时间较有优势。

近年来,批归一化(Batch Normalization,BN)算法已成为深度网络训练不可或缺的一部分。BN通过计算批次中示例的均值和方差来对输入进行归一化,从而缓解深度神经网络训练中的梯度爆炸或者消失的问题。但是,由于算法与批次大小有关,BN算法用于小批次时会因为不准确的估计导致性能下降。批重归一化(Batch ReNormalization,BRN)用指数移动平均(Exponential Moving Average,EMA)后的值对输入进行归一化操作,减小了归一化算法对批次的依赖。本文基于图像分类任务研究了在输入是小批次时归一化技术的应用,提出了通过改变EMA初值并对估计值加以修正来得到更准确的参数估计的批归一化算法。实验结果表明,所提算法与标准的BN和BRN算法相比,收敛速度更快,准确率有一定的改善。

汽车的车灯不仅具有照明作用,也是车辆行驶时与周围车辆交流信息的重要途径。在辅助驾驶中,准确理解周围车辆传递出的灯语信息,是制定车辆正确驾驶决策的前提。在日间行车时,由于行车环境多变,单通过特征匹配的方式检测车灯或车辆,进而识别灯语的方式,很难在道路实测中取得良好的效果。为此,针对日间行车情况,文中提出一种基于车辆检测的灯语识别方法。首先,文中使用Haar特征结合Adaboost级联分类器的车辆检测方式进行车辆检测,并在此基础上根据车灯在车尾的位置分布特征确定感兴趣区域;然后,在RGB色彩空间中提出一种颜色分割算法,其能够在感兴趣区域的基础上精确提取车灯位置并判断车灯的点亮状态,同时使用车灯点亮时的亮度特征排除颜色分割算法导致的误检;最后,使用高位刹车灯作为刹车灯灯语的识别条件,将历史频率信息作为转向灯灯语的识别条件,完成了日间行车时前车尾灯灯语的识别。以VS2010和opencv3.4.9作为算法的实现工具,将上汽提供的行车记录仪中的道路实测数据进作为测试数据进行实验。经测试,使用更新样本的训练方法得到的分类器识别准确率为93%,相对于传统Adaboost分类器,识别准确率提升了约2%,灯语识别算法的平均精度为93%,其总体平均耗时约53ms。实验结果表明,分类训练方法能够小幅度提升检测精度,而灯语识别算法能够较准确地识别出刹车灯和转向灯以及两种灯语同时存在的情况,且基本保证实时性。

基于WiFi的信道状态信息(Channel State Information,CSI)的手势识别在人机交互中具有广泛的应用前景。目前,大多数的CSI手势识别方法需人工提取特征,特征提取的过程繁琐,且只能识别特定方向的手势,限制了人的活动范围。针对上述问题,提出了利用长短时记忆神经网络(Long Short-Term Memory,LSTM)训练的方法,设计了一个基于LSTM的CSI手势识别系统。该系统将采集到的CSI数据首先进行异常点去除、最优子载波选择和离散小波变化去噪等预处理操作;然后通过LSTM网络训练分类,无需人工提取手势特征;最终实现推、拉、左挥、右挥4种手势在4个不同方向的识别,平均准确率达到了82.75%。文中分别讨论了发送到接收端的距离与数据集大小对手势识别准确率的影响,并对比WiG和WiFinger方法识别4个方向手势的识别准确率,结果表明文中所提方法具有更高的识别效果。

针对三维重建大数据量问题中的特征点提取算法,存在运算量大、耗时多、效率低等问题,文中对Harris特征点检测算法进行改进,提出了基于OpenMP的多核CPU和基于CUDA及OpenCL框架的GPU下的Harris特征点检测并行算法。在不同实验平台进行对比实验,实验结果表明,基于CUDA及OpenCL框架的GPU并行特征点检测算法具有良好的数据和平台可扩展性,基于GPU并行特征点检测算法的加速比最高可达91.19,加速效果显著。基于OpenMP的多核CPU特征点检测算法具有良好的多核可扩展性。

传统的特征点匹配存在较多的误匹配,且效率不高。针对误匹配,提出了基于二值化互信息的筛选方法,可根据特征点的互信息判断特征点是否匹配正确。此外,用ORB算法提取的特征点分布在颜色变化区域,较为集中。但RANSAC算法得到的变换矩阵仅适用于特征点分布区域,使得拼接结果有误差。针对这个问题,文中用改进的RANASC算法,先筛选出内点,再用内点得到新的特征点,可以使特征点分散;且用迭代的方式得到最佳变换矩阵。实验结果表明,使用二值化互信息筛选特征点,提高了匹配的正确率,也增加了特征点匹配的数目;改进的RANSAC算法能够有效地解决特征点少且集中的问题,使得图像拼接的结果更准确。

目前,连续手语识别的最大难点在于如何对其中包含的词汇进行有效分割。本文将关键动作看作手语的基元,提出了一种基于关键动作双重转移概率的连续手语识别算法。在获得连续手语基元序列的前提下,根据相邻基元的词内及词间转移关系,可以有效地寻找到词汇边界,从而对基元序列做分割,并逐一识别出各基元分组的候选词汇。最后,根据不同基元分组的候选词汇间的转移概率,计算出对应合成句子的概率,并按照最大概率原则输出连续手语的最终识别结果。该算法容易实现,执行效率高,经实验验证其可以面向非特定人群。

手语识别是打破聋人和健听人之间交流障碍的有效途径。中国手语一般可以分为手势语和手指语,手势语因为地区性和个体差异性导致种类和变化繁多,识别相对困难,所以需要不断学习和训练;手指语通过拼音字母的表现形式给出结果,表达具有确定性,尤其在姓名、特殊含义、抽象表达方面效果明显。手语识别中,大部分的研究主要聚焦于某种手势,围绕手形、方向、位置和运动轨迹等关键特征,并结合某些学习算法来提升识别的准确率,然而最基本可靠的手指语识别却往往被忽略。为此,文中提出了一种基于灰度共生矩阵(GLCM)和精度高斯支持向量机(FGSVM)的方法来更准确有效地识别中国手语手指语。首先构建手指语数据集,即通过数码相机直接获取手指语图像或者从视频中选取关键帧作为手语图像素材,然后将手形从图像背景中分割出来,把每个图像调整为N×N的特定尺寸并转换为灰度图像;其次是提取特征,即对灰度图像中强度值的数量进行降维,同时创建对应的灰度共生矩阵,通过调整像素间的距离和角度等参数来获取增强的数据特征;最后,将提取的图像的特征数据提交到精度高斯支持向量机分类器中,进行10倍交叉验证和分类测试。对30种类别的510个中国手语手指语图像样本的实验结果表明,基于GLCM-FGSVM的分类准确率最高可达到92.7％,可以认为该方法在中国手语手指语分类方面卓有成效。

深度学习是基于图像的交通标志检测和识别处理的研究热点,已取得了显著的效果。针对基于车载视频的交通标志检测和识别处理问题,文中根据图像序列的帧间时空连续关系构建了时空关系模型(Spatiotemporal Model,STM),并与多尺度卷积神经网络(Convolutional Neural Networks,CNN)相结合,提出了一种基于时空卷积神经网络(Spatiotemporal-CNN,ST-CNN)的交通标志实时检测识别算法。实验结果表明,该算法可对视频图像序列中的同一交通标志实现检测、筛选、追踪和识别处理,在保证高准确率的同时,可有效减少CNN的数据输入,降低系统资源占用量,提高计算效率,满足了视频中交通标志检测识别的实时性要求。算法平均每帧耗时26.82ms,且识别准确率达到96.94%。

多聚焦图像融合利用图像的众多互补信息,获取清晰的融合图像。在传统的基于多尺度分析方法采样与融合策略容易造成图像信息丢失;基于稀疏表示方法,往往因字典表达能力不足,导致融合细节模糊,且融合时间复杂度非常高。在基于空域法的多聚焦图像融合方法中,度量图像活跃度的算法十分关键。文中提出利用分数阶微分特征来度量图像的活跃度。该算法首先用8个方向的分数阶模板对图像进行卷积,累加每个方向卷积后的绝对值,得到原始图像的活跃度量图;然后利用滑动窗口技术分别对每个度量图进行比较,窗口内累加和大的被视为聚焦且得分图加1,以得分图信息得到决策图;最后通过决策图对原始图像加权的方式得到最终融合图像。实验对比分析表明,此算法相比传统算法具有一定的优越性。

文中提出一种基于CT图像引导机器人辅助经皮肺穿刺活检术空间定位的新机制。首先,设计6个标记点,并将其同时固定于CT检查床,以在硬件上参考定位;其次,在软件上以改进的D-H逆向运动算法实现CT图像引导机器人进行经皮肺穿刺操作。仿真实验结果表明,使用文中提出的定位机制可有效地保证一次性穿刺成功率。

随着图形图像处理技术的迅速发展,图像增强及识别方法已广泛应用于各行各业。在此基础上,文字识别技术也取得了极大的进步。针对水族文字笔触随意、字形多变、噪声较多等问题,文中提出了一种改进的图像增强及识别方法。通过中值滤波算法降低图像噪声,利用直方图均衡化方法增强图像对比度,再经过二值化处理提取图像中的目标轮廓,通过腐蚀膨胀处理细化和扩张背景,最后采用改进的文字提取算法凸显水族文字,采用Sobel算子提取水族文字边缘,并对其进行仿真对比实验。实验结果表明,该方法有效地降低了图像噪声,准确地提取出了水族文字轮廓,可以应用于民族文字提取及识别、文物修复、图像增强等领域,对保护民族文物遗产、弘扬少数民族传统文化具有重要意义。

夜间图像存在光照不均匀、整体亮度较低、色偏严重的现象,且人工光源附近存在光晕。现有的去模糊模型和算法在光照不均匀情况下,常通过估计光照图来去除光照不均匀的影响。通过使用径向基函数神经网络训练提取光照强度,提出了基于光照估计的夜间图像去模糊算法。针对光照不均匀的问题,通过估计光照分布图来去除不均匀光照的影响,计算得到成像过程中的调制传递函数(MTF)。以计算所得传输图像退化模型的点扩散函数作为先决条件,结合半盲图像复原的数学模型对目标图像进行处理,以提高夜视探测的成像质量。将所提方法与传统盲复原方法及基于深度神经网络的图像复原方法进行主客观比较,实验所得复原图像及数据验证了该方法的有效性,复原图像的质量得到明显提升。

在经颅磁刺激治疗过程中,准确且快速地检测人体头部姿态至关重要。针对基于二维彩色图像的头部姿态估计对环境、姿态敏感的问题,文中提出了一种联合彩色图像与深度图像的头部姿态检测方法。通过彩色图像检测人脸特征点的二维位置信息,结合深度信息定义三维头部坐标系;然后在现有的ICP点云配准算法的基础上,提出了一种粗配准方法。通过计算待检测头部点云与标准头部点云之间坐标系的变换关系得到初始位姿参数,以防止点云配准陷入局部最优局面。实验表明,该算法能够在光源均匀且充足的诊疗室环境中准确地检测人体头部姿态,提高头部姿态角度大时姿态估计的鲁棒性。

乳腺癌是女性是最常见的恶性肿瘤之一,其发病率有逐年增高的趋势,严重威胁着患者健康。如何取代传统活体穿刺,快速准确地对乳腺结节进行良恶性判断,近年越来越受到关注。医学研究表明,良恶性结节在边缘处呈现较为显著的差异,因此对边界加强处理的算法为判断乳腺结节良恶性的深度学习提供了新思路。文中实验数据库的构建基础得到首都医科大学附属北京友谊医院的支持。在比较5种边界增强算法后对图像进行扩增,并采用在图像分类方面十分出色的AlexNet网络模型。将分别经过线性、非线性对比度拉伸、直方图均衡化、直方图阈值化以及自适应对比度增强算法处理后的数据用于AlexNet模型,比较5种算法对AlexNet模型准确度的影响,得出更适用于乳腺结节超声图像的预处理算法。扩增后的数据集图像总数量超过一万张,其中训练集占80%,验证集与测试集各占10%。最终,通过绘制ROC曲线计算敏感度、特异度、精确度参数,对测试结果进行评估,并得到了较好的测试结果。

针对现有的物体识别方法在复杂环境下易受光照、角度、尺寸、复杂背景等“非受控”因素的影响,且识别率低、实时性差、占用内存大等问题,提出一种新的物体识别算法,并在此基础上实现了基于移动端的物体识别系统。该方法首先利用粒子滤波算法对检测范围进行加窗跟踪,接着用分水岭分割算法对物体进行分割,然后用HOG(Histogram of Oriented Gradient)算法提取物体特征,最后运用随机森林算法进行物体匹配。实验结果表明该方法能基于移动端在“非受控”的环境下进行较快速且准确的识别,从而证明了该方法的有效性。

K-means聚类算法是图像分割中比较常见的一种方式。它是一种无监督学习方法,能从图像的灰度值特征中发现关联规则,因而具有比较强的分割能力。但是,由于该算法使用的分类依据比较单一,且初始聚簇中心具有不确定性,其在图像分割上仍存在一定的缺陷。针对此问题,提出了一种改进的K-means算法用于图像分割。此方法使用基于信息熵的迭代改进算法为K-means算法选取初始聚类中心,然后对K-means算法提出新的加权质量评价函数用于更好地选取图像分割阈值。实验结果表明:改进后的算法在图像分割上的准确率和稳定性都要优于OTSU算法和传统的K-means算法。

从二维图像中获取图像深度信息是计算机视觉领域的热点问题。经典的双目视觉方法需要相机内部参数和同一场景的多张图像,视觉参数不足容易导致计算错误,而单幅图像只能依靠自身的几何信息得到图像深度。文中针对未知相机参数得到的单幅普通二维图像,结合SFS(从阴影恢复形状)方法,运用图像明暗的几何信息和双目视觉模型获取图像目标深度值,再利用目标轮廓信息对不同目标区域进行赋值,得到图像不同目标距离观察者的远近关系。实验结果表明,所提方法得到的图像深度能较为准确地反映出场景的真实信息,较符合实际观测结果。

静态手势识别在人机交互方面具有重要的应用价值,但手势背景的复杂性和手势形态的多样性给识别的准确性带来了一定的影响。为了提高手势识别的准确率,文中提出了一种基于卷积神经网络(Convolution Nenral Network,CNN)与随机森林(Random Forest,RF)的识别方法。该方法首先对静态手势的图片进行手势分割,然后利用卷积网络的特征提取功能提取特征向量,最后使用随机森林分类器对这些特征向量进行分类。一方面,卷积神经网络具有分层学习的能力,能够收集图片上更具代表性的信息;另一方面,随机森林对样本和特征选择具有随机性,并且对每个决策树结果进行了平均,不易出现过拟合问题。在静态手势数据集上进行验证,实验结果显示:所提方法能有效地对静态手势进行识别,平均识别率能够达到94.56%。文中进一步将所提方法与几种经典的特征提取方法(主成分分析(PCA)和局部二进制(LBP))进行对比,实验结果显示:相比于PCA和LBP特征提取方法,由CNN提取的特征向量进行分类识别的效果更好,该方法的识别率比PCA-RF方法高2.44%,比LBP-RF方法高1.74%。最后,在经典的MNIST数据集上进行验证,所提方法的识别率达到了97.9%,高于其他两种传统的特征提取方法。

保持图像纹理细节一直是图像插值的难题。针对图像重建过程中细节信息丢失的问题,提出一种纹理细节保持的图像插值算法。首先,利用等值线方法将图像划分为纹理区域和平滑区域;然后,构造一类C²连续的有理插值模型,它是多项式模型和有理模型的有机统一体,根据图像的区域特征,纹理区域采用有理模型插值,平滑区域采用多项式模型插值;最后,基于人眼视觉感知系统,提出一种多尺度细节增强方法来丰富插值图像的信息。实验表明,所提算法不仅有较低的时间复杂度,还能有效保持图像的纹理细节,获得较高的客观评价数据。

随着国内对河流、湖泊和海洋近岸浅水区域水下工作的深入开展,潜水员进行水下打捞、定位以及勘探等水下工程建设变得意义重大。本实验室开发的专利产品TKIS-I头盔式彩色图像声呐获得中国海军航行保障部认可,目前已有20多台服务于部队并持续获得部队订货。但是,在复杂的水下环境中,潜水员进行水下作业具有较大的风险,所以期望今后能利用水下机器人实现自动水下目标检测,从而把潜水员从危险的复杂水下活动中解放出来。为此,文中针对声呐图像的特点,在颜色、形状、纹理3个方面分别采取了HSV颜色空间、梯度直方图(HOG)、局部二值模式(LBP)的特征提取方法,并且改进了多特征融合的方式,使用优化后的支持向量机(SVM)进行分类,旨在快速检测出水下目标,为以后水下机器人的自动目标检测奠定基础。

安全带是保障驾驶员安全最有效的措施之一,我国法律明文规定驾驶员驾驶车辆时必须佩带安全带。目前,驾驶过程中安全带佩带的识别以人工筛查为主。随着汽车数量的飞速增加,传统的检测方式已无法满足交通管理的需求,实现安全带检测的自动化处理已成为当前交通系统亟需解决的问题之一。文中设计了一种驾驶人是否佩带安全带的识别系统。首先,通过车牌与车窗位置之间的几何关系进行车窗粗定位;其次,利用霍夫变换检测车窗的上下沿,并利用积分投影变换检测车窗的左右边界,将检测到的图片对半划分,得到驾驶员的粗略位置;最后,基于加入空间变换层的深度卷积神经元网络方法进行安全带的识别分析。针对10000张不同卡口、不同时段实时采集的图片进行实验,结果表明该方法能有效地识别驾驶人是否按规定佩带安全带,且综合识别率相比现有方法有显著提高。

如何充分利用图像自身蕴含的信息进行超分辨率重建仍然是一个开放的问题。文中提出了一种自适应稀疏表示和非局部自相似性的图像超分辨率重建算法。在训练与重建的过程中都采用K-means算法对选取的数据集进行聚类,将相似的图像块聚集在一起,然后运用PCA处理自适应地选择字典来进行超分辨率重建。相比于通过固定字典进行图像重建,采用自适应选择字典对图像进行重建将使得到的重建图像效果更加优越。针对自然图像的实验结果表明,利用所提算法重建的超分辨率图像的细节更细腻,伪像更少,边缘更锐利。