公共场所监控视频中的人群运动状态复杂多变,很难通过检测或者跟踪每个个体来实现整个人群运动状态的分析,将人群分割成运动状态基本一致的区域成了了解和分析人群运动状态的有效途径。有监督的人群运动分割方法需要提供数据标注代价极高的像素级的训练集,因此无监督的聚类方法成为了更有前途的人群运动分割方法。然而,由于描述人群运动的局部特征通常是逐渐变化的,导致基于聚类的无监督方法需要针对不同的人群场景选择不同的参数,这很难适应各种不同的应用场景。为此,文中提出了一种基于运动对比度增强的人群运动分割方法。该方法是一种无监督模型,首先根据运动场中运动和噪声的分布特点增强不同运动状态之间的对比度,然后结合自适应阈值分割算法和标记符分水岭算法来提取每个运动状态基本一致的区域,避免了无监督聚类方法参数难以恰当选择的难题。在获得人群运动分割结果的基础上,文中提出了一种能量模型用于描述人群运动状态的稳定性。该能量模型通过推演出整个人群运动状态的变化过程来实现对异常人群运动状态的提前预警。在不同类型的复杂人群运动状态的场景中进行人群运动分割的实验,实验结果验证了基于运动对比度增强的人群运动分割方法的有效性和分割的准确性,以及所提能量模型的有效性。

针对在自然识别场景下,图像特征往往具有复杂性、多样性和模糊性的特点,以及在利用多个特征对图像进行识别时,往往缺乏考虑特征间的关系等问题,提出了一种融合多种图像特征的目标识别模糊模型。首先,对图像进行特征提取,将特征的取值作为模型的模糊集并给出对应的隶属函数;其次,给出模型的评价指标,根据指标论证模型的可行性;然后,利用粒子群优化算法对图像各特征的隶属函数的参数进行优化;最后,给出基于特征融合模糊模型的目标识别算法,并将算法应用于填涂点识别与热轧带钢表面缺陷判别这两个识别场景来进行实验论证。实验结果表明,所设计的模型在评价指标下表现良好,算法明显提高了目标识别的准确率与鲁棒性以及改善了特征融合的合理性。

遥感图像分类是遥感图像信息处理的关键方向之一,其分类精准率很大程度上限制了遥感技术整体的发展。对于遥感图像,传统机器学习算法与模型结构存在不能快速提取特征图,且分类结果不够准确的缺陷。针对这一问题,提出了一种改进的基于ResNeXt网络模型结合注意力机制,以优化后SVM(支持向量机)算法替换全连接层的模型。首先引入计算机视觉中的注意力机制,对不同特征赋予不同的权重,提高对图像中用于分类部分有效信息的提取能力,然后结合ResNeXt网络,最后以优化后的SVM算法替换卷积神经网络末端的全连接层用于提升分类效果,同时在模型整体不增加超参数的情况下优化了网络性能。该网络模型在数据集AID上的实验结果表明,改进后的网络模型对深层特征的提取能力有显著提高,且优化后的网络模型对于多分类任务具有较优的分类效果。

字体迁移是一项十分具有挑战性的任务,其目的是将目标字体通过某种映射方式迁移到源字体,以实现字体的变换。现有的方法在字体迁移方面的鲁棒性有限,突出表现为对生成字体结构完整性的保持较差,尤其是当两种不同种类的字体差别较大时。针对这些问题,提出了一种端到端的字体迁移网络框架模型。该模型引入了注意力归一化以更好地提取字形图像的高级语义特征,从而提高生成图像的质量。此外,使用自适应实例归一化进行字体特征和内容特征融合,以实现字体的转换。在保持字形结构完整性方面,设计了感知损失和上下文损失来约束字形结构的生成。为了稳定GAN网络的训练,在对抗损失函数的设计中加入了正则化项。为了验证该模型的有效性,实验采用FET-GAN中公开的数据集进行了多组训练和测试,并与FET-GAN,CycleGAN和StarGANv2进行了对比。实验结果表明,该模型能够在给定的多个字体域之间实现相互的字体迁移,并且其迁移的效果和模型泛化能力与其他工作相比均具有一定的优势。

CT是临床最常用的影像学检查之一,CT影像的计算机辅助诊断技术具有重要的临床意义。为优化CT影像目标检测,分别采用8种不同目标检测算法对肝血管瘤增强CT的图像、脑动脉狭窄CTA图像和结肠息肉CT图像进行检测研究,比较不同算法的适用性。首先,对肝血管瘤增强CT图像、脑动脉狭窄CTA和结肠息肉CT图像进行标注并制作数据集。其次,采用不同参数优化算法,并绘制AP-epoch和AP-FPS曲线以比较不同算法的检测性能。实验结果表明,PPYOLOv2在不同数据集中的AP,AP₅₀,AP₇₅和Recall均达到最优,预测边界框紧贴待检目标,预测置信度较高,并且具有良好的泛化能力和鲁棒性。

摩托车驾驶相比于其他驾驶方式更加危险,但缺乏有效的辅助驾驶系统,例如车道辅助保持系统、障碍物检测、预碰撞系统等,而判定摩托车在行驶中是否发生了偏离往往需要参照车辆行驶时车道线的位置,因此车道线检测对于辅助驾驶系统来说至关重要,因此文中提出了基于深度学习的摩托车车道实时检测算法。在Lanenet架构的基础下做出了以下3点改进:将车道坐标的绝对位置作为输入特征、使用K-means算法代替Mean-Shift聚类算法以及去除Hnet结构。由于目前缺乏公开的摩托车车道数据集,因此将使用采集的摩托车车道数据对模型进行拟合,拟合的结果证明了该算法的有效性,检测速度可达47.6fps,交并比可达0.71560,相比文献[3]中的算法在精度上提高了15.5%,在速度上提高了53.3%。

针对现有行人重识别算法对行人特征提取不充分,导致算法在行人遮挡、姿态变化等场景下准确度较低的问题,提出了基于渐进式注意力金字塔的行人重识别方法。该方法基于注意力机制设计了一种渐进式的特征金字塔结构,将通道和空间两种注意力模块嵌入特征金字塔结构中,并分别应用在特征的通道和空间两个维度上,通道注意力金字塔聚合骨干网络各层级不同通道维度中值得关注的特征,空间注意力金字塔提取不同空间维度中值得关注的特征。金字塔的每一级都按照“切分-关注-合并”的原则,自底向上不断学习行人特征图在不同切分等级下的注意力,让网络充分挖掘到来自不同通道维度和不同空间维度的关键特征。同时,通过级联结构和可变形卷积实现多层级特征对齐,进一步提高模型的重识别精度。分别在Market-1501和DukeMTMC-reID两个主流数据集上对该方法进行实验,实验结果表明该方法可以让模型关注到更丰富的行人特征,模型的Rank-1指标相比基准网络分别提高了3.2%和5.8%,mAP指标分别提高了6.8%和6.6%。

内焊球空洞是BGA封装芯片的主要缺陷,可能会导致电气故障。目前,常用的检测方法是人工对照芯片X光影像检查,此类方法检测准确率低且时间、人力资源消耗大。因此,基于深度学习的自动化芯片缺陷检测方法越来越受到关注。芯片空洞检测与语义分割任务对应,但受限于数据缺乏高质量标注,模型准确率通常偏低,主动学习框架是潜在的解决方案。文中基于主动学习和U-Net++构建了芯片空洞率检测模型,通过等距划分将数据集分为多个子集,每个子集采用训练-预测-标注-扩展的框架循环优化U-Net++模型。在BGA封装芯片数据集上进行实验,模型分割平均Dice系数达到了80.99%,总体准确率达到了94.89%,达到了预定目标。首次将主动学习引入芯片检测领域,经实验验证可以有效提升芯片数据的标注水平,使得模型的分割准确率有所提高。

螺栓在输电线路中起到了固定线路间连接的作用,一旦出现松动或者脱落,就可能会导致电力传输发生故障而引起大范围停电事故。显然,定时对输电线上的螺栓进行检测,对确保整个电力系统的安全稳定有着至关重要的作用。现有的检测方法大多基于深度卷积神经网络,然而螺栓特征不明显、尺寸小的特点给检测工作带来了挑战。针对上述问题,提出了一种基于区域注意力机制和多尺度特征融合的输电线路螺栓缺陷检测方法。首先,提出了适用于目标检测的区域注意模块,将该模块嵌入至ResNet50的残差块中以增强网络对螺栓的特征提取。其次,在特征金字塔结构(FPN)的基础上,扩展一条自下而上的路径,同时对浅层特征进行充分利用,以提高对小物体的检测精度。最后,为了缓解样本间的不平衡问题,引入了PrIme Sample Attention(PISA)软样本采样策略。实验结果表明,所提方法在检测输电线螺栓时,均值平均精度(mAP)达到了74.3%,平均召回率(AR)达到了86.4%,检测速度为8.2FPS。与其他检测网络相比,所提方法在不牺牲太多检测速度的基础上,提高了对螺栓缺陷的检测精度。

脑胶质瘤是起源于脑神经胶质细胞的原发性肿瘤,发病率约占全部颅内肿瘤的45%,其核磁共振图像(MRI)的精准分割有着非常重要的临床意义。文中提出了一种基于多编码器的脑肿瘤自动分割方法,模型采用U型网络结构,扩充单收缩路径为多路径以深度挖掘不同模态语义信息;提出结合空洞卷积的Inception模块作为网络基础卷积层以获取图像多尺度特征;在网络瓶颈层和解码器中引入轻量型通道注意力Efficient Channel Attention(ECA)模块,使得模型更多地关注与分割相关的信息,忽略通道维度的信息冗余,从而进一步提高网络分割的精确率。在Brain Tumor Segmentation Challenge 2018(BraTS 2018)数据集上进行验证,提出的网络在整体肿瘤、肿瘤核心、增强肿瘤3个区域的平均Dice系数分别为0.880,0.784,0.757,结果表明所提算法实现了准确有效的多模态MRI脑肿瘤分割。

近年来,深度学习的方法在基于内容的图像检索领域已经占据主导地位。为了改善主干网络提取出的特征,使得网络能计算出更具区分度的图像描述,提出了一种独立于输入特征的注意力模块ICSA(Independent Channel-wise and Spatial Attention)。该模块与其他的注意力机制的主要区别在于它的注意力权重在输入不同特征时保持一致,传统注意力模块通过对输入特征进行处理得到注意力,因此它的模型更为精简,其参数大小仅有6.7kB,为SENet大小的5.2%和CBAM的2.6%,运行时间与SENet基本一致,为CBAM的14.9%。ICSA的注意力分为通道和空间注意力两部分,分别储存输入特征不同方向上的权重。在Pittsburgh数据集上进行实验,实验结果表明,对于不同的主干网络,在添加了ICSA模块后Recall@1有0.1%~2.4%的提升。

心电信号(Electrocardiogram,ECG)作为识别人体心脏异常的重要指标,其最常见的一个处理问题是消除不必要的噪声。这些噪声会使干净信号失真,从而影响对人体心脏的诊断与分析。综述了5种不同的心电信号降噪技术框架以及在该框架下的最新研究成果,最后汇总了近5年优秀降噪模型,并通过信噪比等性能评价标准进行比较。对比显示,不管基于单一噪声或是复合噪声,深度学习模型在降噪方面均显现出良好性能。最后,讨论了当前降噪模型存在的不足,并对下一步研究进行了展望。

针对较复杂背景下路面裂缝检测问题,由于基于深度学习的图像分割算法检测效果不甚理想,以及裂缝图像自身像素类别不平衡,提出了一种基于注意力机制和可变形卷积的路面裂缝检测网络,该网络基于编码-解码结构进行构建。为了解决较为复杂背景裂缝检测困难的问题,首先,由可变形卷积提升网络对不同形状裂缝线性特征的学习能力;其次,使用密集连接机制强化特征信息;然后,在解码阶段采用转置卷积和桥接方式与编码阶段特征逐步融合,并结合多级特征融合的思想,提高网络的检测精度;最后,引入注意力模块(SimAM),在不增加网络参数的前提下,更加关注目标特征的提取,抑制背景特征。在两个公开裂缝数据集上进行实验来验证该算法的有效性,实验结果表明,该算法的各项性能评价指标均优于对比算法,BCrack数据集的平均像素精度、平均交并比分别达到92.12%和84.79%,CFD数据集的平均像素精度、平均交并比分别达到91.02%和74.75%,在复杂背景裂缝检测下表现良好,可应用于路面维修工程。

布匹瑕疵的自动化检测是目前纺织行业面临的一个难点问题。针对当前布匹瑕疵检测算法对尺度和长宽比变化大、小目标众多的样本检测效果并不理想的问题,提出了基于改进Cascade R-CNN网络的布匹瑕疵检测算法。首先,在特征提取网络ResNet-50中融入可变形卷积,自适应地提取更多的瑕疵形状与尺度特征;其次,在特征金字塔网络上采样前引入平衡特征金字塔,缩小特征融合前各特征层之间的语义差距,得到更具表达力的多尺度特征;然后,根据瑕疵尺度与长宽比特点重新设计更适合的初始锚框;最后,采用具有尺度不变性的GIoU Loss作为级联检测器的回归损失,以获取更加精确的瑕疵预测边界框。实验结果表明,相比基于Cascade R-CNN的算法,改进后的Cascade R-CNN算法对布匹瑕疵检测的平均精确率获得了明显提升。

为了解决目标跟踪过程中由于目标遮挡导致的跟踪漂移和背景干扰导致的跟踪失败问题,文中提出了一种多特征集成的孪生网络目标跟踪方法,引入特征融合模块和注意力模块构建多个区域生成网络跟踪器,以获得高效的判别特征表示及对复杂环境的分辨能力。首先将相邻两个残差块特征压缩激励后进行有效融合,以此加强特征信息;其次利用并行卷积注意力模块对特征图中包含在通道信息和空间信息中的干扰信息进行过滤;最后设计并提出了一种与集成学习类似的算法,通过构建两个跟踪器,分别接收深层语义特征与融合特征,对其进行加权训练,得到最终的跟踪结果。除此之外,为验证算法的有效性,文中还研究了不同融合方案、不同跟踪器训练权重比和不同模块的组合方式对模型的影响。在VOT2016和VOT2018数据集上的实验结果表明,提出的多特征集成方法与其他孪生网络目标跟踪算法相比,在保证算法高准确率的同时,能够有效提升目标跟踪的鲁棒性。

为了解决医学内窥镜图像中存在的光照不均匀、黏膜下组织血管模糊、对比度低等问题,文中提出了一种新颖的内窥镜图像增强算法。该方法分为两部分,第一部分采用象限剪裁直方图伽马校正的方法实现亮度增强,首先对亮度通道的直方图进行分象限剪裁得到平滑的累积分布函数(CDF),然后利用截断CDF的方式来控制伽马参数的大小;第二部分基于融合通道先验增强图像的对比度和清晰度,首先利用离散小波变换融合图像的绿色通道和红色通道,得到细节丰富的图层,用于生成图像形成模型(IFM)的初始透射图,然后通过提出的理想函数模型校正初始透射图,得到清晰的图像,最后结合CLAHE实现组织和血管的对比度增强。在实验室自建的MEDS数据集上,将所提方法和其他几种现有方法进行主观和客观分析,结果表明所提方法在提高血管和组织对比度的同时,避免了图像过度增强。

随着人工智能的发展,深度学习在计算机视觉研究中引起了广泛关注,在单目标跟踪领域开始对基于深度学习的单目标跟踪算法加以研究。深度学习算法的算法复杂度相对较高,将目标分类和目标状态估计完整的分割出来,有利于对每一个任务的深层探讨。但现阶段的单目标跟踪算法不能很好地应对复杂的跟踪环境,模型遇到复杂跟踪环境时,经常会跟踪到背景的某一块区域或者跟踪到周围的相似目标。为了解决以上问题,文中提出了一种方法,在目标分类和目标状态估计任务中分别加入了不同的注意力机制,使得模型能够更好地处理背景混乱和相似目标遮挡的情况。为了验证上述方法的有效性,文中在多个数据集上做了大量的对比实验,并且和之前的基于深度学习的单目标跟踪算法进行比较,所提算法在EAO指标上有了3.1%的提升,在Robustness指标上有了2.3%的提升,表明了其有效性和先进性。

针对在地图物体位姿识别中估计惯性测量和视觉轨迹识别繁多和图像位姿边缘精度不精确的情况,提出了一种改进点线视觉惯性测程算法(PL-VIO)。在视觉前端,利用亚像素边缘提取方法对图像边缘角点进行迭代和精度提升,并对提取的角点进行边缘化约束,防止边缘的角点存在亚像素边缘检测越界问题。在视觉后端,为了提高提取精度和减少线特征的重复提取,对LSD提取后的线特征和点特征进行提取优化,在SFM之后对提取的线特征进行线合并,并删除冗余线。基于ROS平台利用EuRoc数据集进行实验,并把得到的实验数据导入到Evo中,利用Evo对实验数据进行分析和轨迹绘制,评定误差参数,实验结果中误差参数的整体减小证明了改进PL-VIO算法的优越性和准确性。

近年来,多目标跟踪任务获得了较大的进展,尤其是针对行人的多目标跟踪。通过对行人进行联合姿态估计,能够提升多目标跟踪算法对行人的运动预测,同时为更高阶的任务例如自动驾驶算法提供更多的信息。然而,在当前包含人体姿态估计标签的多目标跟踪数据集中,视频长度较短且目标稀疏,限制了多目标跟踪算法的研究。文中使用具有更多行人的多目标跟踪数据集MOT17和多人姿态估计数据集COCO进行跨数据集学习,基于循环训练策略有效提升了联合人体姿态估计下的多目标跟踪算法的性能。同时极化自注意力下采样和注意力上采样的使用,在提升算法训练速度的同时,增强了算法的人体姿态估计性能。

近年来,利用激光雷达点云进行3D目标检测是计算机视觉领域的一个研究热点,并在自动驾驶领域备受关注。3D相比于2D而言,结合了深度信息,更能体现出现实世界的特征,以有效解决如路径规划、运动预测、目标检测等方面的实际问题。介绍了3D目标检测的发展背景,概述了基于激光雷达点云数据的3D目标检测框架的流程,比较了几种常见的包含点云信息的数据集,并对主要研究方法进行分类。结合了自动驾驶的应用场景,对不同方法的性能和局限性进行了分析和比较。最后,总结了现阶段的技术难点,并展望了该领域未来的发展前景。

超声影像分割既是医学影像图像处理的重要环节,也是临床诊断的常用技术手段。文中提出将SegFormer网络模型用于实现医学超声影像图像的精准分割。一方面,将超声标签图转化为单通道形式,并对其进行二值化处理,以完成对数据集图像的预处理;另一方面,采用迁移学习的方式载入预训练模型,用于微调已经训练好的模型参数,并选用带有动量的随机梯度下降优化器来加速收敛速度及减小震荡。与FCN,UNet和DeepLabV3的对比实验结果表明,该模型在乳腺结节超声影像数据集上的各项评估指标均为最优,mIoU,Acc,DSC和Kappa分别为81.32%,96.22%,88.91%和77.85%。实验结果还表明,该模型在不同超声影像数据集中表现出了良好的鲁棒性。

由于需要进行像素级标注,语义分割通常比分类以及目标识别等任务需要更高的人工成本,尤其在基于高分遥感影像的土地分类应用中,因其背景复杂、目标密集,进行语义标注的成本更为高昂,严重限制了该技术在智能遥感领域的发展。此外,尽管传统半/弱监督学习方法能够有效降低训练成本,但通常其分割结果的质量较低,很难具备应用价值。针对以上两个问题,文中提出了一种采用半监督自校正融合策略的语义分割模型。通过引入数据融合技术以及自校正策略,有效地降低了分割模型对强标注的依赖性。该模型在仅使用15%强监督信息的前提下,在波茨坦以及韦兴根数据集上分别获得了86.5%和81.7%的平均F1分数。实验结果表明,所提方法在大幅降低语义分割训练成本的同时,能够获得与全监督模型相竞争的高质量分割结果。

在电动车交通事故中,颅脑损伤致死是电动车骑行人员死亡的主要原因,而大多数电动车骑行人员很少佩戴头盔,因此通过将目标检测算法与道路摄像头结合来监管电动车骑行者头盔佩戴情况具有很强的现实意义。针对目前电动车头盔佩戴检测存在着目标相互遮挡漏检率较高、较小目标漏检率较高的问题,文中提出了一种改进的YOLOv5目标检测算法,用于实现对电动车头盔佩戴情况的检测。该方法首先在YOLOv5网络中添加通道注意力机制ECA-Net,使得模型能够更快地检测到目标特征,从而提高模型的检测性能;其次,使用Bi-FPN加权双向特征金字塔模块,实现对不同层级特征重要性的平衡,有利于改进小目标漏检问题;最后,使用Alpha-CIoU Loss的损失函数,提高模型定位的准确性。实验结果表明,该方法在3种场景下对电动车骑行人员头盔佩戴情况的检测精度均高于其他模型,平均精度达到95.8%,相比原网络检测精度有所提升,实现了电动车头盔佩戴情况的高精度检测。

针对利用传统语义分割网络进行城市建设用地变化检测过程中出现的欠分割或者过分割、边缘分割粗糙等问题,文中提出了一种基于孪生注意力网络的高分辨率遥感影像变化检测方法。该方法在编码部分使用孪生神经网络进行特征采集,以保留更多的不同时相影像特征;深层编码阶段引入空洞卷积特征金字塔实现多尺度特征的提取与融合,增大网络感受野;解码部分使用注意力机制CBAM突出有用特征以增强有用信息,提高边缘分割精度;最后在娄底市土地利用变化数据集上进行实验。实验结果表明,该方法在娄底市土地利用变化检测数据集上的准确率达到92.56%,精确率达到89.15%,召回率达到85.61%,IoU达到77.53%,MIoU达到83.76%,F1分数达到87.34%,Kappa系数达到31.42%,性能指标优于FCN网络、U-Net网络、CBAM U-Net网络。实验结果表明,该方法可以有效解决变化检测结果欠分割或者过分割、边缘分割粗糙的问题。

小样本学习的提出是为了解决深度学习中模型学习所需数据集规模小或者数据标注代价昂贵的问题,图像分类作为深度学习研究领域的重要研究内容,也存在训练数据不足的情况。研究人员针对图像分类模型缺乏训练数据的情况,提出了许多的解决方法,利用图神经网络进行小样本图像分类就是其中的一种。为了更好地发挥图神经网络在小样本学习领域中的作用,针对图神经网络中的卷积操作过程易受偶然因素影响,导致模型不稳定,使用残差网络对图神经网络进行改进,设计了残差图卷积网络,以提高图神经网络的稳定性。在残差图卷积网络的基础上,结合自注意力机制设计残差图自注意力机制,深入挖掘节点之间的关系,提高信息传播效率,从而提高分类模型的分类准确率。经过测试,改进后的残差图卷积网络训练效率得到提高,在5way-1shot任务中的分类准确率相比GNN模型提高了1.1%,在5way-5shot任务中比GNN模型提高了1.42%。在5way-1shot任务中,残差图自注意力网络的分类准确率比GNN模型提高了1.62%。

许多体育运动受到场地、天气和经济等因素的限制,很难得到开展。随着计算机技术的快速发展,虚拟现实(Virtual Reality,VR)技术被广泛应用于体育运动中,旨在突破以上限制。文中对2003年至今的虚拟现实与体育仿真相结合的技术进行了介绍,从体育类型的角度将其归类为竞技体育仿真、娱乐体育仿真、医疗体育仿真和体育相关场景仿真。从近年来的体育仿真实例可以发现,基于VR技术的体育仿真已经不局限于竞技体育领域,正在不断向大众娱乐和交叉学科的方向深入发展,基于VR的娱乐体育仿真和医疗体育仿真更加成熟,可以给大众带来更加贴近日常生活的VR体验。体育相关场景仿真虽然是一个较新的领域,但由于其商业化的特色,虚拟广告和赛事系统等应用得到快速发展。最后对虚拟现实技术在体育仿真中的未来发展提出了全新的展望。

针对EfficientDet算法鲁棒性低、回归损失函数收敛性能差、标签边缘化问题,提出了回归收敛缩放混合的深度迭代复合缩放CNN目标检测算法。该算法采用2×2缩放混合正则化方法,增强训练样本,避免训练过拟合,提高模型泛化能力;利用完全交并比损失抑制冗余预测框,将中心点距离和纵横比作为边界框坐标预测的损失函数惩罚项,使卷积神经网络回归更准确,提高了收敛速度和定位精度;设置平滑参数,对边缘化标签分布和均匀分布加权求和生成标签平滑正则化分布,建立类标签平滑交叉熵损失,提高模型的标签容错率。实验结果表明,所提算法的均值平均精度为88.31%,网络模型参数个数为8.10×10⁶,相比EfficientDet-D2算法,均值平均精度提高了3.29%,网络模型参数个数没有增加,相比YOLOv4,YOLOv3,SSD,Faster R-CNN和Fast R-CNN算法,均值平均精度分别提升了5.2%,10.71 %,14.01%,15.11% 和18.30 %,网络模型参数个数分别减少了55.94×10⁶,52.91×10⁶,16.09×10⁶,55.18×10⁶和53.11×10⁶。所提目标检测模型,提高了检测准确度和F1得分;检测每张测试图片仅需0.73s,满足实时性要求。

为解决现有MRI神经网络分割中存在因输入端图像信息多样导致分割精度下降的问题,提出了引入Faster R-CNN和U-net机制的MRI图像分割方法。选择公开心脏MRI分割挑战赛数据集ACDC和SCD,清洗和修改数据集格式后送入后续神经网络。首先,应用Faster R-CNN对目标图像进行检测,以对原始输入图像进行预处理,并去掉冗杂的背景信息。其次,对预处理后的图像进行U-net分割,同时为检验引入Faster R-CNN后,对分割网络的性能和精度是否提高,采用了消融实验和对比实验。消融实验去掉了U-net分割网络中的检测裁剪模块,选择U-net及其改进网络分别做一组消融实验结果。实验结果表明,新方法的平均交并比和Dice系数在ACDC数据集上为0.89和0.94,分别提高了7.3%和5%,在SCD数据集上为0.96和0.98,分别提高了5%和3%,实现了MRI图像的自动预处理和分割。

针对超像素分割问题,为了进一步提高超像素边缘贴合度,提出了一种基于球簇聚类的超像素分割迭代算法。首先,将超像素视为五维超球体,对图像进行均匀分割得到初始超像素及其中心和半径;其次,依据邻接超像素中心间的距离及其半径搜索近邻超像素;然后,利用超像素与其近邻超像素中心间的距离,将超像素划分为稳定区和多个环形活跃区;最后,每个环形活跃区内的像素点仅根据其与部分近邻超像素中心的距离将其分入最近的超像素,如此迭代实现超像素分割。为了减少距离计算量以加快收敛速度,给出了近邻超像素关系判定定理,对像素点的超像素类标签设计了一种自适应分区更新策略。在BSD500数据集上与多种典型超像素分割算法进行了实验对比,结果表明该算法对不同类型图像的分割效果均较好,边缘贴合度更高,且受参数影响较小,分割结果更稳定。

文物常因保存或物理修复手段不当而受到损坏,使用虚拟技术对其进行修复很重要,而现有传统图像修复技术和基于深度学习的修复方法主要针对结构纹理简单、破损区域较小的图像或是破损区域规则的自然图像,无法直接应用于文物图像。针对文物图像结构纹理复杂、破损区域不规则及现存文物图像数据集较小等问题,以山水画图像修复为例提出了一种基于多尺度注意力机制的两阶段文物图像修复方法。首先基于全局注意力机制对文物图像的整体结构和基础色调进行粗粒度修复,然后使用局部注意力机制和残差模块对文物图像的小型结构和细节纹理进行局部细粒度修复,并在粗粒度修复的结果上使用上下文注意力机制从文物图像远距离精确借用信息,对图像的大型结构和纹理进行全局细粒度修复,最后将局部和全局的修复结果进行特征融合,实现文物图像的修复。针对文物图像特殊的破损类型,修复的文物图像伪迹较少,色彩均匀,结构纹理清晰,相比对比方法,在峰值信噪比上平均提高了3.76dB,在结构相似性上平均提高了0.034。实验结果的主观和客观分析表明,与主流图像修复方法相比,在语义合理性、信息准确性和视觉自然性上都具有一定优势,在文物修复领域有较大应用价值。