冠心病是临床常见的心血管疾病,冠脉介入术是其常见治疗方法之一。然而,糖尿病是冠心病的危险因素,与冠心病合并会显著增加治疗风险,尽早诊断和采取相应措施对这类患者具有重要的临床意义。临床指标是目前诊疗冠心病及其合并病的重要参考依据,而这些指标的获取大多是有创的。舌象作为人体健康的外在表现,不仅反映舌色、苔色等特征,还与心脏的各种生理和病理特征关联。深度学习的发展为客观化与可重复性获取舌象表征提供了帮助。然而,现有舌象分类方法受限于数据集标签的单一性,导致模型泛化能力不足。为此,提出了一种基于多源数据的跨任务迁移学习舌象诊断方法M2T-Net。该方法包括两个阶段:在多源数据的预训练阶段,获取不同任务下的高质图像编码器;在跨任务迁移阶段,结合交叉注意力机制,融合不同任务的特征表示,用于疾病分类。实验表明,M2T-Net模型在冠心病和冠心病伴随糖尿病两种人群的分类任务上的分类准确率达到93%,优于现有先进方法,具备较强的泛化能力与实用性,并且跨任务获得疾病表征更符合中医舌诊的整体观诊断思想,为舌象分析领域提供了更具实用性的解决方案。

正电子发射断层扫描(PET)延迟成像在肿瘤异质性分析和治疗评估中具有重要意义,但其临床应用受限于分辨率低、噪声高和定量不准确等问题。计算机断层扫描(CT)能够提供高分辨率的解剖信息,但在肿瘤评估中缺乏功能信息,难以区分良恶性病变和评估代谢活动。虽然动态PET/CT融合能提升图像质量,但多次CT扫描会增加患者累积辐射暴露,不利于长期随访。针对上述问题,提出了一种超分增强PET/CT多模态核矩阵约束算法(SR-PET/CT-KMC)。该算法基于Stable Diffusion对初始扫描PET图像进行超分增强,并将其与初始扫描CT图像的解剖先验信息相结合,建立了多模态PET/CT核矩阵约束的期望最大化(EM)迭代框架。Stable Diffusion用于提升初始扫描PET的分辨率,而多模态PET/CT先验信息则用于抑制噪声和伪影。通过利用初始扫描CT的结构信息,降低了延迟成像中CT扫描的需求,从而减少了患者累积辐射暴露。实验结果表明,SR-PET/CT-KMC与PET-KEM相比,PSNR提高了6.23%,SSIM提高了9.64%,NRMSE降低了33.3%,MSE降低了13.92%;与CT-KEM相比,PSNR提高了4.05%,SSIM提高了1.11%,NRMSE降低了33.3%,MSE降低了8.11%。这些结果表明,SR-PET/CT-KMC在提升延迟扫描PET图像分辨率和定量准确性方面具有优势,为肿瘤代谢追踪提供了一种新的成像范式,提高了延迟PET成像的临床可行性。

医学图像配准对于多种后处理步骤至关重要。目前基于卷积和Transformer的单流或双流网络架构能够实现良好的配准性能,但在配准性能与计算效率之间仍然难以取得平衡。为了解决这个问题,提出了一种高效的Transformer配准网络EFormer。其主要由分频器模块(Frequency Division Module,FDM)和广注意力模块(Broad Attention Module,BAM)组成。具体而言,在编解码器中使用多个FDM模拟双流网络并行提取局部-全局信息以提高计算效率;利用BAM增强多个FDM中局部信息的传递以保留配准中重要的语义特征。在3个数据集上的定性和定量比较实验结果表明,相比主流配准模型,EFormer在DSC,ASSD,HD95和雅可比行列式负值百分比4个评价指标上分别至少优化了1.3％,2.6％,0.6％和95％。此外,使用EFormer-tiny时,计算效率(Flops)优化了14％,表明EFormer能够以最快的计算速度在基于Transformer的网络中实现最佳的配准结果。

针对腹部CT多器官分割任务中器官边缘模糊、器官比例差异过大的问题,提出了基于边缘约束和改进Swin Unetr的复杂器官分割方法。为了在不同体素比例的器官上提取精细程度不同的特征,设计了掩码注意力模块,通过计算各个器官的掩码信息,提取对应特征。随后,以数据集先验和掩码信息为基础,在相应的窗口和块大小上进行特征提取,以获得小比例器官分割所需的精细化特征,并与编码器的输出特征融合;同时,输出初步预测的语义分割结果后,为了充分利用边界信息,增强模型对于边界信息的处理能力,输出的语义特征通过卷积层进一步提取出边界信息,通过边缘损失最小化使模型的语义分割结果受到边缘预测任务的约束。在BTCV和TCIA pancreas-CT数据集上对所提方法进行训练和测试,在基于卷积网络的UNet++和基于Transformer的Swin Unetr上加入了提出的改进模块并进行训练,与Unetr等经典网络进行了对比实验。在BTCV数据集上,所提模型Dice系数分别达到了0.847 9和0.840 6,HD距离分别为11.76和8.35,整体上优于其他对比方法,从而验证了所提方法的有效性和可行性。

在医学领域,由于患者隐私问题,图像很难集中收集和标注,这给深度学习模型的训练和部署带来了较大困难。联邦学习作为一种能有效保护数据隐私的分布式学习框架,能够在参与方不共享数据的基础上进行联合建模,从技术上打破数据孤岛,其凭借这些优势在许多行业已经得到广泛应用。由于与医学图像处理的需求高度契合,近年来也涌现出许多应用于医学图像处理的联邦学习研究,然而大部分新的方法仍未被归纳分析,不利于后续的进一步探索。文中对联邦学习进行了简单的介绍,列举了其在医学图像处理方面的部分应用,并根据改进的方向对目前已有的研究进行了分类总结。最后,讨论了目前医学图像方向联邦学习所面临的问题和挑战,并对未来的研究方向进行了展望,希望给后续研究提供一定的帮助。

低剂量CT(Low-dose CT,LDCT)扫描在临床实践中起着关键作用,其能有效降低放射科医生和患者的患癌风险。然而,低剂量射线的使用会给生成的CT图像引入明显的噪声,这一问题凸显了LDCT降噪重建的必要性。图像重建领域中的另一个重要任务是超分辨率(Super-resolution,SR)重建,其目标是在减少计算开销的同时实现高分辨率的CT成像。高分辨率CT图像能够更准确地捕捉复杂的解剖细节。尽管这些任务在各自领域取得了显著进展,但目前仍缺乏能够有效利用这两个任务之间固有相关性并同时处理它们的有效方法。文中将边缘信息作为两个任务之间的纽带,并利用梯度提取强相关特征。这使得LDCT降噪重建过程能够辅助超分辨率重建过程,并最终生成具有清晰边缘的结果图像。文中提出的降噪和超分辨率重建网络(NRSR-Net)包括3个组成部分:1)边缘增强框架,该框架利用梯度信息引导和提取相关特征,从而充分利用两个任务之间的相关性,使降噪任务能够辅助超分辨率任务实现更好的性能;2)梯度门控融合模块(Gradient Guided Fusion Block,GGFB),该模块增强高度相关的边缘特征并抑制无关特征,从而实现边缘区域的有效重建;3)梯度损失,该损失函数为模型引入更加丰富的梯度特征,并使网络重点还原边缘区域。一系列的实验表明,NRSR-Net在定量评估中取得了令人满意的峰值信噪比(PSNR)、结构相似性(SSIM)和学习感知图像块相似度(LPIPS),并获得了高质量的可视化结果。这些优势表明NRSR-Net在临床CT成像中具有巨大潜力。

病理诊断是癌症诊断和治疗过程中的金标准,利用人工智能模型对癌症病理图像进行自动分析不仅可以减轻病理学家的工作负担,还可以提高诊断结果的准确性。然而,病理图像的大尺度特点以及对预测结果可解释性的高要求为人工智能模型带来了巨大的挑战。在近年来的研究中,图神经网络在建模图像中实体的空间上下文关系及可解释性方面都展现出了强大的能力,为数字病理的研究提供了新的思路。文中回顾了近年来计算机视觉领域的相关工作,分析了图神经网络在乳腺癌病理图像分析中的优势,分类和比较了现有的面向乳腺癌病理图像的图构建方法,分析和对比了乳腺癌病理图像分析中的图神经网络模型,整理了近年来的研究中常用的工具包与公开数据集,总结了基于图神经网络的乳腺癌病理图像分析研究中存在的挑战并对未来的研究方向进行了展望。

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

功能磁共振成像(functional Magnetic Resonance Imaging,fMRI)研究面临的主要挑战之一是不同被试者fMRI数据的异质性。一方面,多被试数据分析对于确定所生成结果跨被试的通用性和有效性至关重要。另一方面,分析多被试者fMRI数据需要在不同被试者的神经活动之间进行准确的解剖和功能校准,以提升最终结果的性能。然而,现有大多数功能校准研究都采用浅层模型来处理多被试者间的复杂关系,这严重束缚了多被试信息的建模能力。为此,提出了一种基于多视图自编码器的功能校准(Multi-view Auto-encoder Functional Alignment,MAFA)方法。具体地,该方法通过重构不同被试者的响应空间来学习节点嵌入,捕获不同被试者之间共享的特征表示,从而创建一个公共的响应空间。此外,通过引入自训练聚类目标,利用高置信度节点作为软标签来监督图聚类过程。在4个数据集上的实验结果表明,相比其他多被试者脑影像功能校准方法,所提方法在解码精度方面取得了最佳效果。

更精细化的糖尿病性视网膜病变眼底图像分割结果,可以更好地辅助医生进行诊断。大规模高分辨率的分割数据集的出现,为更精细化的分割提供了有利条件。基于U-Net的主流分割网络,使用基于局部运算的卷积操作进行像素预测时无法充分挖掘全局信息,网络模型采用单输入单输出的结构,难以获取多尺度特征信息。为了最大程度地利用现有的大规模高分辨率的眼底图像病灶分割数据集,实现更精细化的分割,需要设计更好的分割方法。文中基于自注意力机制和多尺度输入输出结构对U-Net进行改造,提出了一种新的分割网络SAM-Net,用自注意力模块代替传统卷积模块,增大网络获取全局信息的能力,引入多尺度输入和多尺度输出结构,使网络更容易获取多尺度特征信息。使用图片切片方法来缩小模型的输入尺寸,防止神经网络模型因为输入图片像素过大而导致训练难度增大。最终在IDRiD数据集和FGADR数据集上进行实验,结果表明,SAM-Net可以达到比其他方法更优的性能。