胶质瘤是大脑和脊髓胶质细胞癌变所产生的、最常见的原发性颅脑肿瘤。从多模态MRI中对胶质瘤组织进行可靠的分割具有很重要的临床价值,但是由于脑胶质瘤本身及周边组织较为复杂以及浸润性导致的边界模糊等,导致对脑胶质瘤的自动分割有一定的难度。文中构建了使用融合损失函数的3D U-Net++网络来对脑胶质瘤的不同区域进行分割,该网络使用不同层级的U-Net模型进行密集嵌套连接,使用网络的4个分支的输出结果作为深度监督以更好地结合深层和浅层的特征进行分割,并结合了Dice损失函数和交叉熵损失函数作为融合损失函数来提升小区域的分割精度。在2019年多模态脑肿瘤分割挑战赛(BraTs)的公共数据集划分的独立测试集中,采用Dice系数、95% Hausdorff距离、平均交并比(mIoU)、查准率(PPV)指标对所提方法进行了评估。结果表明,全肿瘤区域、肿瘤核心区域和增强肿瘤区域的Dice系数分别为0.873,0.814,0.709;其95% Hausdorff距离分别为15.455,12.475,12.309;其mIoU分别为0.789,0.720,0.601;其PPV分别为0.898,0.846,0.735。与基础的3D U-Net以及带深度监督的3D U-Net相比,所提方法可以有效地利用多模态的深层和浅层的信息,有效利用了空间信息,同时使用了Dice系数和交叉熵的融合损失函数,从而有效提升了对肿瘤各区域的分割精度,尤其是对小面积的增强肿瘤区域的分割精度。

脉络膜新生血管(Choroidal Neovascularization,CNV)一般出现在老年性黄斑变性(Age-related macular degeneration,AMD)晚期,在光学相干断层成像(SD-OCT)中对CNV进行准确分割对AMD的诊疗具有重要意义。文中提出了一种融合时序模型与注意力机制的CNV分割网络。该方法将连续的SD-OCT图像输入分割网络,在编码器部分提取图片多尺度信息,为了更好地提取图片局部特征,又在跳跃连接部分加入注意力门;同时,为了解决分割不连续的问题,在分割网络池化后加入了时序约束网络以构建相邻帧连续性约束,并在损失函数中加入梯度约束以更好地保留病变边界;采用空间金字塔将两部分网络特征图融合以产生分割损失,提高了最终的分割精度。基于患者独立性对12名患者的200组眼睛数据进行实验,该方法的Dice系数为76.3%,overlap达到60.7%,能够在SD-OCT图像中对CNV进行可靠的分割。

孕期超声检查是评估胎儿大脑发育、检测生长异常的重要步骤,开展对胎儿早期检查准确高效的诊断研究具有重要的临床价值。文中使用双线性卷积神经网络BCNN进行胎儿颅脑横切面识别,提出了BCNN-R和BCNN-S两种算法。BCNN算法首先对输入的胎儿颅脑超声影像数据进行预处理,去除个人信息等敏感信息;其次,利用两路并行的子网络从影像数据中提取辨识度高、鲁棒性强的横切面特征,并将其融合得到有助于识别的细微特征;最后使用线性连接层进行识别和分类。为了验证算法的有效性,在自建胎儿超声数据集JFU19上进行了对比实验,实验结果表明,所提算法相比常见的深度网络(GoogleNet,DenseNet,SeNet等)在分类性能上有明显的提升,其中BCNN-S算法的总体准确率达到了88.95%,BCNN-R在水平横切面的识别上达到了97.22%的精确度和88.61%的召回率。此外,在公开数据集HC18上进行了实验,BCNN算法的准确率、精确度、召回率分别达到了89.48%,87.66%和87.71%,进一步验证了算法的有效性。

近年来,计算机视觉已成为各类学科领域研究的重点,逐渐被应用于各类科研场景。医务工作者在临床上做血常规检验时,经常会采用血细胞图像分析系统对镜下白细胞图像进行自动计数与分类。其中,白细胞图像质量影响着血细胞分析系统计数分类的效果。针对镜下白细胞图像细节模糊的问题,文中尝试引入超分辨率方法对图片进行优化,以达到使白细胞图像更清晰的目的。所提出的方法在现有生成对抗网络的超分辨率方法(Super-Resolution Generative Adversarial Network,SRGAN) 的基础上,设计引入嵌套型残差密集块(Residual-in-Residual Dense Block,RRDB)来改进网络结构,并对原有标准残差块中的批量规范化层进行删减,以提升网络性能,另外还对判别器的损失函数进行了改进。实验结果表明,该方法(SRGAN+)与3种插值法以及4种基于学习的超分辨率方法相比,在提高分辨率的同时,获得了图片细节更丰富、人眼视觉更优的图像。与SRGAN方法相比,改进算法在峰值信噪比(Peak Signal-to-noise Ratio,PSNR)和结构相似度(Structural SIMilarity,SSIM)上分别有1.008 dB和1.07%的提高。

针对基于残差网络和密集网络的图像融合方法存在网络中间层的部分有用信息丢失和融合图像细节不清晰的问题,提出了基于双残差超密集网络(Dual Residual Hyper-Densely Networks,DRHDNs)的多模态医学图像融合方法。DRHDNs分为特征提取和特征融合两部分。特征提取部分通过将超密集连接与残差学习相结合,构造出双残差超密集块,用于提取特征,其中超密集连接不仅发生在同一路径的层之间,还发生在不同路径的层之间,这种连接使特征提取更充分,细节信息更丰富,并且对源图像进行了初步的特征融合。特征融合部分则进行最终的融合。通过实验将其与另外6种图像融合方法对4组脑部图像进行了融合比较,并根据4种评价指标进行了客观比较。结果显示,DRHDNs在保留细节、对比度和清晰度等方面都有很好的表现,其融合图像细节信息丰富并且清晰,便于疾病的诊断。

图像在融合过程中容易引入伪吉布斯现象,在图像的边缘细节处容易产生“伪影”和振铃现象。针对以上问题,提出了一种基于形态学图像增强和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的脑部CT与MRI图像融合方法。首先基于形态学对源图像进行开运算和闭运算增强处理,再将增强处理过的图像作为PCNN接收域的输入激励,输入PCNN融合模型内,对模型输出的权重图进行判定,形成一幅清晰并且易于处理的图像。实验结果表明,所提方法在保持边缘清晰化、保留有效信息、平衡冗余现象方面都优于其他方法,经过形态学图像增强和PCNN融合后的图像相较于未经增强处理的PCNN方法所得图像的平均梯度提高了24.59%左右,空间频率提高了42.56%左右;相较于基于拉普拉斯的图像融合方法,图像的标准差提高了16.67%左右。

基因诊断是近年来提高肺癌治愈率的一种新型且有效的方法,但这种方法存在基因检测时间长、费用高、侵入式取样损伤大的问题。文中提出了基于成对学习和图像聚类的无监督学习的肺癌亚型识别方法。首先,采用无监督卷积特征融合网络用于学习肺癌CT图像的深度表示,有效地捕捉被忽略的重要特征信息,并使用包含不同层次抽象信息的最终融合特征来表征肺癌亚型。然后,使用联合成对学习和图像聚类的分类学习框架进行建模,充分利用学习到的特征表示,确保有效的聚类学习,以取得更高的分类精度。最后,利用生存分析和基因分析对肺癌亚型进行多角度验证。在合作医院和TCGA-LUAD数据集上的实验结果表明,该方法通过可靠无创的影像分析和放射成像技术,发现了3种具有不同分子特征的肺癌影像亚型,在降低基因检测问题的同时可有效辅助医师进行精准诊断和个性化治疗,进而提高肺癌患者的治愈生存率。

肺结节CT图像表征复杂且多样,导致对肺结节进行分类较为困难。虽然越来越多的深度学习模型被应用到计算机辅助肺癌诊断系统的肺结节分类任务中,但这些模型的“黑盒”特性无法解释模型从数据中学习到了哪些知识,以及这些知识是如何影响决策的,导致诊断结果缺乏可信性。为此,文中提出了一种可解释的多分支卷积神经网络模型来判别肺结节的良恶性。该模型利用医生诊断时所用的肺结节语义特征信息来辅助诊断肺结节的良恶性,并将这些特征与肺结节良恶性判别网络融合成多分支网络,在完成肺结节良恶性诊断任务的同时,得到肺结节相关语义特征的预测结果,为医生提供可信的诊断依据。在LIDC-IDRI数据集上的实验结果表明,与现有方法相比,所提模型不仅可以得到可解释的诊断结果,而且实现了更好的肺结节良恶性分类效果,其准确率可达97.8%。

心血管疾病已成为威胁人类健康的头号杀手。目前, 医生们通过左心室MRI成像技术对左心室轮廓进行手工标注来计算心脏的各项功能参数, 以监测和预防心血管疾病, 但此方法的标注工作量大、耗时且繁琐。目前, 深度学习在许多医疗影像分割领域取得了显著的成功, 但在左心室轮廓分割领域仍有提升的空间。文中提出了一种基于组归一化与最近邻插值的MRI左心室轮廓精确分割网络——GNNI U-net(U-net with Group Normalization and Nearest Interpolation), 该网络利用组归一化方法构建了能够快速、准确提取特征信息的卷积模块, 基于最近邻插值法构建了用于特征信息还原的上采样模块。在Sunnybrook与LVSC两个左心室分割数据集上采用了中心裁减ROI提取的预处理方法, 并对GNNI U-net进行了充分的对比实验。所提网络在Sunnybrook数据集上获得了Dice系数为0.937以及Jaccard系数为0.893的精度。在LVSC数据集上获得了Dice系数为0.957以及Jaccard系数为0.921的精度。GNNI U-net在左心室轮廓分割领域取得了比现有卷积网络分割方法更高的Dice系数精度。最后, 进一步讨论并验证了组归一化操作卷积模块能够加速网络的收敛并提高分割精度;采用最近邻插值法的上采样模块对左心室轮廓这类较小目标的分割效果更好, 能够在一定程度上加速网络的收敛。

针对日趋增长的心电图数据分析需求,提出了一种新的心电图分类算法。首先对原始数据进行截断固定长度、样本均衡、求取信号的瞬时频率和光谱熵等预处理操作,数据经过预处理后模型能够更好地从其中提取特征进行学习;在训练过程中采用两个双向LSTM(BILSIM)网络堆叠组成的模型,堆叠式的双向LSTM(BILSIM)模型是一种改进的循环神经网络模型,相较于卷积神经网络,循环神经网络更加适合用来处理像心电图这样的序列数据。该模型在Windows下的MATLAB2018b上进行训练和测试,CUDA版本为9.0,采用分类准确率作为衡量模型性能的指标在两个数据集上进行了测试,一个是2017年生理信号挑战赛的数据(下文简称2017数据集),该模型在此数据集上最终分类准确率为97.4%;另一个是2018年生理信号挑战赛的数据(下文简称2018数据集),最终的分类准确率为77.6%,并在所属的MATLAB组获得了第三名的成绩。该算法与传统LSTM网络的结果相比,在2017数据集上提升了5.6%的准确率,在2018数据集上提升了7.6%的准确率;与单层的双向LSTM网络的结果相比,在2017数据集上提升了4.2%的准确率,在2018数据集上提升了5.7%的准确率,这充分验证了该算法的可行性和优势。