自学内容网 自学内容网
自学内容网 > 正文

Knee Injury Detection using MRI with Efficiently-Layered Network (ELNet)

🕗 发布于 2024-10-18 20:51 人工智能  机器学习  深度学习  

原文链接：https://proceedings.mlr.press/v121/tsai20a.html

介绍了一种名为Efficiently-Layered Network (ELNet) 的卷积神经网络架构，专门用于膝关节损伤的初步MRI诊断和分诊。

研究背景

  1. 背景介绍: 这篇文章的研究背景是磁共振成像（MRI）作为一种广泛接受的膝关节损伤分析技术，其三维捕捉能力使其成为放射科医生定位膝关节潜在撕裂的理想工具。然而，随着肌肉骨骼（MSK）放射科医生工作量的不断增加，自动化的患者分诊工具变得越来越重要，以减少病理病例的阅读延迟。
  2. 研究内容: 该问题的研究内容包括提出一种优化的卷积神经网络（CNN）架构ELNet，用于初始膝关节MRI诊断的分诊。与过去的方法不同，ELNet是从头开始训练的，而不是使用迁移学习方法。此外，该模型在训练过程中没有定位信息，但仍能有效地定位膝关节撕裂。
  3. 文献综述: 该问题的相关工作有：Stajduhar等人提出了一种半自动化的方法，使用支持向量机（SVM）诊断膝关节前交叉韧带（ACL）损伤；Liu等人介绍了一种完全自动化的软骨病变检测系统，通过CNN进行分割和补丁分类；Bien等人提出了一种由三个独立的MRNet组成的架构，通过逻辑回归组合输出。

研究方法

这篇论文提出了Efficiently-Layered Network (ELNet) 架构。具体来说：

  • Block模块: ELNet的设计围绕Block模块展开，每个Block由以下序列组成：2D卷积→多切片归一化→ReLU激活。Block模块允许网络中的非线性，并且可以重复使用以确保输入和输出维度相等。
  • 多切片归一化: 提出了两种多切片归一化的变体：基于层归一化和基于对比归一化。层归一化对每个切片计算均值和方差，而对比归一化对每个切片和每个通道计算均值和方差。
  • BlurPool: BlurPool操作通过首先对输入表示应用抗混叠滤波器（二项滤波器），然后进行步幅池化来缓解现代CNN架构中观察到的移位-方差现象。最终表示是模糊输入表示的池化版本。

实验设计

  • 数据集: 使用了MRNet数据集和KneeMRI数据集。MRNet数据集包含1,370例膝关节MRI检查，KneeMRI数据集包含917例膝关节MRI检查。
  • 训练: 在MRNet数据集中，针对三种病状训练了三个独立的ELNet模型，分别使用冠状图像和轴向图像进行训练。在KneeMRI数据集中，使用五折交叉验证进行评估。
  • 评估: 使用准确率、敏感性、特异性、ROC-AUC和Matthew相关系数（MCC）等指标评估ELNet的性能。

结果与分析

  • MRNet数据集: ELNet在MRNet验证集上的表现优于MRNet模型，特别是在Matthew相关系数（MCC）方面表现更好。
  • KneeMRI数据集: ELNet在KneeMRI数据集上的五折交叉验证结果显示，其平均AUC为0.913，最高达到0.924，表现出较强的鲁棒性。
  • 消融研究: 比较了ELNet在多切片归一化和BlurPool被批量归一化和最大池化替换时的性能，结果表明多切片归一化和BlurPool的组合在性能上优于其他组合。

结论

这篇论文提出了一种优化的卷积神经网络架构ELNet，用于膝关节损伤的初步诊断和分诊。ELNet模型轻量级（< 1MB），易于训练和部署，并且在MRNet数据集和KneeMRI数据集上的表现优于现有的MRNet模型。未来的工作可能包括整合所有三个MRI体积（轴向、冠状和矢状），以及研究在不同扫描仪上获取的MRI数据的适用性。

优点与创新

  1. 高效的多层网络架构：提出了ELNet，一种为初始膝盖MRI诊断优化的卷积神经网络（CNN）架构。
  2. 从头开始训练：与过去的方法不同，ELNet是从头开始训练的，而不是使用迁移学习方法。
  3. 多切片归一化和BlurPool操作：创新性地将多层归一化和BlurPool操作集成到网络中，使模型保持轻量级（约0.2M参数），同时在与MRNet模型的比较中表现优异。
  4. 单成像堆栈输入：ELNet模型可以使用单个成像堆栈（轴向或冠状）作为输入，简化了数据处理流程。
  5. 无定位信息下的撕裂检测：展示了模型在训练过程中没有定位信息的情况下定位膝盖撕裂的能力。
  6. 模型轻量化：模型极其轻量（< 1MB），易于在实际临床环境中训练和部署。
  7. 数据增强和过采样：通过直方图基于强度标准化和数据增强技术，补偿了数据集的不平衡。
  8. 跨数据集验证：在MRNet和KneeMRI数据集上的交叉验证证明了模型的鲁棒性，即使在高度不平衡的数据分布下也能保持一致的性能提升。

不足与反思

  1. 未来工作可能包括：结合所有三个MRI体积（轴向、冠状和矢状）以提高性能。
  2. 进一步研究：需要促进在不同扫描仪和强度尺度下获取的MRI数据上应用训练好的模型。

摘要

磁共振成像（MRI）是一种广泛接受的膝部损伤分析成像技术。其捕捉膝部三维结构的优势使其成为放射科医生定位膝部潜在撕裂的理想工具。为了更好地应对日益增长的肌肉骨骼（MSK）放射科医生的工作量，患者分流的自动化工具变得真正必要，减少了病理案例阅读的延迟。在这项工作中，我们提出了高效层化网络（ELNet），这是一种针对初始膝部MRI诊断任务优化的卷积神经网络（CNN）架构，用于分流。与以往的方法不同，我们从零开始训练ELNet，而不是使用迁移学习方法。所提出的方法在定量和定性上得到了验证，并且在仅使用单一成像堆栈（轴向或冠状）作为输入时，与最先进的MRNet相比具有优势。此外，我们展示了我们的模型即使在训练期间缺乏定位信息的情况下，也能够定位膝盖上的泪液。最后，所提出的模型非常轻量级（< 1MB），因此易于在真实的临床环境中进行训练和部署。我们模型的代码提供如下：https://github.com/mxtsai/ELNet。

关键词：膝盖诊断，MRI，深度学习，ACL撕裂，半月板撕裂，膝盖损伤，医疗急症

1. 引言

磁共振成像（MRI）长期以来被认为是最强大的膝盖检查工具（Saeed, 2018）。其广泛使用部分原因是它能够在保持非侵入性程序的同时捕捉膝盖关节的详细结构（Crues等人，1987；Boeree等人，1991）。鉴于其在三维中捕捉膝盖的深刻能力，MRI已成为放射科医生在广泛的检查中首选的工具，如膝骨关节炎和膝盖内部错位。（Hayashi等人，2014；Arumugam等人，2015）。考虑到肌肉骨骼（MSK）放射科医生的工作量日益增长，需要自动化工具对患者进行分流，以缩短病理案例的阅读延迟。已经提出了几种为此目的的技术。Stajduhar等人（2017）提出了一种半自动方法，该方法使用支持向量机（SVM）来诊断膝盖的前交叉韧带（ACL）损伤。在他们的工作中，首先手动提取感兴趣区域（ROI），然后将其输入SVM进行预测。Liu等人（2018年）通过采用CNN进行分割，然后使用另一个CNN进行补丁分类，引入了一个全自动化的软骨病变检测系统。尽管它们的网络是端到端训练的，但创建补丁训练集所需的手动标记量使其成为一个极其繁琐的任务。Bien等人（2018年）提出了一种由三个独立的MRNets组成的架构，其输出通过逻辑回归组合。MRNet为扫描的每个切片提取一个独特的特征向量，将这些向量堆叠成一个二维数组，对数组进行最大池化以获得单个向量，并通过具有softmax激活的全连接层进行分类。特征提取器的骨干是一个预训练的AlexNet（Krizhevsky等人，2012年）。

在这项工作中，我们提出了一个针对膝关节诊断的MRI高效层状网络（ELNet）架构。这项工作的主要贡献是一个新颖的切片特征提取网络，它结合了多切片归一化和BlurPool下采样。所提出的方法将在第2节中详细介绍，随后在第3节中提供定量和定性的实验结果。结论和未来的工作将在第4节给出。

2. 方法

ELNet架构如图1所示，详细信息列在表1中。ELNet设计的核心围绕Block模块。受ResNet（He等人，2016年）的启发，我们将Block定义为一系列：

[2D卷积→ 多切片归一化→ ReLU激活]

块被设计用来允许网络中的非线性，并且在确保输入和输出维度相等的同时可以重复使用。在输入和输出之间添加了一个跳跃连接，以更好地优化网络。前两个块重复两次，分别使用4K和8K通道，其余的块固定使用16K通道。

每个块后面跟着另一个2D卷积和ReLU激活函数，它们用于增加通道维度。通过使用BlurPool层来减少空间高度和宽度。最终，在特征提取器的最后一层，对每个MRI切片应用2D最大池化，以获得一个16K维的特征向量。最大池化连续应用以获得一个单一的16K维特征向量，该向量结合了切片之间的特征信息。在输入到具有两个输出logits的全连接层之前进行dropout操作，最终概率p(y|x)通过softmax(Goodfellow等人，2016)计算得出。

在接下来的两个小节中，我们将详细介绍ELNet的两个创新特性：多切片归一化和BlurPool。
在这里插入图片描述

表1：ELNet架构细节

图1：ELNet设计

多切片归一化

我们提出了两种可能的多切片归一化变体：一种基于层归一化的（Ba等人，2016年），另一种基于对比度归一化的（Ulyanov等人，2016年）。假设来自网络中某一层的特征表示x(i)∈R S×C×H×W（通常是一个2D卷积），其中S是MRI序列中的切片数，C是表示中的通道数，H和W是表示的空间高度和宽度。网络通过计算适当的均值和方差对x进行归一化（为了简化省略了i）。

在层归一化变体中，对于每个切片s（1≤s≤S），从x计算均值μ_s和方差σs^2。相比之下，在对比度归一化中，不仅为每个切片s计算均值usc和方差osc，还为每个通道cc（1≤c≤C）计算（图2 a-c）。使用计算出的均值和方差，x被标准化为x。对x应用仿射变换以获得归一化输出y。归一化过程分别由方程（1）层归一化（2）对比度归一化：

在这里插入图片描述

参数γ,β（C维向量）为每个归一化层独立学习。通常，γ,β,ϵ分别初始化为1,0和1e−8。

在这里插入图片描述

图2：(a) 作为ELNet输入的MRI序列，以及ELNet块的示意图。(b&c) 我们提出的多切片归一化：层归一化和对比度归一化（多切片归一化标准化了切片间与批量归一化的不同，后者标准化了通道间）(d) BlurPool示例：输入X与二项滤波器（核大小B=3）卷积以获得反混叠表示Blur(X)。然后应用池化以获得BlurPool(X)。

BLURPOOL

在张(2019)的工作中，提出了一种BlurPool操作来缓解现代CNN架构中常利用的最大池化观察到的移位-方差现象。BlurPool通过首先对输入表示应用反混叠滤波器（核大小B和步长1的二项滤波器），然后应用步长池化来获得池化特征图（见图2d）。因此，得到的表示是模糊输入表示的池化版本，更详细的分析可在论文中找到（2019）。

2.1. 训练流程

如Nyl和Udupa(1999)所建议的，我们根据训练集统计数据执行基于直方图的强度标准化，从而使得相似值的像素能够与相关组织类型相关联。此外，我们对每个系列执行随机数据增强，包括平移、水平翻转、缩放以及围绕体积中心旋转±10度的轻微旋转。对于在轴向和冠状方向上捕获的体积，我们对体积应用了额外的随机旋转，旋转角度为90度的倍数。最后，所有图像在进入网络之前都被调整大小至256 x 256。

除了数据增强之外，我们还实施了过采样来补偿数据集的不平衡。对于每个病理，我们从训练集中选择少数类样本（允许重复），并对它们进行增强，直到少数类样本的数量（连同它们的增强副本）等于多数类样本的数量。

我们使用标准的交叉熵损失（Goodfellow等人，2016年）训练ELNet。优化可以通过对相关超参数进行简单的网格搜索来完成，例如学习率、多层归一化的选择、BlurPool核大小、dropout率等。

3. 实验

3.1. 数据集

MRNet数据集。MRNet数据集包含了斯坦福大学医学中心进行的1,370例膝关节MRI检查。每个病例根据是否存在前交叉韧带（ACL）撕裂、半月板撕裂或其他相应膝关节异常的迹象进行标记。每次检查随机分配到训练集、验证集或测试集（Bien等人，2018年）。需要注意的是，每次检查可能包含多个标签（例如，一次检查被标记为异常和ACL撕裂阳性，除了表示ACL撕裂外，还表明其他形式的异常）。

提供的数据集包括每个病例对应的轴向、冠状和矢状MRI采集。正如Bien等人所报告的那样。本数据集选择了矢状T2加权序列、冠状T1加权序列和轴向质子密度加权序列。每张图像的大小为256 x 256，切片数量在17-61之间（平均31，标准差7.97）。MRNet数据集目前是最大的公开标记膝部MRI数据集。

KneeMRI。克罗地亚里雅各斯临床医院中心Stagiduhar等人收集的KneeMRI数据集包含917次检查，标记了相应膝部ACL条件。对于每次检查，韧带状况被分类为健康（690次检查，75.2%）、部分受伤（172次检查，18.8%）或完全破裂（55次检查，6%）。每次评估对应一个T1加权矢状MRI序列，包含320 x 320或290 x300图像。每个序列中的图像数量在21-45之间（平均31，标准差2.27）。数据集被分为10个层，分布相似，我们进行分层抽样以进行评估。

3.2. 训练

MRNet数据集。在MRNet数据集中，我们为每次检查提供了三种成像方向。对于这三种病变，我们训练了三个独立的ELNet模型，其中K=4，并且网络权重通过选择0-4之间的最佳随机种子（He等人，2015）均匀初始化。基于实验，我们选择了冠状图像来检测半月板撕裂，以及轴向图像来检测ACL撕裂和异常。对比度归一化在检测半月板撕裂方面取得了最佳结果，而层归一化用于检测ACL撕裂和异常情况（注意所选多切片归一化与图像模态之间的对应关系）。每个模型都使用Adam训练，学习率在1e-5到3e-5之间，共训练了200个周期，大约需要1.5小时（Kingma和Ba，2014）。

膝关节MRI数据集，在膝关节MRI数据集上，我们使用八中的十进行五折交叉验证，其余两进行验证。与MRNet数据集类似，我们使用SGD+Momentum训练一个ELNet，K=2，共训练了200个周期，每个周期的训练时间大约为一小时（Sutskever等人，2013）。

在这里插入图片描述

表2：MRNet和ELNet在MRNet验证集上的评估统计

通过选择K=2和K=4的ELNet架构，我们训练的模型分别涉及53,178个和211,314个可训练参数。与AlexNet（约6100万个可训练参数）相比，ELNet（K=4）包含的参数数量少了288倍。与MRNet相比，ELNet（K=4）包含的参数少了866倍，而ELNet（K=2）包含的参数少了1147倍。每个训练模型都使用标准的PyTorch格式保存，模型大小分别为K=4的850kB和K=2的435kB。我们的模型代码提供在：https://github.com/mxtsai/ELNet。我们的实验是在NVIDIA GTX 1070 8GB GPU上进行的。

3.3. 评估

MRNet数据集。我们使用MRNet数据集提供的验证集来评估ELNet的性能（由于测试集未公开可用），并将其与Bien等人提出的和训练的MRNet模型进行比较。尽管他们主要使用ROC-AUC来评估他们的模型，但我们通过考虑同样重要的额外指标进行了更彻底的分析，如敏感性和Matthew相关系数（MCC）。评估结果在表2中呈现，ROC曲线绘制在图3(a-c)中，我们可以明显观察到ELNet模型的MCC更高。

膝关节MRI数据集。我们使用5折交叉验证方案在ACL检测损伤中评估ELNet的性能。5折后的评估指标显示在图3(d-g)中；我们在每个指标中用红色突出显示最低值。在原始论文中，Staqduhar等人训练了一个SVM，并使用10折交叉验证报告了0.894的AUC。Bien等人使用预训练的MRNet对特定的训练/验证/测试集进行了分割，并报告了0.911的AUC。在我们的实验中，我们从5折中获得了平均AUC为0.913，其中三折超过了0.92，最高的是0.924。此外，我们观察到多个性能指标在折之间仅有轻微的变化；这证明了我们的模型即使在数据有限和分布高度不平衡的情况下也具有鲁棒性。

3.4. 消融研究

本节旨在比较当多切片归一化和Blur-Pool被批量归一化（Ioffe和Szegedy，2015）以及最大池化替换时ELNet的性能。目标是MRNet数据集中呈现的三种病理，并列出了修改后的ELNet设计下的最佳结果，见表3。由于批量归一化对特征每个通道引入了不希望的标准化

在这里插入图片描述

图3：MRNet数据集：(a-c) ELNet与MRNet ROC膝部MRI数据集的比较：(d) 通过5折交叉验证获得的ELNet ROC曲线：(e) 5折交叉验证后的ELNet指标

在这里插入图片描述

表3：当使用批量归一化和最大池化替换多切片归一化和模糊池化时，ELNet性能的比较。每个ELNet配置中表现最佳的模型（每种病理各一个）在所有切片上的ROC-AUC和MCC

特征提取器（旨在提取每片特征）将不再独立处理每片，性能下降被认为是合理的。根据我们的实验，很明显批量归一化的使用加剧了ELNet的性能。实际上，我们观察到在训练过程中10-15个周期后网络出现了分歧。令我们惊讶的是，与批量归一化和模糊池化的ELNet相比，带有批量归一化和最大池化的ELNet表现出略微改善的性能，但当模糊池化与预期的多切片归一化结合使用时，我们观察到与最大池化相比整体性能有所提高。

3.5. 模型解释

为了理解ELNet如何识别诊断所需的某些属性，我们使用FullGrad算法计算了ELNet的全梯度表示（Srinivas和Fleuret，2019）。FullGrad生成了一个热图，对应于输入中最影响输出预测的部分。从概念上讲，生成的热图在指示损伤的区域应该是“更热的”，而在其他地方应该是“更冷的”。

为了验证ELNet是否确实基于给定采集中的特征进行诊断，我们从五个交叉验证分割中随机选择一个，并评估了该分割下训练有素的ELNet。验证集的样本从两个类别中随机选取，共有9例包含ACL撕裂，7例不包含。一位拥有17年经验的板认证MSK放射科医师被要求在给定序列中识别最具信息量的切片（撕裂所在面积最多的切片），并进一步指出与ACL损伤相对应的（最具信息量）切片中的区域。相同的任务也在训练有素的ELNet上执行，在包含ACL撕裂的9例中，训练有素的ELNet预测最具信息量的切片和撕裂区域与放射科医师评估一致的有8例。在7例ACL完整的情况下，我们的模型预测与放射科医师评估完全匹配。在图4中，我们展示了生成的热图的几个示例。

4. 结论

在这里插入图片描述

图4：顶部：包含ACL撕裂的样本MRI切片。底部：使用上述切片计算的全梯度可视化。“更热”的区域表示含有ACL撕裂的区域。

在这项工作中，我们介绍了ELNet，这是一种针对膝关节损伤检测优化的独特CNN架构。多切片归一化和BlurPool操作的结合使得ELNet模型保持轻量级（约0.2M参数，需要单个成像堆栈，从头开始训练），同时在与MRNet模型相比时表现更佳（约183M参数，需要三个成像堆栈，预训练的AlexNet）在MRNet数据集上。在KneeMRI数据集上的交叉验证已经证明与ELNet模型的一致性改进的穿孔性能，证明了该架构对高度不平衡分布的鲁棒性。在临床环境中，当大量案例等待评估时，我们的算法可用于分诊，提高工作流程效率。此外，通过让我们的算法定位含有撕裂的区域，放射科医生可以通过首先呈现每个案例中最重要的切片来受益。

未来的工作可能包括通过结合所有三个MRI体积（轴向、冠状和矢状）的性能增强，如果可用的话。还需要进一步研究以促进在不同扫描仪上获取具有各种强度尺度的MRI数据时应用训练有素的模型的应用。鉴于迄今为止的有希望的发现，我们相信ELNet可能作为未来涉及膝部损伤分诊工作的坚实基础。


原文地址：https://blog.csdn.net/qq_44537267/article/details/142985771

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024