医疗设备公司的网站怎么做,广州软件开发外包公司,做网站的电脑,wordpress seo优化插件Loss odyssey in medical image segmentation
github#xff1a;https://github.com/JunMa11/SegLossOdyssey 这篇文章回顾了医学图像分割中的20种不同的损失函数#xff0c;旨在回答#xff1a;对于医学图像分割任务#xff0c;我们应该选择哪种损失函数#xff1f;
首…Loss odyssey in medical image segmentation
githubhttps://github.com/JunMa11/SegLossOdyssey 这篇文章回顾了医学图像分割中的20种不同的损失函数旨在回答对于医学图像分割任务我们应该选择哪种损失函数
首先是一张各类分割函数的图谱 介绍函数之前先定义字母符号的含义 分别代表分割结果和GT代表里面的每个体素N是一张图片体素数量C是类别
损失函数分为四类即分布不匹配区域、边界或它们的某种组合。 1. Distribution-based Loss
基于分布的损失函数旨在最小化两个分布之间的不相似性。以交叉熵cross entropy为代表。
1.1. Cross entropy 对于CNN模型可以写为 加权版——Weighted cross entropy (WCE)2015 一般和类别占得比例成反比本文实验中使用类别比例的倒数。另一种使用加权交叉熵的方式是根据GT对每个像素加权。 1.2. TopK loss2016 t∈ (0, 1]是个阈值也就是说容易分类的像素点概率t被忽略了另一个实现版本 本文实验中k10% 1.3. Focal loss2018 通过减少已经分好类的样本的损失来关注困难样本可以处理前景背景类别不平衡的情况。原始论文中给出γ2表现最好。 1.4. Distance map penalized cross entropy loss (DPCE) 具体地通过取GT的距离变换的逆来生成Dc。通过这种方式可以为边界上的像素分配更大的权重。
DPCE损失通过从GT掩码导出的距离图来加权交叉熵。它旨在引导网络将重点放在难以分割的边界区域。 2. Region-based Loss
基于区域的损失函数旨在最小化GT和预测S之间的不匹配或最大化两者的重叠区域。最有代表性的是Dice loss。
2.1. Sensitivity-specificity loss2015 将特异性加权得更高来解决类别失衡问题。w控制敏感性和特异性的平衡。 2.2. Dice loss2016
有两个变体 直接优化Dice Similarity Coefficient (DSC)。与加权交叉熵不同Dice损失不需要对不平衡分割任务进行类重新加权。 2.3. IoU (Jaccard) loss2016 和Dice loss很相似也是直接优化目标类别的分割指标。 2.4. Lovász loss
定义类c ∈ C的像素误差 与IoU损失类似Lovasz损失也是直接优化Jaccard指数但它使用了不同的替代策略。特别地IoU损失也称为软Jaccard简单地用softmax概率代替Jaccard索引中的分割while Lovász loss uses a piecewise linear convex surrogate to the IoU loss based on the Lovász extension of submodular set functions。 2.5. Tversky loss 这个是改进的Dice loss旨在得到更好的P、R的平衡强调错误的负类样本。αβ是超参数控制false negatives and false positives的平衡。 2.6. Generalized Dice loss is used to provide invariance to different label set properties.用于为不同的标签集属性提供不变性。
这个损失函数是多类别Dice loss的扩展每个类别的权重与标签频率成反比。 2.7. Focal Tversky loss γ∈[1, 3]。把focal loss用在Tversky loss上使得困难样本概率低。 2.8. Asymmetric similarity loss 原始论文中β1.5。当αβ1时变为Tversky loss的一个特例。
Dice loss可以被视为准确度和召回率的调和平均值它对假阳性FP和假阴性FN的权重相等。Asymmetric similarity loss的动机是通过引入加权参数β来更好地调整FPs和FNs的权重并在精度和召回率之间实现更好的平衡。 2.9. Penalty loss k is a non-negative penalty coefficient. When k 0, pGD is equivalent to generalized Dice. When k 0, pGD gives additional weights to false positives and false negatives. In the original paper (Su et al., 2019), k 2.5 corresponds the best performance. 3. Boundary-based Loss
基于边界的损失函数相对比较新旨在最小化预测S和GT之间的距离。
3.1. Boundary (BD) loss2019,2021
有两种不同的框架来计算两个边界之间的距离。一种是微分框架它将边界曲线上每个点的运动计算为沿曲线法线的速度。另一种是积分框架通过计算两个边界的失配区域之间的界面上的积分来近似距离。微分框架不能直接用作网络softmax输出的损失因为它是不可微分的。为了以微分的方式计算两个边界之间的距离Boundary (BD) loss 使用积分框架来公式化边界失这可以避免涉及边界曲线点的局部微分计算。 3.2. Hausdorff Distance (HD) loss
Hausdorff Distance (HD)距离是一种基于边界的度量广泛用于评估分割方法。然而在训练过程中直接最小化HD是难以解决的并可能导致训练不稳定。为了解决这个问题HD可以通过GT距离变换来近似。网络可以通过以下HD损失功能进行训练以减少HD dG and dS分别是GT和预测分割的距离变换地图。距离变换计算了每个像素与对象边界之间的最短距离。
上面这两种边界损失用于训练神经网络时应与基于区域的损失例如Dice loss相结合以减少训练的不稳定性。 4. Compound Loss
混合损失是上面这些损失函数的加权。
4.1. Combo loss 4.2. Exponential Logarithmic loss (ELL) 对Dice损失和交叉熵损失进行指数和对数变换。通过这种方式可以迫使网络在本质上更多地关注不太准确预测的结构。
4.3. Dice loss with focal loss 4.4. Dice loss with TopK loss 此外文章还提到了有其他方法一笔带过未列出公式。 实验
3D U-Net数据增强Adam
三种损失函数在训练过程中需要额外的调度策略Lova´sz loss, boundaries loss, and Hausdorff distance loss。对于 Lova´sz loss, 原论文作者建议先用交叉熵优化然后用Lova´sz loss微调对于 boundary loss 和 Hausdorff distance loss 应该和 Dice loss 结合使用 α, β 0。对于边界损失Kervadec et al.2019建议使用Dice损失来主导初始训练从而稳定训练过程快速获得合理的初始分割。具体来说他们最初设置权重β1−α和α1并在每个epoch后将α减少0.01直到达到0.01的值。对于Hausdorff距离损失Karimi和Salcudean2020将α设置为基于HD的损失项的平均值与DSC损失项的均值之比并且β1。最近的一项实证研究Ma et al.2020表明实施细节会对绩效产生显著影响。在我们的实验中我们首先用Dice损失对网络进行训练然后用建议的调度策略对BD损失和HD损失进行微调因为我们发现这种训练技巧可以获得稳健的训练过程并给出最佳性能。所有其他17个损失函数都可以在训练期间以即插即用的方式使用而无需任何特定的调度技巧。 在四个分割数据集评估包括balanced and imbalanced foreground-background, binary and multi-class segmentation. 类别平衡的、不平衡的、二分类的多分类的都包括了。
数据集情况 评估指标Dice similarity coefficient 和 Normalized Surface Distance (NSD) 实验结果 1. Single segmentation task
1.1. Mildly imbalanced segmentation Mildly imbalanced segmentation结果只看liver数据集上的结果。
大多数损失函数17/20在DSC高于0.90的情况下获得高度准确的结果。
DiceTopK损失获得最佳DSC和NSD而pGDice损失获得最低DSCTopK损耗在DSC和NSD中都获得最低的性能。
图2显示TopK loss 和 pGDice loss方差比较大。图3是失败示例显示TopK loss 和 pGDice loss倾向于过度分割。
1.2. Highly imbalanced tumor segmentation 看liver tumor数据集上的结果。DiceHDDiceBD表现比较好。加权交叉熵表现不好。
1.3. Highly imbalanced organ segmentation DiceFocal loss表现最好交叉熵不好。
1.4. Multi-class segmentation with both mildly and highly imbalanced labels 研究包含轻度和高度不平衡标签的多类分割任务
DiceFocal loss, DiceHD loss, and DiceTopK loss表现好 2. Different variants of TopK loss 除了liver数据集其他的k10%效果比较好但是liver数据集需要90%作者分析的原因是liver数据集在训练期间仅使用10%的像素对于肝脏是不够的因为肝脏非常大最大的腹部器官。然而在这项工作中我们主要关注标签不平衡的任务。因此我们选择TopK-10%的损失作为默认的TopK损失因为它在具有挑战性的分割任务中获得了更好的性能。
所以应该就是说标签不平衡的比较严重的话k小一些否则就大一些。 3. Different variants of Dice loss 4. Rank Results
作者自己设计了一套排序规则具体看原文吧然后给这些指标排序
