广元市建设局官方网站,郑州网站优化公司价位,深圳做电商平台网站建设,建设网站的新闻文献速递#xff1a;生成对抗网络医学影像中的应用—— CG-3DSRGAN#xff1a;用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络
本周给大家分享文献的主题是生成对抗网络#xff08;Generative adversarial networks, GANs#xff09;在医学影像中的应用。文献…文献速递生成对抗网络医学影像中的应用—— CG-3DSRGAN用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络
本周给大家分享文献的主题是生成对抗网络Generative adversarial networks, GANs在医学影像中的应用。文献的研究内容包括同模态影像生成、跨模态影像生成、GAN在分类和分割方面的应用等。生成对抗网络与其他方法相比展示出了优越的数据生成能力使它们在医学图像应用中广受欢迎。这些特性引起了医学成像领域研究人员的浓厚兴趣导致这些技术在各种传统和新颖应用中迅速实施如图像重建、分割、检测、分类和跨模态合成。
01
文献速递介绍
正电子发射断层扫描PET是一种超灵敏且非侵入性的分子成像技术已成为肿瘤学 和神经学 的主要工具。与磁共振MR和计算机断层扫描CT等其他成像方式相比PET能够通过向体内注射放射性示踪剂成像活体组织的功能特性并检测器官内与疾病相关的功能活动 。不幸的是用于PET成像的注射放射性示踪剂对患者产生的电离辐射剂量限制了其应用 。根据示踪剂的剂量水平重建的PET图像可以分为标准剂量sPET和低剂量PETlPET图像。与lPET相比sPET图像具有更高的信噪比SNR、更多的结构特征和更优的整体图像质量。然而sPET将不可避免地导致高累积辐射暴露。受这些挑战的激励人们已经在图像分析方法上取得了进展旨在在保持低注射剂量的同时从lPET图像中恢复sPET图像。
基于卷积神经网络CNN的深度学习方法在医学图像分析相关任务中取得了巨大成功例如自动肿瘤分割和分类 。研究人员还使用深度学习从lPET图像中恢复sPET图像 。Xiang等人 结合了多个CNN模块采用自动上下文策略通过多次迭代估计sPET他们采用了膨胀内核的U-Net架构来增加感受野。不幸的是CNN中的池化层用于减少特征图的空间分辨率这可能导致信息丢失和细节丢失例如边缘和纹理。为了解决这些挑战研究人员尝试使用生成对抗网络GAN通过扩展网络并配备一个鉴别器来区分真/合成图像以保留结构细节。Bi等人 开发了多通道GAN以从相应的CT扫描和肿瘤标签合成高质量PET。通过使用条件GAN模型和对抗性训练策略Wang等人能够从低剂量PET恢复全剂量PET图像 。然而基于GAN的方法在恢复高维细节如上下文信息和临床意义的纹理特征如图像的强度值方面存在困难。这主要是因为这些方法没有探索sPET和lPET图像之间的空间相关性。为了克服GAN引起的伪影第二阶段的细化是纠正前一阶段造成的映射误差的理想方式。受这一未满足需求的启发我们精心设计了一个超分辨率网络 - Contextual-Net目标是重建更多的上下文细节以使精制的合成PET与真实的sPET空间对齐。
任务驱动策略在医学图像分析领域已经被积极研究 。基本上任务驱动的方法引入
Title
题目
CG-3DSRGAN: A classification guided 3D generative adversarial network for image quality recovery from low-dose PET images
CG-3DSRGAN用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络
Abstract
摘要
Positron emission tomography (PET) is the most sensitive molecular imaging modality routinely applied in our modern healthcare. High radioactivity caused by the injected tracer dose is a major concern in PET imaging and limits its clinical applications. However, reducing the dose leads to inadequate image quality for diagnostic practice. Motivated by**the need to produce high quality images with minimum ‘low dose’, convolutional neural networks (CNNs) based methods have been developed for high quality PET synthesis from its low dose counterparts. Previous CNNs-based studies usually directly map low-dose PET into features space without consideration of different dose reduction level. In this study, a novel approach named CG-3DSRGAN (Classification-Guided Generative Adversarial Network with Super Resolution Refinement) is presented. Specifically, a multi-tasking coarse generator, guided by a classification head, allows for a more comprehensive understanding of the noise-level features present in the low-dose data, resulting in improved image synthesis. Moreover, to recover spatial details of standard PET, an auxiliary super resolution network – Contextual-Net – is proposed as a second stage training to narrow the gap between coarse prediction and standard PET. We compared our method to the state-of-the-art methods on whole-body PET with different dose reduction factors (DRF). Experiments demonstrate our method can outperform others on all DRF.
正电子发射断层扫描PET是我们现代医疗中常用的最敏感的分子成像方式。由注射的示踪剂剂量引起的高放射性是PET成像的一个主要问题限制了其临床应用。然而减少剂量会导致诊断实践中图像质量不足。基于需要使用最低“低剂量”产生高质量图像的动机基于卷积神经网络CNNs的方法已经被开发出来用于从低剂量PET合成高质量PET。以往基于CNN的研究通常直接将低剂量PET映射到特征空间而没有考虑不同的剂量减少级别。在这项研究中提出了一个名为CG-3DSRGAN分类引导的具有超分辨率细化的生成对抗网络的新方法。具体来说一个由分类头引导的多任务粗生成器使我们能够更全面地理解低剂量数据中存在的噪声级特征从而改善图像合成。此外为了恢复标准PET的空间细节提出了一个辅助超分辨率网络 - Contextual-Net - 作为第二阶段训练以缩小粗预测与标准PET之间的差距。我们将我们的方法与不同剂量减少因素DRF的全身PET的最新方法进行了比较。实验表明我们的方法可以在所有DRF上胜过其他方法。
Methods
方法
In total, 90 patients from three centers (30 CT-MR prostate pairs/center) underwent treatment using volumetric modulated arc therapy for prostate cancer (PCa) (60 Gy in 20 fractions). T2 MRI images were acquired in addition to computed tomography (CT) images for treatment planning. The DL model was a 2D supervised conditional generative adversarial network (Pix2Pix). Patient images underwent preprocessing steps, including nonrigid registration. Seven different supervised models were trained, incorporating patients from one, two, or three centers. Each model was trained on 24 CT-MR prostate pairs. A generic model was trained using patients from all three centers. To compare sCT and CT, the mean absolute error in Hounsfield units was calculated for the entire pelvis, prostate, bladder, rectum, and bones. For dose analysis, mean dose differences of D99% for CTV, V95% for PTV, Dmax for rectum and bladder, and 3D gamma analysis (local, 1%/1mm) were calculated from CT and sCT. Furthermore, Wilcoxon tests were performed to compare the image and dose results obtained with the generic model to those with the other trained models.
总共有90名患者来自三个中心每个中心30对CT-MR前列腺图像对接受了体积调制弧放射疗法治疗前列腺癌60 Gy分20次。除了用于治疗规划的计算机断层扫描CT图像外还获取了T2磁共振成像MRI图像。深度学习模型是一个2D监督条件生成对抗网络Pix2Pix。患者图像经过预处理步骤包括非刚性配准。共训练了七个不同的监督模型包括来自一个、两个或三个中心的患者。每个模型都是在24对CT-MR前列腺图像上进行训练的。使用来自所有三个中心的患者进行了通用模型的训练。为了比较sCT和CT计算了在Hounsfield单位中的整个骨盆、前列腺、膀胱、直肠和骨骼的平均绝对误差。对于剂量分析从CT和sCT计算了CTV的D99%的平均剂量差异PTV的V95%直肠和膀胱的Dmax以及3D伽马分析局部1%/1mm。此外进行了Wilcoxon检验以比较通用模型与其他训练模型获得的图像和剂量结果
**Conclusions **
结论
In this work, we proposed a novel high quality PET synthesis model – Classification-guided 3D super resolution GAN. Our results demonstrated the proposed method has optimal performance on standard PET synthesis from lPET quantitively and qualitatively compared to other existing state of-the-art. As future work, we will investigate the use of residual estimation that can further improve synthesis sPET quality by minimizing the distribution gap between prediction and ground truth. Self-supervised pre-training strategy may also further improve the model representation.
在这项工作中我们提出了一个新颖的高质量PET合成模型——分类引导的3D超分辨率生成对抗网络GAN。我们的结果表明与现有的最先进技术相比所提出的方法在从lPET合成标准PET方面在定量和定性上都具有最优性能。作为未来的工作我们将研究使用残差估计这可以通过最小化预测与真实值之间的分布差距进一步提高合成sPET的质量。自监督的预训练策略也可能进一步提高模型的表现。
Figure
图 Figure 1. The workflow of proposed CG-3DSRGAN.
图1. 所提出的CG-3DSRGAN的工作流程。 Figure 2. Visualization Results of synthetic sPET from four methods on DRF 100 dataset.
图2. 四种方法在DRF 100数据集上合成sPET的可视化结果。
Table
表 TABLE I. quantitaice compapison results (mean with standard deviation)of the imafes synthesized by different methods for different methods for different drfs
表I. 不同DRFS下不同方法合成图像的定量比较结果均值及标准偏差 TABLE II.quantitative comparison results of different variants of CG-3DSRGAN
表II.CG-3DSRGAN不同变体的定量比较结果
