在脑影像分割领域，张立箎课题组发表的论文为One-Shot Traumatic Brain Segmentation with Adversarial Training and Uncertainty Rectification[1]。颅脑创伤（traumatic brain injuries, TBI）指的是因为外力作用于头颅及其内容物而引起的大脑损伤。随着现代放射学影像技术的发展，磁共振成像（magnetic resonance imaging, MRI）等技术已经被广泛应用于颅脑创伤患者的诊断、治疗与预后。然而，影像学分析需要事先获取与意识水平相关脑区的分割信息，以此实现对患者的脑损伤及意识水平评估。在实际临床工作中，我们往往只能获取到少量的标注图像，大量颅脑创伤患者的MR图像并没有得到相关标注。为了解决上述关于颅脑创伤患者脑区分割中数据不足的问题，课题组提出了一种基于对抗训练与不确定性校正的单样本（one-shot）分割算法。该算法在现有的基于学习变换的单样本分割（one-shot segmentation based on learned transformations, OSSLT）算法的基础上，通过在数据增强中引入对抗训练以提升数据扩增的多样性和分割算法的稳健性，并通过不确定性校正减轻数据扩增时颅脑创伤患者脑影像中存在的血肿、占位等因素对脑区标注的影响。该方法在合作单位上海华山医院的颅脑创伤患者脑MR数据集上进行了验证，其对比同类算法取得了最优的性能。该论文的源代码已

在网上开源发布：https://github.com/hsiangyuzhao/TBIOneShot

图 1 引入对抗训练与不确定性校正策略的单样本重型颅脑创伤影像分割方法

在医学图像生成方向，张立箎课题组发表的论文为Alias-Free Co-Modulated Network for Cross-Modality Synthesis and Super-Resolution of MR Images[2]。针对提高现有的MRI成像质量的临床需求，目前已经有大量面向跨模态合成（CMS）、超分辨率（SR）及跨模态超分辨率（CMSR）任务的算法研究。大多数针对CMS任务的研究都是通过模态不变和一致的高频细节实现在不同模态之间的模态转换，而针对SR和CMSR任务的研究通常被设计为应用于3D模型构建的重建算法。然而上述工作存在两个主要局限性问题：一方面，这些工作局限于特定领域，无法灵活地转换到其他任务应用中。另一方面，在这些生成网络往往无法处理图像中的高频细节信息，以此导致不自然的细节甚至混叠伪影。为了灵活地完成CMS，SR及其组合任务，课题组提出全新的MR影像生成方法AFCM（Alias-Free Co-Modulated Network），能够同时实现对目标影像的多种生成任务。首先，该方法构建了联合调制（co-modulation）策略，其将基于风格的调制与图像条件和位置编码相结合，以确保这些任务之间的一致性。该策略还通过使用连续的位置嵌入在任意位置重构切片，实现了更灵活的SR。此外，AFCM方法在生成器中的离散算子进行了重新设计，使其在Shannon-Nyquist信号处理框架下保证无混叠（alias-free）。该方法在MRI图像跨模态合成、超分辨率、以及跨模态超分辨率任务上均取得最佳性能，体现出AFCM在不同任务上的灵活性和优越性。该论文的源代码已在网上开源发布：https://github.com/zhiyuns/AFCM。

图 2 基于抗混叠联合调制（AFCM）的MR图像重建算法

在脑影像分析方向，张立箎团队共发表了两篇论文。其中第一篇为Learnable Subdivision Graph Neural Network for Functional Brain Network Analysis and Interpretable Cognitive Disorder Diagnosis[3]。大脑的不同功能配置，也被称为“大脑状态”，反映了一系列连续的大脑认知活动。这些不同的大脑状态赋予了大脑网络丰富多样的功能。最近的研究表明，从脑功能网络中提取信息有利于脑神经科学的分析以及相应的大脑疾病诊断。与此同时，图神经网络（GNN）也被证明在学习脑网络表示（brain network representation）方面具有优势，且广泛的应用于脑网络分析中。然而，这些基于GNN的方法很少关注大脑网络的异质性，特别是由内在大脑状态引起的大脑网络功能方面的异质信息。为解决上述关于脑网络异质功能信息提取方面存在的难题，该论文提出了一种用于脑网络分析的可学习细分图神经网络（LSGNN）。该方法的核心思想是实现一种可学习的细分策略，将大脑网络编码到与功能状态相对应的多个潜在特征子空间，并分别在每个子空间下实现大脑网络的特征提取。此外，考虑到大脑状态之间复杂的相互作用，该论文提出的方法还利用自注意力机制在联合潜在空间中获得全面的大脑网络表示信息，最终实现在认知障碍疾病上的诊断及相应的可解释分析。该论文的源代码已在网上开源发布：https://github.com/haijunkenan/LSGNN。

图 3 LSGNN框架概述，该框架由用于可学习细分功能嵌入的FSB模块以及用于综合脑网络表示的FAB模块组成

张立箎团队在脑影像分析领域发表的第二篇论文为FE-STGNN: Spatio-Temporal Graph Neural Network with Functional and Effective Connectivity Fusion for MCI Diagnosis[4]。大脑连接模式，如功能连接（FC）和有效连接（EC），描述了大脑网络中复杂的时空动态相互作用，这能够应用于轻度认知障碍（MCI）的诊断中。目前主要的功能连接方法基于统计依赖性，通常根据相关性进行评估，而有效连接通常关注大脑区域之间的定向因果影响。因此，功能连接和有效连接互补信息的全面整合可以进一步提取表征大脑异常的重要生物标志物。为此该论文提出了一种具有动态功能连接和有效连接融合的时空图神经网络（FE-STGNN），其首先构建了动态的功能连接和有效连接网络，将功能性脑网络编码为多个图。然后，利用空间图卷积处理空间结构特征和时间动态特征。最后，该方法还设计了基于位置编码的交叉注意力机制，利用有效连接在时间进化过程中的因果联系来指导功能连接网络的融合。该论文提出的方法在轻度认知障碍疾病诊断任务上达到了目前领先的性能，其源代码已在网上开源发布：https://github.com/haijunkenan/FE-STGNN。

图 4 FE-STGNN模型图解。（a）是所提出方法的总体框架。（b）从红色节点的角度描述了动态功能连接和有效连接网络的空间图卷积的详细过程。（c）描述了功能连接如何在有效连接的指导下基于注意力机制聚合信息。

在骨关节影像分析领域，张立箎研究团队发表的论文为CAS-Net: Cross-view Aligned Segmentation by Graph Representation of Knees[5]。该论文提出了一种称为CAS-Net新的框架,目的是从临床常规的多视图2D MRI图像生成3D膝关节组织的分割。MRI在临床检查膝关节时起到了重要作用，但3D成像需要长时间扫描，而多视图2D扫描可以较快得到足够细节信息。然而，如何充分利用多视图2D图像获取3D分割至今仍是一个挑战。CAS-Net框架首先通过深度学习方法对多视图2D图像进行超分辨率重建，并将其统一到等距3D空间。然后，该方法基于图表示法提取位于关节之间的多视图图块信息，并以此构建包含节点和边的膝关节图表示网络。随后，CAS-Net利用基于图的卷积神经网络对每个图块进行分割，最后通过节点连接将其组合成3D分割结果。在OAI数据集上进行实验验证时，CAS-Net仅使用矢状位分割标注就能从多视图2D图像中生成平均86.0%的3D膝关节分割准确率，在骨组织上区域的分割性能优于使用完整3D图像标注训练的分割模型。实验结果证明CAS-Net通过基于多视图间的一致性信息实现了从临床2D到能用于复杂分析的3D分割，并展示出该新框架在医学图像分析领域的重要应用潜力。

图 5 多视图对齐分割网络(CAS-Net)的整体框架，主要包括两个部分：(1) 膝关节图表示构建，包含将多视图2D扫描进行超分辨率重建为3D体积过程，并用膝关节图（Graph）进行表示。(2) 基于图的分割网络，它对膝关节图上的图块进行分割以得到3D分割结果。

在医学病理图像生成方向，张立箎团队发表的论文为CellGAN: Conditional Cervical Cell Synthesis for Augmenting Cytopathological Image Classification[6]。宫颈细胞病理学自动筛查模型通常需要大量、多样且类别平衡的标注数据进行训练。然而由于存在医疗数据隐私保护强和专家标注成本高等原因，在临床实际中难以构造高质量的标注数据集。针对这一行业痛点，该论文提出CellGAN生成模型，其通过生成式的数据增强方案来解决标注数据稀缺的难题。在建模过程中，该论文主要针对细胞病理学图像生成任务中的三点挑战提出了对应的设计思路：第一，数据增强需求源于标注数据的稀缺，但在数据稀的情况下也难以训练出高质量的生成模型。对此，CellGAN采用轻量级的FastGAN作为主干网络，保证少样本图像生成的训练稳定。第二，不同类别的细胞之间存在形态差异，但部分细胞类别之间差异细微、不易区分。对此，CellGAN生成器引入类别映射网络（Class Mapping Network）来完成细胞类别条件的多尺度调控，实现细胞类别特征的精准建模。第三，宫颈细胞在细胞病理学图像中的空间分布完全随机，细胞之间存在相隔很远、紧挨一起、互相重叠等复杂情况。对此，CellGAN在生成器中构造了跃层全局上下文模块（Skip-layer Global Context Module），将低尺度特征图的全局上下文信息融合到较高尺度的特征图中，实现细胞复杂空间关系的精准建模。在生成图像质量评估实验中，CellGAN生成的宫颈细胞病理学图像质量超过了BigGAN和Latent Diffusion Model等SOTA生成模型。在数据增强效果评估实验中，该论文证明了CellGAN生成数据对不同架构的筛查模型都能起到有效的性能增强作用。该论文的源代码

已在网上开源发布：https://github.com/ZhenrongShen/CellGAN。

图 6 用于病理图像重建任务的CellGAN方法框架，可实现对多种宫颈病变细胞和正常鳞状上皮细胞的图像生成工作。

在医学病理图像诊断方向，张立箎团队发表的论文为Robust Cervical Abnormal Cell Detection via Distillation from Local-Scale Consistency Refinement [7]。高效的计算机辅助诊断系统在宫颈异常筛查中的应用对于其检测宫颈病变异常及促进早期治疗至关重要。然而，由于细胞学家在标注训练样本时存在主观差异，检测性能往往受到训练数据集中噪声样本的影响。此外，现有的检测方法往往忽略了细胞间的视觉特征相关性信息，而这些信息对于细胞检测十分重要。为解决这些问题，该论文提出了一种基于局部尺度一致性的蒸馏策略优化的宫颈异常细胞检测方法。该方法基于RetinaNet模型检测出前K个可疑细胞，并提取对应的感兴趣区域（ROI）特征。然后，利用预训练的Patch Correction Network获取局部尺度特征和分类得分，并对这些可疑细胞的检测得分进行修正。该论文同时提出了一个分类排序损失函数，并基于分类得分实现蒸馏学习以减小噪声标签对检测模型造成的影响。此外，该论文还设计了一个提取ROI特征和局部尺度特征之间的感兴趣区域-相关性一致性损失函数，并利用相关性信息优化检测网络。实验证明该蒸馏方法能够在推理过程中能够显著增强宫颈异常细胞检测的性能，与目前最先进的检测方法相比展现出了优越性。该论文的源代码已在网上开源发布：https://github.com/feimanman/Cervical-Abnormal-Cell-Detection。

图 7 基于局部尺度一致性的蒸馏框架，通过基于PCN构件测分类网络，实现对宫颈病变细胞检测模型的优化工作，并有效提升其检测性能。

论文信息

1. Xiangyu Zhao, Zhenrong Shen, Dongdong Chen, Sheng Wang, Zixu Zhuang, Qian Wang, Lichi Zhang*, “One-Shot Traumatic Brain Segmentation with Adversarial Training and Uncertainty Rectification,” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023 (early accept).

2. Zhiyun Song, Xin Wang, Xiangyu Zhao, Sheng Wang, Zhenrong Shen, Zixu Zhuang, Mengjun Liu, Qian Wang, Lichi Zhang*, “Alias-Free Co-Modulated Network for Cross-Modality Synthesis and Super-Resolution of MR Images,” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023 (early accept).

3. Dongdong Chen, Mengjun Liu, Zhenrong Shen, Xiangyu Zhao, Qian Wang, and Lichi Zhang*, “Learnable Subdivision Graph Neural Network for Functional Brain Network Analysis and Interpretable Cognitive Disorder Diagnosis,” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

4. Dongdong Chen, and Lichi Zhang*, “FE-STGNN: Spatio-Temporal Graph Neural Network with Functional and Effective Connectivity Fusion for MCI Diagnosis,” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023.

5. Zhenrong Shen, Maosong Cao, Sheng Wang, Lichi Zhang, Qian Wang*, “CellGAN: Conditional Cervical Cell Synthesis for Augmenting Cytopathological Image Classification,” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023 (early accept).

6. Zixu Zhuang, Xin Wang, Sheng Wang, Zhenrong Shen, Xiangyu Zhao, Mengjun Liu, Zhong Xue, Dinggang Shen, Lichi Zhang*, Qian Wang*, “CAS-Net: Cross-View Aligned Segmentation by Graph Representation of Knees,” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023

7. Manman Fei, Xin Zhang, Maosong Cao, Zhenrong Shen, Xiangyu Zhao, Zhiyun Song, Qian Wang, Lichi Zhang*, “Robust Cervical Abnormal Cell Detection via Distillation from Local-Scale Consistency Refinement,” in International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2023