1. 网站地图
  2. 设为首页
  3. 关于我们


小样本弱标签医学影像数据深度学习方 法研究

发布时间:2023-03-21 10:41
摘 要 I
ABSTRACT II
第一章 绪论 1
1.1研究背景与意义 1
1.2医学影像检测方法研究现状与存在问题 3
1.2.1国内外研究现状 3
1.2.2存在的问题及本文解决方法 4
1.3基于小样本弱标签数据深度学习方法研究现状与存在问题 5
1.3.1国内外研究现状 5
1.3.2存在的问题及本文解决方法 6
1.4本文技术路线 8
1.5论文主要工作及章节安排 8
第二章 基于改进特征金字塔网络的深度学习乳腺癌检测方法 ... 9
2.1基于卷积神经网络的目标检测技术及方法 9
2.1.1卷积神经网络基本结构 9
2.1.2基于区域卷积神经网络的目标检测算法 12
2.2基于乳腺CT医学影像检测方法研究 14
2.2.1基于深度学习乳腺医学影像特征提取方法 15
2.2.2基于区域卷积神经网络医学影像检测方法 18
2.2.3基于改进特征金字塔结构的乳腺医学影像检测方法 24
2.3DDSM 乳腺影像数据集实验结果与分析 28
2.3.1数据集简介及实验环境配置 28
2.3.2数据预处理及参数优化 33
2.3.3实验结果比较及分析 35
2.4本章小结 39
第三章 基于迁移学习小样本弱标签数据难样本挖掘方法 41
3.1小样本弱标签数据迁移学习方法 41
3.1.1迁移学习技术及方法 41
3.1.2基于迁移学习的一阶段目标检测网络结构 43
3.1.3基于二次迁移学习的小样本乳腺癌检测模型 44
3.2基于难样本挖掘机制的乳腺癌影像检测方法 46
3.2.1难样本挖掘机制 47
3.2.2基于难样本挖掘机制改进的检测网络结构 52
3.2.3基于难样本挖掘及二次迁移学习的网络结构 50
3.3BREAST MRI 乳腺影像数据集实验结果与分析 56
3.3.1数据集简介及实验环境配置 56
3.3.2数据预处理及参数优化 57
3.3.3实验结果比较及分析 58
3.4本章小结 63
第四章 结论与展望 64
4.1研究内容总结 64
4.2进一步研究展望 65
参考文献 66
在学期间的研究成果 71
致 谢 72
第一章 绪论
1.1研究背景与意义
当下社会科技进步迅速,经济迅猛发展,生活水平逐步提升,但与此同时也 在身体中逐渐埋下了癌症的安全隐患。根据《临床医学癌症杂志 2019 年版》[1] 显示,截至目前为止乳腺癌、肺癌、结直肠癌与前列腺癌仍为死亡率最高的四大 癌症。其中,男性中死亡率占据主要位置的癌症依次是肺癌、前列腺癌和结肠直 肠癌,而导致女性死亡率中主要位置的癌症依次是肺癌、乳腺癌和结直肠癌。其 发病率占所有病例的 43%~50%。在乳腺癌的患病比例上,其可占到所有女性病 例的 30%。
乳腺癌具有多种患病病因,根据研究表明性别和年龄为产生癌变主要因素, 女性一直是高发病人群,在0~24 岁时发病率较低,25岁后发病患癌几率开始升 高,50 岁到 54 岁时达到峰值,在该年龄段发病也更不易医治[2]。除年龄和性别 的影响外,先天家族遗传也是发病因素之一。若家族第一代直系亲属中有患乳腺 癌的病例存在,则自身也具有较高的患病风险。在癌症最终确诊之前,正常细胞 癌变化初步阶段大约需要 5 到 10 年之久,而当细胞形成恶性癌细胞,引发各类 并发症更是需要10 到20 年之久。而尽早地在癌症的初期阶段发现癌症隐患,并 通过养成合理健康的生活方式,保持良好饮食和运动习惯来增强自身细胞的癌变 抵抗力,可以将乳腺癌的平均治愈率提高到近 90%,并在早期遏制住细胞癌变过 程[3]。
当前医疗手段中,乳腺医学影像的观察手段可以分为乳腺CT医学影像、彩 色超声检查、乳腺核磁共振(Magnetic Resonance Imaging, MRI)影像等。CT医学 影像具有很高的清晰度,分辨率和对比度,能比较准确地展示出乳腺影像中的良 性结节区域和恶性病变区域,从而快速定位并诊断出乳腺癌,甚至对于临床无法 及时诊断出的模糊病灶区域进行有效区分,排除癌症隐患[4]。彩色超声检查能够 观测到检测区域的三维影像,覆盖面广,对于细小的易活动结节部分能够精准定 位患病区域[5]。乳腺核磁共振MRI影像近年来应用较广,相对CT影像,核磁共 振影像优势在于治疗后的复发隐患排查,且影像更清晰,能更明显地观察到病变 部位的具体情况[6],但核磁共振影像单次成本较高,环境要求更为苛刻,临床诊 断过程中若出现疑似患病区域且CT影像及超声影像难以检测时,则可通过MRI 核磁共振影像进一步地排查。对于确诊后进行过手术及化疗患者,还可以通过核 磁共振检查对术前术后恢复工作进行观察。因此,如何合理有效地分析不同医学 影像中的相关信息并给出正确判断尤为重要,而计算机技术的发展对医疗诊断的 推进起着重要作用。
自深度学习技术爆发式发展以来,深度学习已发展成为诸多先进技术应用领 域的基础,如自动驾驶汽车、人脸识别检测、艺术品自动生成等[7]。且随着图形 图像数据的大批量产生,结合深度学习技术合理有效地利用图像数据完成目标检 测及分割任务,并用来预测和定位医学影像中病灶区域位置具有很高的研究前景。 医学影像检测及分割在生活中应用可以分为两方面。
一方面,在计算机辅助诊断领域具有十分广泛的应用价值。随着成像技术和 计算机运算能力的日渐提升,医学图像辅助诊断系统可以很大程度上帮助医生理 解医学图像的部分细节,辅助医生及时诊断和分析病情,如内部器官病变的生理 信息,外伤导致的骨折骨裂,恶性肿瘤导致的癌症等[8]。医生通过专业知识和临 床经验审阅不同类型的医学影像,可以初步应对病情做出诊断方案。然而人为观 察影像诊断费时费力,并且随着医学成像技术的提升,每日需要医生用肉眼诊断 的医学影像数量逐渐增多,久而久之会产生视觉疲劳,降低效率导致误诊风险。 计算机辅助诊断系统(CAD)的使用可以减轻医生日常诊断压力,为医生高效地提 供初步治疗方案,辅助提高诊断效率。
另一方面,在医学影像对疾病预测方向具备较高的研究价值。基于临床信息 和专业医学知识,准确地诊断出病症并对症下药是及时发现与治疗疾病的关键[9]。 通过对影像中患病区域的病理结构和动态变化的分析,推测出存在的致病因素, 以此推断隐含的病症诱发机理及发展趋势,最终缩小诊断范围,以便更快地给出 诊断结果以及相应的治疗措施。当前,主要预测信息来源是医学成像设备的输出 图像,通过生成影像观察其多维度信息,能够多角度了解病患的生理结构和状态 改变,并直观地发现疑似肿瘤部位和真实肿瘤区域间的差异性和近似性,从而为 肿瘤的良恶性判断和癌症的准确诊断提供更全面的解释。
目前医学影像检测过程中,有着许多不可避免的问题,如病人检测结果呈现 假阳性和假阴性,辅助诊断系统将难以区分,而目前成像技术也没有很好的辨别 办法。医生在分析医学影像过程中,针对假性诊断结果也很难区分,尤其在比较 细小和特征不具常规性的患病区域[10]。结合深度学习技术检测医学影像,可以在 一定程度上避免人工诊断中的疏漏,预测出病症存在的隐患并提高诊断的准确率。 随着计算机图形处理单元(GPU)运算能力的提升,计算机诊断医学影像正逐渐替 代人工检测,并在检测准确率上有赶超趋势[11]。因此在乳腺医学影像的诊断系统 中融合癌症隐患预测的研究对临床实践具有重要意义,针对该方面研究,本文主 要对乳腺 CT 医学影像及 MRI 影像两类数据的癌症检测方法进行研究和分析,
最终构建数字病理图像自动分析系统。
1.2医学影像检测方法研究现状与存在问题
现阶段大部分医疗机构中人工诊断癌症影像仍是主要的技术手段,但受人为 主观因素等影响,仍需客观评价标准评判诊断结果。因此,研究人员便通过计算 机目标检测算法与医学影像融合构建辅助诊断医疗系统,作为协助医生诊断的工 具,其一可有效的作为一部分参考因素排除隐患,其二可以节约医疗资源、节省 时间,提高医生诊断效率。
1.2.1国内外研究现状
现阶段目标检测技术通过物体形状、色彩空间、纹理等手工设计特征或提取 目标语义特征进行相关病症检测,因此医学影像检测算法可分为以下两大类:基 于传统特征提取算法的检测方法、基于神经网络模型的特征自提取检测方法。其 中,传统特征提取算法主要根据医生的诊断经验,基于人工设计特征规范对患病 区域检测;神经网络模型的检测算法主要分为监督学习类、半监督学习类以及无 监督学习类,现阶段应用最为广泛的是监督学习类,根据带有病灶区域标记的大 量数据集训练得到网络检测模型。传统特征提取算法设计特征更加依赖于医学专 业经验,且泛用性不强,往往只针对当下任务处理效果较好;而基于神经网络模 型的检测方法在实际应用中很难获得大量带有医学标注的数据,对未标记数据进 行标注依然需要专业支撑,且模型训练过程计算开销较高,对计算机设备硬件配 置要求较高。因此,传统特征提取算法一般应用于数据规模较小,且数据特征不 复杂的任务中;神经网络模型一般应用于具备大量带标记数据集,且需要泛化应 用范围的任务中。
在传统特征提取算法上,针对乳腺 CT 医学影像,钙化点和乳腺肿块是癌症 隐患的重要表征,在处理过程中利用图像分割技术划分出癌症的病灶区域,同时 借助特征评判标准判断肿瘤的良性恶性为主要手段。在乳腺 CT 医学影像传统图 像处理算法上,为了提高算法性能, Akila K 等人提出了基于直方图均衡化对乳 腺 X 光影像间接对比度增强的预处理方法,并通过峰值信噪比等方法检测出分 割性能有所提升[12]。 Zhengyou L 等人提出了一种提出了基于图像增强方法与小 波融合的图像增强方法,较好地增强低像素、不清晰的乳腺 CT 影像患病区域, 使图像检测任务的可行性进一步提高[13]。 Tomislav M. STOJIC 则提出了一种基于 多重分形图像的增强方法,结合组织病变区域边缘局部对比度进一步提高治疗效 果[14]。为了充分利用钙化点信息去分析癌症隐患,针对钙化点分割的方法有如基 于测地线活动轮廓技术的微钙化分割方法[15],基于像素比率能量的小尺寸钙化斑 点分割技术[16],基于计算机集群纹理特征的良恶性钙化点分割方法[17],基于 Gabor 小波特征的孤立性钙化点的分割方法等[18]。虽然以上传统特征提取算法在 钙化点的处理上,能够更好地分析出数据单方面特性,并得出很好的增强与分割 效果,但是往往提取的特征较为单一,不具备泛化性。而结合不同病理特性的混 合检测算法相对效果能够更为优秀,其中主要是指基于深度学习框架的检测方法。
深度学习技术的迅猛发展得益于大数据环境及硬件性能的提升,其中,最为 重要的分支为卷积神经网络。卷积神经网络通过多层网络结构学习并提取图像中 的浅层特征,逐步形成高层的抽象特征,结合了传统特征提取算法中只提取显性 特征的过程,并从数据中自动提取隐性特征,挖掘图像中包含的本质特性。卷积 神经网络具有稀疏连接和参数共享等特性,能够更好地适应经过平移、翻转、缩 放等图像变换操作。因此,广大研究者基于以上特点,将卷积神经网络应用于不 易处理的乳腺医学影像检测算法中。
乳腺 CT 影像处理方法中,一般分为检测与分割两类任务,为了提高乳腺影 响的边缘检测效果使癌症检测准确率提高, Xie W 等人基于脉冲耦合神经网络模 型的实现乳腺特异性和质量边缘检测,结合水平集演化的初始轮廓分割出影像患 病区域,且达到良好的分割效果[I9】,Vikhe P S等人采用分段线性算子及小波变 换增强去除干扰区域,将背景与主体很好地分割开,从而降低了复杂环境下的影 响,提高了数据质量可供深度学习方法更好地训练[20], Kashyap 等人针对低对比 度乳腺CT影像分割过渡及不足的问题,基于聚类分析自动分割和检测乳腺图像 患病区域[21]。
1.2.2存在的问题及本文解决方法
通过上文对相关文献分析,当前研究中主要通过传统特征提取算法做为数据 预处理,并结合调整深度神经网络模型来实现医学影像检测,使用深度神经网络 模型的自学习特点可以很好地检测出乳腺癌影像中病灶区域的隐性特征。但是仍 然存在一定的问题。
当前医学影像检测深度学习算法在数据样本量充足或目标之间特征信息较 为清晰时检测效果较好;但是,当检测任务训练数据不充分以及当检测图像中目 标样本标记不明确时会产生漏检误检问题,其部分原因在于原始检测模型中对训 练数据特征学习不充分,而医学影像往往数据特征不易学习和区分,因此模型难 以解决相应患病目标的检测工作,导致整体任务检测精度下降。同时由于目标图 像的检测易受背景和图像质量的影响,会降低目标中的隐患部位检测的精确率, 从而导致癌症预测的精确率不高。
针对该问题,本文提出了一种基于改进特征金字塔结构的深度学习乳腺 CT 影像检测算法。首先,跟据DDSM乳腺CT影像数据集的特性,结合数据预处理 算法,根据单个数据的多尺度特征增强并扩展数据集。通过扩展后数据集对 Mask R-CNN 模型进行训练。在训练过程中,改进特征金字塔结构在原高层特征融合 路径的基础上,在网络结构中进一步融合低层特征,通过对数据特征的不同尺度 信息获取,可以有效解决数据质量不高,关键信息不明显等导致的模型检测精度 低,检测目标位置及类别不匹配等问题,从而提高检测模型平均检测精度。
1.3基于小样本弱标签数据深度学习方法研究现状与存在问题
与一般常规获取的图像数据集不同,由于医学影像存在一定的获取难度,且 数据量往往较少,相应病灶区域标记需要具备专业医学知识,从而导致基于小规 模数据训练的深度神经网络模型难以达到预期效果,在有限数据及有限标注信息 的环境下,模型检测易出现过拟合问题。使用迁移学习方法训练网络模型可以有 效避免该问题,在预训练模型基础上微调模型参数,并迁移部分固定网络层,可 使模型更快地适合相应检测任务。因此,对具备小样本弱标签特性的医学影像检 测引入迁移学习方法具有一定研究意义和研究价值。
1.3.1国内外研究现状 现阶段国内外研究中主要针对数据样本数量较少及数据样本不均衡两方面
进行研究:
针对数据量较少的问题,Jiao Zhichengl22]等人结合形成病变的全局和局部信 息设计了基于深度特征的乳腺肿块检测分类任务框架,经过训练卷积神经网络从 原始图像中自动提取的浅层和深层特征,结合原图作为三层不同的特征联合分析 诊断,并达到较好的性能。在这种框架下,可以有效地对病变进行良恶性的分类。
Spanhol[23 ]等人提出结合深层特征评估方法改进卷积神经网络,针对将先前训练 的卷积网络用作特征向量,将其用作仅针对新分类任务训练的分类器输入,开发 了适用于恶性乳腺肿瘤的自检系统。陈思文[24]等人采取了五种边界增强算法对数 据影响进行扩增,分别经过线性、非线性对比度拉伸、直方图均衡化、直方图阈 值化以及自适应对比度增强算法处理数据,在图像分类模块使用AlexNet网络模 型进行分类任务。将五种算法用于提高AlexNet模型检测准确度,最终,通过绘 制 ROC 曲线计算敏感度、特异度、精确度参数评价精度,得到了较好的检测结 果。类似的Suzuki S[25]等人对照在自然图像上实施的深度卷积神经网络识别算法, 将其应用于医学领域的图像检测中,为解决高质量医学数据集很难大规模获取的 问题,作者采用迁移学习的策略,以 Alexnet 网络作为预训练模型,将模型最后 分类阶段类别划为正常区域和病变区域,微调了最后的两个全连接层,和直观地 扩充数据方法相比,该方法通过结合源数据域和目标数据域的相近特征微调参数, 进一步提高了在计算机辅助诊断系统中更好地结合深层卷积网络模型的可能性。 Mohammed A.Al-masni[26 ]等人提出了一种基于区域深度学习技术的计算机辅助 诊断系统,迁移乳腺癌影像检测任务应用至 YOLO 检测网络框架中。该方法在 模型训练阶段,通过滑动窗口在特征图上得到不同尺度和宽高比的候选框,并对 每个候选框给予相应置信度,再采用全连接层预测候选框的位置和类别,该方法 能检测出隐含在细胞组织和肌肉下的病变组织区域,进一步提高了乳腺影像检测 算法的准确率和检测速度。
针对数据样本间比例不均衡的问题,LIU Xiao-mingl27]等人基于迁移学习方 法,以自适应支持向量机作为分类器,针对乳腺医学影像中恶性肿瘤覆盖的正样 本和结构紊乱产生的负样本提取多种特征,使样本数量少的紊乱图像识别率提高。 Chu Jinghui[28]等人利用多层迁移学习方法在乳腺CT影像训练得到的卷积神经网 络中,微调最高一层网络节点,设计两层全连接层,使迁移后检测网络可以应用 到其他类别医学影像中。Samala R K[29]等人提出了一种分层的路径演化方法来压 缩深度卷积神经网络(DCNN),对乳腺医学影像进行分类。目的是在保持分类精 度的同时修剪可调参数的数量。在第一阶段的迁移学习中,使用了来自CT影像 中肿块部分扩大感兴趣区域,在ImageNet数据集上训练了预训练的DCNN。在 第二阶段的转移学习中,将 DCNN 用作特征提取器,然后进行特征选择和随机 森林分类。该方法为其他适合迁移学习的近似任务提供了很好的优化神经网络结 构的思路。徐一舫[30]等人主要基于当前深度学习目标检测模型完成乳腺肿瘤任务 进行了研究,分析了 R-CNN、SPPNet、Fast R-CNN、Faster R-CNN 算法的原理。 收集并增强了相关数据集。对比R-CNN系列模型在同一图像及相同测试集中检 测耗时和检测精度,为后续目标检测模型在医学影像检测领域的泛化能力与鲁棒 性进行了验证,证实了该类模型适用于相关乳腺病变影像的检测任务中。
1.3.2存在的问题及本文解决方法
根据上文国内外现状的分析,当前研究中采用迁移学习方法处理小样本弱标 签数据是主要研究方向,通过模型迁移学习得到在大数据训练得到的预训练模型, 在指定数据训练深度神经网络模型使其能够处理小规模医学影像数据集,同时可 以节约收集数据以及分析数据特性的时间。基于迁移学习有效解决了样本量不足 造成的模型训练效果不佳,但是仍然存在一定的问题。主要可以归纳为以下问题:
当前迁移学习医学影像检测模型在处理源域与迁移域数据特征近似的任务 上效果较好;但是,往往迁移学习模型大多为在自然图像中训练得到的,与医学 数据在高层语义和低层纹理特征上相差较多,初始化参数权重的进一步更新较为 复杂,其部分原因在于当前迁移学习算法的局限性,参数更新效率与数据域及模 型复杂程度成正比,且样本数量的不均衡也导致了迁移效果的降低。
针对该问题,本文提出了一种基于难样本挖掘和迁移学习的方法,结合乳腺 CT 影像训练得到可以实现该部分影像检测任务的预训练模型,在此基础上,初 始化该部分权重参数,采用二次迁移学习,以小样本弱标签 MRI 数据集为输入 进一步训练更新参数;同时引入难样本挖掘机制,对数据样本量小而产生的不均 衡数据样本调整其正负样本比例,对产生的难负样本进行筛选,使检测模型更倾 向于难样本的检测,从而使改进模型能够更好地获取数据信息,对小样本弱标签 数据训练效果进一步提升。
1.4本文技术路线
本文整体技术路线图如图1-1所示,主要为前半部Mask R-CNN网络结构中 特征提取部分的特征金字塔网络结构,对应第二章研究内容,其分别为特征提取 及特征融合;后半部分主要是由兴趣区域层构成的特征筛选部分,对应第三章研 究内容,其中样本输出结果由训练过程中样本损失值决定。
 
图 1-1 本文整体技术路线图
 
本文主要根据特征金字塔结构中的特征融合过程,构建多尺度特征融合路径, 从而改进原始检测模型,对上下层特征的结合;随后在特征筛选部分,构建共享 参数的兴趣区域网络,对输入为初始样本的网络得到的损失值判断当前样本是否 为难样本,并送到输入为难样本的网络中,从而提升网络模型对于难样本训练比 重;同时,初始化参数权重由预训练模型迁移得到,主要对当前网络训练效率进 行优化。
1.5论文主要工作及章节安排
本文内容结构安排如下:
第一章主要介绍了本文的研究背景及意义,分别描述了医学影像检测传统方 法与深度学习方法和小样本弱标签数据特性医学影像检测算法的国内外研究现 状及存在问题,最后给出了本文写作内容的安排结构。
第二章提出了一种基于改进特征金字塔结构的目标检测算法。本章主要分析 了特征提取网络的基本结构以及区域卷积神经网络模型的检测算法,最后给出了 改进特征金字塔结构的算法流程及网络层设计,同时以乳腺CT影像作为测试集 与现阶段目标检测模型进行对比,验证了本章方法的有效性。
第三章提出了一种基于难样本挖掘算法及迁移学习的目标检测方法。本章主 要介绍了在图像数据样本量少且正负样本不均衡的前提下迁移学习方法以及难 样本挖掘算法对于检测网络的改进,最后构建小样本弱标签乳腺 MRI 数据集, 通过实验对比当前检测模型与改进方法在测试数据上的检测精度。
第四章对全文进行总结,并分析了本文算法的优缺点以及给出进一步改进的 方向。
第二章 基于改进特征金字塔网络的深度学习乳腺癌检测
方法
基于深度学习目标检测模型是筛查乳腺医学影像是否含有病灶区域的一种 有效方式,且近几年随着医学影像数据的增多,模型检测效果有了显著提升。合 理有效地收集训练数据集并构建相关任务的网络模型结构是目前技术的关键,能 够准确地检测出医学影像中显性及隐性的病灶点具有重要作用。因此,本章将围 绕卷积神经网络在物体分类领域的应用、区域卷积神经网络的特征提取算法以及 结合乳腺CT数据集进行癌症检测展开讨论,并给出一种基于改进特征金字塔网 络的深度学习乳腺癌检测新方法。
2.1基于卷积神经网络的目标检测技术及方法
2.1.1卷积神经网络基本结构
卷积神经网络思想来源于人大脑视觉神经的分布,科研人员结合神经元之间 的传播机制构建网络模型结构。典型的卷积神经网络,属于前向传播网络,以神 经网络为基础发展演变而来。卷积神经网络可分解为卷积层、池化层、全连接层, 激活层, Dropout 过程等结构[31]。同时其具备三大特性,分别是多层网络的局部 连接,共享卷积核权值,空间维度下采样。这使得卷积神经网络可以避免数据的 冗余,避免神经网络大量参数造成的过多运算量,从而更好更快地从图像中提取 目标相应特征。
(1)卷积层
卷积层是卷积神经网络主要构成部分。图像首先转换为矩阵形式输入至卷积 层,它由一组参数可变的滤波器(卷积核)组成,卷积核一般由二维矩阵构成,在 随后卷积核处理输入图像时还要确定卷积核填充值(Padding),卷积步长(Stride), 卷积核深度(depth)三个参数。
具体操作为:输入特征图,根据输入尺寸进行Padding填充操作,使填充后 特征图可以被卷积核尺寸与步长乘积整除,以便卷积核可以遍历所有像素;随后, 用指定深度和长宽的卷积核以步长Stride在特征图上扫描所有像素,每扫描一次, 都对当前卷积核区域与其对应的输入图像区域进行矩阵乘积运算,运算结果为该 部分提取的二维特征激活图,输入至下一层进行下一轮运算。随着卷积核操作次
 
数的增多,提取的特征更具备抽象的语义特征且更具代表性的高层特征。如图 2- 1所示为5x5特征图经过卷积操作得到3x3的输出特征图的过程。首先,对输入 进行一次零填充操作得到7x7特征图,然后,使用尺寸为3x3的卷积核,经过步 长为 2 移动覆盖每一个边缘像素后,得到输出尺寸为 3x3 的特征图。
 
 
 
 
 
 
 
 
 
 
3*3卷积操作,步长为2
图 2-1 卷积层实现过程
局部连接和参数共享是卷积层的两个重要特征。局部连接是卷积核仅与前一 层中局部特征节点相连接,而非一一对应的全连接,局部连接采用部分神经元接 受图像信息,再结合全部的图像信息,这种局部感知结构也被称为感受野,同卷 积核滤波器具有相同的尺寸。参数共享是输入图像不同位置对应的参数相同,即 使用一个卷积核在输入特征图的所有位置提取检测相同特征。因为卷积层的参数 共享,在参数前向传播阶段,输出特征图共用同一个卷积核,反向传播阶段,则 先计算每个神经元对同一特征图中生成权值的误差,并将所有误差进行相加,得 到输出特征图用于更新卷积核权值的梯度。局部连接和参数共享可显著降低神经 元的连接数,并大量减少训练过程中产生的参数。
(2)池化层
池化层是一种存在于两个相邻卷积层中间的下采样操作,基本操作与卷积层 类似,但池化层会不断地减小特征尺寸大小,降低参数量和计算量,在一定程度 上控制了过拟合现象。常见的池化层操作分为最大池化和平均池化,即取输入图
 
像每个特征区间内像素最大值和取平均值。如图 2-2 所示是一个最大池化操作, 池化层滤波器以步长为2的操作,每隔2个像素将输入特征图划分成尺寸为2x2 的输出,且每个位置上都为原图局部采样区域的最大值,最终结果减少了75%的
 
(3)激活层
在每个卷积层后,还会引入激活函数对神经网络模型增加非线性因素,该部 分被称为激活层。因为卷积层进行的是矩阵乘法和加法的线性操作,而激活层的 非线性因素可以解决线性模型不能解决的问题,以拟合更加复杂的结构。目前较 为常见的卷积神经网络激活函数有 tanh、sigmoid 和 relu 函数,三种激活函数
tanh、sigmoid 及 relu 的计算如公式 (2-1) (2-2) (2-3)所示的函数:
 
1
1 + e-x
f(x) = max (0, x)
(4)全连接层 在经过多次卷积池化和激活函数后,会生成很多高质量特征,这些特征会输 入至全连接层进行分类得到最终输出,因此全连接层一般应用在网络的最后几层。 与前几层将原始数据映射到特征空间不同,全连接层通过监督学习的方式将特征 中学习到的特征映射到标记样本空间,得到类别数目与维度相同的输出向量。全 连接层一般采用 softmax 逻辑回归得到输出分类,其中的每一个神经元都连接到 前一层的全部输出,如图 2-3为全连接层实现过程。
 
 
图 2-3 全连接层实现过程
(5)Dropout 层
在全连接层之前,当神经元数量过多,训练样本过少,模型学习能力较强时 会产生过拟合现象,而Dropout层的引入可以随机屏蔽神经网络中部分神经元降 低数量。过程即为在前向传播过程中,将当前层中部分神经元隐层节点值设置为
0,来使模型不会依赖于局部特征,泛化能力更强。测试阶段会去掉 Dropout 层
 
图 2-4 Dropout 实现过程
2.1.2基于区域卷积神经网络的目标检测算法
随着卷积神经网络在分类任务中的发展,现阶段研究者已开发出区域卷积神 经网络解决目标检测任务,目前按照算法处理流程可以分为两个类别,分别是二 阶段网络模型如R-CNN,Faster R-CNN等和一阶段网络模型如YOLO, SSD等。
 
(1)二阶段网络模型
该类模型中首先是Girshick等人提出的R-CNN目标检测框架[32],将分类网 络模型赋予搜索目标位置的功能,首先在输入图像上采用选择性搜索(Selective search)提取约2000个大小尺寸不一且可能包含物体的候选框,再用卷积神经网 络对候选框分类,然后通过线性回归筛选具有目标明显特征的输出,每个筛选出
的候选框中都会对应一个具体类别。R-CNN算法的流程如图2-5所示:
 
 
 
接着该作者于2015年结合R-CNN及SPP-Net[33]提出了 Fast R-CNN[34]网络。 Fast R-CNN 相比 R-CNN 构思精巧,流程更为紧凑,从 SVM 作为分类器换为选 取更好的 softmax 分类器,在损失函数计算上生成位置损失与类别损失,将二者 结合,使模型训练速度以及检测精度大大提高。
在Fast R-CNN中,还提出了 ROI Pooling层,其主要作用使可以把前段网络 中输入的不同大小特征映射固定到统一尺度。如图2-6所示为ROI Pooling层将 候选框均匀分成四个候选区域,每一区域分别做一次最大池化操作得到2x2尺寸 输出。这样可以使不同尺寸的输入都统一到同一尺寸,每个区域都提取出的特征
固定到同一个维度,就可再通过正常的 softmax 进行类型识别。
 
 
 
图 2-6 ROI Pooling 流程
同年作者提出了 RPN(region proposal network)替代选择性搜索算法生成候选 框,针对训练检测速度对Fast R-CNN进一步改进,提出了 Faster R-CNN[35]。将
目标检测任务中候选框的生成,卷积网络的特征提取,全连接层的分类以及对目 标位置的回归都整合到了一个网络框架中。
随着Faster R-CNN在目标检测领域取得的重大进展,Kai ming He提出了基 于Faster R-CNN改进的Mask R-CNN[36],该模型以Faster R-CNN为模板对输出
结果中每个检测目标生成一个高质量的分割掩膜。具体框架结构如图 2-7 所示:
 
图 2-7 Mask R-CNN 基本流程
(2)一阶段网络模型
尽管二阶段网络模型检测速度已经提升至秒级单位,但仍无法胜任实时检测 任务,为此,J Redmon等人提出了一阶段网络模型YOLO[37],将物体分类和物 体定位整合到一个阶段中,直接在输出层回归预测边界框。通过这种方式, yolo 可实现 45fps 的运算速度,然而最终每个网络只对应一个类别,且只在最后一个 卷积层上预测目标物体的分类和位置信息,若目标物体与环境无关物体存在遮挡 现象使还易产生误检漏检。
因此,Wei Liu 等人提出了 SSD(Single Shot Multibox Detection)目标检测框架 [38], SSD 在 YOLO 回归边界框和分类概率的方法基础上采用了多尺度特征图, 并采用了 Faster R-CNN 中不同尺度和宽高比的先验框,在每一个卷积层,都输 出不同大小感受野的特征图,并对每个特征图预测检测目标的位置信息和分类信 息,从而解决了 YOLO 在不同尺度物体检测准确率较低的问题,实现了多尺度 目标检测。
2.2基于乳腺 CT 医学影像检测方法研究
现阶段目标检测任模型一般都以处理自然图像为主要任务,其图像数据中目 标位置物体特征较为明显,各物体间区别较大,因此经过训练后模型可以更好地 在给定的图像中精确找到物体所在位置,并对当前物体类别分类。而医学影像检 测任务中的图像在日常中较为少见,检测目标易被其他背景因素干扰,且真阳性 与假阳性样本间区别较小,因此,这个问题并不容易解决,病灶区域的尺寸变化 范围很大,形态不定,易产生误检,当病灶点较小且分散时也易产生漏检。为此, 在本节内容中,结合收集到的DDSM乳腺CT医学影像数据集对Mask R-CNN 检测模型进行训练,并在训练前对数据集进行相关预处理操作,去除无关因素的 影响,同时扩充数据集为网络模型提供多尺度特征学习;在对本节特征提取网络 ResNet 及检测模型 Mask R-CNN 算法流程阐述的基础上,说明了改进特征金字 塔结构的具体实现过程。不同于特征金字塔网络结构(Feature Pyramid Networks) 采用的添加一条自顶向下的侧边连接特征融合路径[39],本文在此基础上再次构建 一条自底向上的侧边连接特征融合路径,使网络模型特征提取输入图像中高低层 特征之间的关联信息。同时,对不同层特征映射部分进行1x1卷积操作消除部分 混叠效应,并对其他网络参数进行调节。
2.2.1基于深度学习乳腺医学影像特征提取方法
深度残差网络(Deep residual network, ResNet)[40]的提出对推进CNN网络模型 的发展起着十分关键的作用, ResNet 的优势在于其解决了深层卷积神经网络模 型难训练的问题,随着神经网络的发展,从早期的16层VGGnet[41],到ResNet 发展到 101 层乃至更多,网络深度的增加,直观地提高了网络模型的性能。但是 ResNet 在提高网络深度的同时还减少了参数量,这归功于残差学习使得网络的 深度提升同时还能发挥出应有的作用。
在 ResNet 提出之前,从理论上来讲,深度神经网络通过提取特征层数的增 加,提取得到的特征具备输入图像中更为抽象的包含本质的特征,且模型对输入 图像的分类性能也就更好。但实际上模型性能的好坏并非与网络层数的增加成正 比,如图 2-8所示,随着训练迭代次数的增加, 20层的网络模型性能更好,训练 误差和测试误差率上都更低于 56 层网络模型,导致这一现象的原因是在网络模 型反向传播过程中,梯度计算随着网络层数的增加出现了梯度消失的现象。批量 归一化[42]方法的提出,在每次特征提取后,插入一层归一化处理,再进入到网络 下一层,使特征的均值为0,方差为1,从而缓解梯度消失问题。
 
 
iter. (Ie4) iter. (Ie4)
图 2-8 20 层与 56 层网络训练测试误差率
深度网络的退化在一定程度上表明了直接提升网络模型层数的操作反而使 模型不易训练。为此,ResNet中网络层之间通过残差学习可以有效解决网络模型 层数加深的性能退化问题。假设输入特征为 x 时,经过多层深度网络结构学习到 的特征表示为H(x),那么在这一过程中,输入特征和输出特征之间会产生一定变 化,这一变化量表示为F(x),其值为H(x)-x,也就是学习过程残差值。通过这种 计算残差的方式来进行网络模型学习,可以更容易获取到比H(x)的值更小的残 差值进行学习,且对模型复杂度影响不大。且当输入和输出特征残差值为 0 时, 则在网络间的特征学习过程构成特征恒等映射H(x)=x,因此,随着网络深度的增 加,特征图在传递学习过程中还可以保留有上一层的部分特性,防止了过度学习 后网络性能的退化。同时以这种方式学习特征的残差网络,在网络层加深的过程 中还可以提取到新的特征,学习性能有所提升。残差网络的结构如图 2-9 所示。
 
Relu
图 2-9 残差网络结构
 
图中残差网络结构计算如公式(2-4)(2-5)所示:
Xi+1 = h(Xi) + F(Xi,Wi)
X1+1 = xl+F(xl,wl)
其中xi和xi+i分别表示的是1和l+1层残差的输入°F(x,w)是残差学习函数, 表示当前残差单元学习到的残差,h(x)为当前网络层学习到的特征,当残差为0 产生的恒等映射h(x)=X,Xl+1是该层学习残差与恒等映射的和,作为下一层输入。 基于上式,可以通过递归推导得出从网络中任意浅层特征1到深层特征L的残差 计算,如公式(2-6)所示:
ZL—1
i F(xt,wi)
在反向传播过程中,通过链式法则,可以求得损失函数的梯度,如公式(2-7) 所示:
 
结果可分为两部分,公式中等号左侧dloss/dxl表示l层损失函数的梯度,等 号右侧与常数项1相乘得到dloSS/dXL表示该部分梯度为不经过权重层部分,即 无损传播,后半部分为经过权重层传递的残差梯度项。前者保证了传递过程可以 直接传回至浅层部分,在无损传播梯度的保障下也不会存在梯度消失现象。所以 残差学习会更容易。
当针对不同深度网络结构时,根据网络中输入尺度不同,残差学习过程会有 所区别,如短路连接,输入输出尺度相同,可以直接将二者相加。但是当尺度不 同时就不能直接相加。如图 2-10 所示,左侧为输入尺度相同的网络,右侧为输 入尺度不同的网络,有两种策略可以解决尺度不同带来的问题:一是可以采用零 填充的 padding 操作增加低维输入尺度,再通过进行一次下采样操作,这样不会 增加网络参数;二是可以采用投影快捷映射,用 1x1 的卷积提升高维输入尺度, 但会增加参数和计算量,由此得到统一尺度的输出,经过relu激活函数增加非线 性。最后,进行修改后的残差网络单元构成的残差网络,在决策层前面加了一个 全连接层,对提取特征分类,构成一个完整的特征提取残差网络。
 
 
图 2-10 两种不同残差单元结构
2.2.2基于区域卷积神经网络医学影像检测方法
本文检测模型为Mask-RCNN,特征提取阶段使用ResNetlOl作为特征提取 网络,其中,对于骨架网络,如果简单的增加网络深度通常会遇到难以解决的问 题,即梯度弥散或梯度爆炸和网络退化,即便使用正则化或者初始化,虽然能够 训练几十层的网络,但还是会出现退化问题。但残差函数解决了以上问题,能够 正常的训练深层网络,并最终完成收敛,极大的提高了网络性能。随着网络层数 的增加,图像中更多高维的特征可被提取,且越接近语义信息。
Mask R-CNN 的思路是在目标检测阶段沿用了 Faster R-CNN 的基本框架, 将候选框的生成、候选框的筛选和分类集成到一个网络中实现目标的检测阶段任 务,且结合了输入图像的多尺度特征图以更好地提取目标特征信息。但与Faster R-CNN 不同, Mask R-CNN 先是对提取出的每个候选区域输出类别信息和位置 信息,并在此基础上添加一层全卷积网络的目标分割分支,物体检测任务也就转 换为了物体检测分割任务。
Mask R-CNN 的特征提取阶段主要由两部分构成,基础网络为 ResNet 残差 网络,和在特征提取之后再进行特征类别匹配的分类网络。ResNet对特征提取有 强大的性能,而对主干网络实现进一步提升,还需引入特征金字塔结构对主干网 络进行改进,融合目标的多尺度信息,以便更好地提取特征。特征金字塔结构包 含了三个部分:自底向上的卷积路线,自顶向下的上采样路线,横向连接(lateral connection)。自底向上的路径是ResNet的前馈计算,ResNet的每组卷积特征图 比例相同,所以每组特征图均为特征金字塔结构的一个阶段(stage)。且随着网络 的加深,网络能够提取更高质量的特征图,因此采用每个阶段的最后残差块输出 作为自顶向下网络对应阶段的映射特征,从而构成一个特征金字塔。自顶而下的 路径首先用比较简单的空间分辨率对特征图进行上采样,并将特征图长宽扩增至 两倍。但是在金字塔阶段中层级较高的特征图比层级较低的拥有更多的语义信息, 所以通过横向连接将上采样特征与自底向上的特征融合,通过1X1卷积匹配特征 图的维度。在结合了两个金字塔网络之后,网络中每一级低层特征都能共享到高 层语义特征。
ResNet融合特征金字塔网络的结构图如图2-11所示,图中主干网络最终生 成的特征图P2, P3, P4, P5, P6和自底向上的卷积C2,C3,C4,C5,C6
应,由P6开始,每一层进行一次2倍上采样操作并与横向连接的下一个对应卷 积层低层特征融合,结合高层特征及低层特征。通过 RPN 网络再为特征金字塔 网络提供多尺度特征图,将其作为 ROI 池化层的输入。最后通过语义分割算法 的全卷积网络对每个ROI预测一个目标物体实例掩膜。
 
 
全卷积网络是端到端的操作,如图 2-l2 所示。在输入图像后先对图像进行 卷积和池化,不断减小特征图的尺寸;然后进行反卷积操作,增大其特征图,由 ROI生成多个特征图,最后对每一个特征图进行分类、位置回归和掩膜分割操作, 分类和位置回归由全连接层完成,分割则将特征图直接通过全卷积网络从而实现
 
Feature map
 
图 2-l2 全卷积网络结构图
 
在特征提取及融合阶段,主干网络提取的特征图如图 2-l3 所示。通过对主 干网络进行特征金字塔结构的扩展后,可以融合目标图像多个尺度上更好的特征 信息。提取到的高层特征是如物体抽象的语义特征,低层检测是如物体的纹理形 状等特征。
 
图 2-l3 特征映射图
当生成了大量如图2-13所示的特征映射图后,在RPN阶段前可以结合特征 图生成候选窗口( anchor)。候选窗口是在特征图的每一个像素位置上都生成一组 大小不同的框,每个框的面积和长宽比都为固定尺寸,但不同像素点位置上的每 组候选窗口均相同。特征图在不同网络层之间传递时,因为高层候选窗口的特征 图较小,层数越高该位置上的特征候选窗口的面积就越小。
一般情况下,会在每一个特征的每一个像素位置上生成 9个不同比例的候选 窗口,每个初阶候选窗口按照面积大小分为三种,每种又按照长宽比再分为三类。 每个候选窗口中的信息作为判定该位置是否为目标会输入至 Softmax 中进行分 类,对每个候选窗口再分配一个二进制的标签表示当前为检测目标还是其他物体。 因此,对于生成的候选窗口, RPN 网络分为了两个阶段:第一个阶段是按照标签 将当前候选窗口分类;第二阶段是将属于目标物体的候选窗口位置修正,定位目 标物体在原图像中位置。前者是分类问题,直接采用 Softmax 计算目标类别和背 景的概率进行分类,该过程中将剔除目标类别以外的特征图。后者是回归问题, 采用 SmoothL1 损失函数回归位置信息,计算过程如公式(2-8)所示,其中 x 为 RPN 中预测框与真实目标的差异值,通过在 x 接近于 O 的范围内采用可导函数 平滑处理,其可有效避免预测框和真实目标差别过大或过小导致的梯度消失或梯 度爆炸问题,能够限制梯度防止位置回归出现较大偏移。
smoothL1(x) = { 0.5; _ 旳f < 1 (2-8)
J (|x| — 0.5 otherwise ' 7
每个候选窗口在区域建议网络的两个阶段会得到候选窗口类别信息和候选 窗口的位置信息这两个输出。结合损失函数的计算,区域建议网络计算细化过程 如下。
在第一阶段的分类任务中,网络主要是训练目标和背景的分类器,以在特征 图上生成的大量候选窗口作为训练数据,根据数据集的标记信息作为候选窗口的 标签对分类器进行监督学习,在训练的过程中,候选窗口将被分为目标物体或者 背景区域两个类别。在判断候选窗口是否对应目标类别时,常用区域重叠度
IoU(Intersection over Union)作为分类指标。IoU是候选窗口与实际目标之间的重 叠部分与整体覆盖区域的比值。设Area(A)表示候选窗口所包含的区域、Area(G) 表示目标实际区域所包含的范围,如用公式(2-9)所示为IoU计算过程:
Area(A) n Area(G)
Area(A) u Area(G)
当存在多个互相重叠的候选窗口时,往往需要保留拥有较高IoU评判分值的 候选窗口,同时采用非极大值抑制(NMS)舍弃剩余分值不高的,非极大值抑制算
法的主要目的是为了消除多余的候选框,找到更为相关的目标物体检测位置信息,
然后可以得到更具代表性的候选建议区域,并参与到下一阶段任务中。
 
具体做法为当特征提取网络和分类网络生成多个目标物体所对应的候选窗 口时,先保留所有窗口,由 IoU 输出并保存每一个候选窗口及相应的类别分值, 如图2-14(a)所示。对图中所有候选窗口进行非极大值抑制算法,具体操作为:将 先前保存的所有IoU分值从高到低以此排序,然后从分值最高的候选窗口开始, 以某个设定阈值范围为界限,判断所有的候选窗口的IoU分值是否处于阈值范围 内,保留分值较高的候选窗口,舍弃剩余的IoU分值不在范围中的候选窗口。一 般情况下当一个候选窗口与任意一个真实目标边框的 IoU 分值>0.7 时,该候选 窗口为目标物体;当二者的IoU分值< 0.3时,该候选窗口为背景区域;当二者的 IoU分值在0.3至0.7之间时,这部分候选窗口将直接舍弃,不参与到分类器训 练过程中。重复以上的流程,直到对所有候选窗口都进行过一次阈值判断。采用 非极大值抑制后的候选窗口效果如图2-14(b)所示。
随后在训练过程中随机抽取多个目标物体候选窗口与多个背景区域候选窗 口。采用交叉熵损失函数计算作为模型训练的损失值指标。如公式(2-10)(2-111) 所示,其中,Lcls是交叉熵损失函数结果,Pi为候选窗口被预测为目标物体的概
 
率,其对应的实际目标概率为Pi*o
Lcis(Pi,Pi) = log [P-Pi + (1 — pt)(1 — Pi)]
JO negtive
{1 positive
在RPN网络提取特征图后的感兴趣区域池化(ROI Pooling)操作中,Faster R- CNN 中的 ROI Pooling 在逐像素预测目标时,感兴趣区域边界像素值采用了取整 的操作, Mask R-CNN 对其做了部分改动,为了避免特征在感兴趣区域与之对齐 的过程中,减少训练过程中的误差,改为采用双线性插值保留小数部分。该部分 为感兴趣区域对齐层(ROI Align), ROI Align可以实现输出与输入的像素一一对 应。因为 RPN 网络会提取大量候选窗口,然后输入 ROI Align 根据候选窗口的位 置坐标在特征图中将相应区域进行下采样池化操作转为固定尺寸的特征图,随后 输入至全连接层,对相同固定大小特征图做分类和定位。
ROI Align 这一操作是对 ROI Pooling 两次量化过程的修正,具体操作为:在 未改动前,对每一个单元的边界进行量化,将候选区域边界量化为整数点坐标值 和将量化后的边界区域池化为kxk大小的单元。经过两次量化后,此时的候选框 已经和最初回归的边框有了偏差。因此由于固定的特征图大小,无法保证输入像 素值和输出像素值是一一对应的,它们包含的信息量不同且坐标也无法和输入坐 标对应。固定的特征图大小对分类几乎没有影响,但是对图像的分割影响很大。 因此, ROI Align 则取消量化操作,使用双线性内插值的方法取代最邻近插值获 得像素点数值,其坐标由整数转为浮点数。在二维图像中的坐标像素使用最近邻 插值可以找到最接近目标的点,但是会失去图像的一些空间信息。在采用双线性 内插分别在两个方向上执行线性插值,可以有效地保留了图像空间信息。在对提 取出的特征图处理过程中,首先利用公式(2-12)(2-13)计算原特征图中的目标像素 位置:
sroX= dstX * (srcWidth/dstWidth) srcY = dstY * (srcHeigth/dstHeigth)
其中 dstX 和 dstY 是区域建议框的中像素坐标, srcX 和 srcY 是原始特征图 上目标像素的坐标,原始图像的宽度和高度分别为srcWidth和srcHeight,区域 建议框的宽度和高度分别为dstWidth和dstHeight。原始图像中目标像素通常是 浮点数,例如像素点 f(1, 2, 3, 4),首先找到该像素四邻域的四个像素(1, 3), (1, 4), (2, 3), (2, 4)o 将像素点写成 f(i+u, j+v)的形式,即 i =1, u =2, j =3, v=4。然后带入公式(2-14),公式中分别是四个坐标点对x轴和y轴方向进行的插 值。用双线性插值的方法,计算出每个单元采样点的像素值,然后对采样区域进 行最大池化。
f(i + u,j + v) =
(1 — u) * (1 — u) * f(i,j) + (1-u) *v * f(i,j + 1) + u* (1-v) (2-14)
* f(i + 1,j) + u*v*f(i + 1,j + 1)
通过 ROI Align 得出每个采样的感兴趣区域候选框,并对每个候选框进行多 任务损失来训练,包括位置回归损失Lbox,检测分类损失Lcls和掩膜分割损失 Lmask,整体损失函数公式如(2-15)所示:
L = Lds + Lbox+Lmask (2 15)
其中mask的损失函数Lmask为平均二值交叉熵损失,公式如(2-16)所示: crossentropy(t, o) = —(t * log(o) + (1 — t) * log (1 — o)) (2-16)
t 代表真实目标, o 代表网络输出,掩模分支对于每个感兴趣区域都会有一 个kxmxm维度的输出,k对应着不同的分类,每个类别独立地预测一个二值掩 膜。对于乳腺影像而言,它对应着需要分割的乳腺肿瘤区域。对于每个感兴趣区 域,首先检测其分类类别,使用该类分支的交叉熵误差作为损失值进行计算,因 此网络不需要去区分每个像素属于哪一类而是将分类任务让分类损失值处理。这 样的操作使得不同类别的目标能够分别生成具有类别属性的掩膜,且不会发生不 同种类之间的冲突。
2.2.3基于改进特征金字塔结构的乳腺医学影像检测方法
Mask R-CNN 作为现阶段功能强大的目标检测与分割网络之一,其在自然图 像的检测分割任务中表现十分出色,但将 Mask R-CNN 直接应用于乳腺癌图像 检测仍存在以下几个问题。
(1)由于乳腺医学影像的特性,面积较大的病灶区域易受背景区域影响,难以 准确定位目标位置,产生位置偏差;
(2)而对于面积较小的病灶区域,在预测过程中由于正常腺体组织的形态特 性与之相近,很多正常区域被分类为病灶区域,对网络整体学习率有一定影响, 易降低网络模型检测精度;
(3)由于部分癌症隐患区域与未患病区域特征近似,网络检测模型可能会将 癌症隐患区域误检为未患病的区域。
特征金字塔网络(FPN)在融合特征图上有较好的效果,Mask R-CNN中前端 网络应用该方法,但其中侧边连接方法是自顶向下的路径,而结果输入到 RPN 层的特征映射图只利用了上一层尺寸特征信息,利用信息较为单一,未能充分利 用其他层次信息,进而会对后续的检测结果产生一定影响。该结构在乳腺医学影 像检测任务中主要存在如下两个问题。
(1)低层特征的位置信息和高层的语义信息结合不紧密,易出现检测位置与 目标信息不匹配问题;
(2)在 FPN 输入到 RPN 的特征映射图中,只包含本层和前一层特征融合信 息,缺少对于剩余层上特征信息的利用,没能将其融合,从而导致最终检测结果 不理想。
为了解决上述问题,本文提出一种基于改进特征金字塔结构的区域卷积神经 网络乳腺癌检测方法,对原检测模型进行两部分改进,第一部分是改进其特征金 字塔网络结构,先增加一条自底向上的特征图上采样路径,构建低层特征生成高 层融合特征结构,对特征图横向连接生成新的输入,进一步融合目标图像不同尺 度的特征,提升模型的检测准确率,第二部分是在生成特征图基础上做一次卷积 操作,增强特征图非线性及消除混叠效应。利用特征金字塔结构对于低层位置信 息特征和高层语义信息特征的融合,可以对输入图像特征信息获取更充分,本文 算法流程图如图 2-15 所示。
 
 
图 2-15 本文 Mask R-CNN 算法流程图
然后,在改进 FPN 采用自底向上的反向侧边连接路径的同时,对所有层次 的特征映射图进行1X1卷积增强特征的非线性特性,将连接后的特征图分别输入 ROI Align和RPN中,对ROI Align的输出结果进行检测和回归。
如图2-16所示,以Mask R-CNN中FPN网络为基础,采取近似的结构组建, 由于原始结构中自底向上为前馈网络卷积计算是由不同尺寸残差网络模块的特 征提取图构成。因此,对于该部分特征图进行融合,其残差块为C1、C2、C3、C4、 C5,每一层残差网络中都输出不同尺寸的特征映射,同时包含有多个残差结构, 由C1中包含有1个残差结构,卷积核为7x7, C2~C5中包含由3个残差结构,卷 积核为{1x1, 3x3, 1x1},同时随着网络层数的提升,特征图深度也随之提升, 且深度提升存在规律性,因此,对该部分特征图的多尺度信息融合是可行的,其 中 P2、 P3、 P4、 P5 为原始 FPN 结构的自底向上特征融合路径,其对特征图的第 一次融合得出了输出尺寸为{16x16, 32x32, 64x64, 128x128}的结果,N2、N3、 N4、N5为改进FPN自顶向下的特征映射层,以上一层传入的特征图为基础,进 一步融合在新路径产生的特征图Ni基础上,使原始FPN结构产生的特征图Pi+1 与之进一步融合,生成新路径上的特征图Ni+1,同时右侧横向卷积操作对新特征 图处理增强非线性。
 
 
具体操作如图2-17所示。Ni经过步长为2的3x3卷积操作得到与Pi+1相同 尺寸的特征映射图,将特征映射图Pi+1横向经由1x1卷积操作,与侧边连接路径 中对应的下采样特征映射图相加,相加后再由步长为 1 的 3x3 卷积操作处理得 到新的特征融合图Ni+1,再对Ni+1进行1x1的卷积操作得到Nii+1,经过该操作可 以消除原特征图间的混叠效应,同时融合后的特征图可进一步增强其非线性特性,
从而提升训练效果,提高目标检测准确率。
Ni+1 -Conv1*1 Nii+1
Conv3*3stride=1
 
Conv3*3stnde=2
 
Ni -Conv1*b Nii
图 2-17 改进部分具体流程
在网络结构设计过程中,先对初始输入图像预处理适应特征提取网络,初步 输入尺寸为1024x1024,在第一层输入网络后进行一次卷积核大小为3x3卷积操 作,输出图像尺寸为128x128,通道数32;从第二层开始经由带有残差块的卷积 核,输出特征图尺寸为128x128,通道数量为128,之后同样进行残差网络的特 征提取,输出特征图尺寸为64x64,通道数量为256;最终特征图转换为16x16 尺寸,通道数为 1024,具体参数如表 2-1 所示。
表 2-1 网络模型参数
层名称 层类型 输出尺寸
Conv1(C1) Conv+
MaxPool 128x128x32
Conv2(C2) Conv+Residual 128x128x128
Conv3(C3) Conv+Residual 64x64x256
Conv4(C4) Conv+Residual 32x32x512
Conv5(C5) Conv+Residual 16x16x1024
16x16x256
FPN(P5~P2) Upsample+
Conv3x3 (高度宽度*2)
64x64x256
64x64x256
FPN(N2~N5) Conv1x1+
Conv3x3 (高度宽度/2)
16x16x256
64x64x256
FPN(Ni2~Ni5) Conv1x1 (高度宽度*2)
16x16x256
rpn_class 7x7x256
RPN ~ROI Align rpn_class_logits ~
rpn bbox 1x1x1024
Mask R-CNN 在前五层卷积层的输出分别对应于每个阶段的最后一个残差
网络特征图输出。随后在产生特征图的基础上,构建自顶向下的路径,其中较高 层特征进行2倍上采样,左侧对应的前一层进行一次1x1的卷积,生成和横向连 接后对应层相同的通道数,之后对两层特征映射进行像素级融合。由于融合后特 征图上采样部分和横向连接特征图叠加造成了特征不连续,生成特征混乱而产生 混叠效应,对融合特征进行一次 3x3 卷积,即特征再提取,进而保证特征稳定性, 因此,自顶向下的路径中生成特征图{P2〜P5},特征图尺寸由16x16变为64x64, 特征通道数不变。
本文在原始特征金字塔基础上提出一种在模型内部利用特征图进一步融合 多尺度特征的改进方法,即在自顶向下生成的P2~P5特征基础上,结合当前特征 图进行3x3下采样卷积操作,与前一层特征图采用相同横向连接特征融合方法生 成高层特征。模型在下采样过程中,生成了 N2~N5的特征图,尺寸为64x64到 16x16,通道数仍为256,其作为下一个卷积层组的输入,为增强其特征图非线性 特性,在此基础上,对每一层特征采用 1x1 卷积生成新特征图 Ni2〜Ni5。
与原 Mask R-CNN 模型相比,本文改进方法以原始网络层结构为基础,生成 一层新的特征融合路径,主要特征还是融合高层语义特征和低层位置信息及分类 信息特征。本文主要进行两部分改进,首先是针对第一次自顶向下特征融合产生 的特征图,采用自底向上的下采样方法进一步对特征进行融合,然后在新生成的 特征基础上增强非线性特性并消除混叠效应,将进一步优化的特征输入 RPN 及 ROI Align 等后续网络。该结构充分融合了上下层特征,使网络模型对图像特征 充分学习。
2.3DDSM 乳腺影像数据集实验结果与分析
2.3.1数据集简介及实验环境配置
(1)数据集简介
当前乳腺医学影像数据格式较多,其中CT影像应用较为广泛且应用时间较 长,其中可获取到的病灶信息也较为丰富,如乳腺肿块,钙化点,紊乱性结节等。 同时, CT 影像数据较为清晰,分辨率较高,经过预处理后图像质量变化不大, 适合作为计算机目标检测算法的数据使用。
本文实验采用的乳腺癌 CT 医学影像检测数据选取自 Digital Database for Screening Mammography(DDSM)数据库[43],该数据库由美国四家知名医院提供的 乳腺CT医学影像和相关描述文件构成,并由南弗罗里达大学收集整理完成。该 数据集主要目的是促进计算机算法开发中的研究,以帮助进行筛选数据,数据库 的次要目的是可以开发有助于医学诊断的算法及辅助工具,为医学工作者的诊断 及科研工作者的算法研究提供数据支持。该数据库包含大约 2500 个研究项目。 每个项目包括乳腺的两幅图像,以及一些相关的患者信息(研究时的年龄, ACR 乳腺密度分级,异常的细微分级,ACR异常的关键词描述)和图像信息(扫描图像, 空间分辨率),该数据集是目前公开的最大的乳腺CT医学影像数据集,目前乳腺 癌检测的大量研究都采用该数据库。
根据数据集提供的医学影像和患者信息文件等,对数据集进行初步筛选,其 中数据主要包含有癌症(cancer)、正常(normal)、良性(benign)、恶性(malignant)等 类型数据,包含病灶区域的图像还给定了关于病灶区域位置及类型的像素级标注 信息,并结合图像病理信息附加软件标记于访问的乳腺 CT 影像中,如图 2-18所 示为单个病例中包含的不同角度乳腺 CT 影像以及含有病灶区域的标记文件。
式牛埠X珂 是新建项目▼ 首轻松访问・ 0 每打开▼ 田全部选择 訂肖
移些到复里1到删学重命名 新建 文磁 IX!
©历史记录 吕□反向选择
 
nents (E:) > data > cancers > 348 > cancer_01 > caseOOOl
 
 
 
图 2-18 单个病例文件内容
 
DDSM 数据集单个病例文件中包含有左侧头尾位、左侧斜侧位、右侧头尾 位、右侧斜侧位四个方位的乳腺 CT 影像,如图 2-19所示。每个方位的图像若包 含有病灶区域信息,则会对应一个医生手工标注的患病区域形状、轮廓和病情描 述等信息的标注文件。其中,病灶区域标注大多为癌变肿块,除此之外,可以进 行癌症预测的信息还包含有钙化点、增生结节等类型区域。
本文实验中,针对乳腺肿块形状结合病症严重程度的不同对数据进行分类, 同时加入小部分良性未患病的影像数据,以及含有钙化点的数据作为辅助类别, 用以和肿块区域区分开。乳腺肿块按形状可分为圆形、针叶形和不规则结构形等, 按边界轮廓可分为毛刺状、结构扭曲状和边界模糊状等,按肿块密度分可分为紧 密型和稀疏型。
 
 
 
如图 2-20 为带有不同形态医生标注信息的乳腺医学影像文件,按形态及对 应关系命名,首先为对应形状的图(a)为圆形肿块,图(b)为针叶状肿块,图(c)为 不规则结构形,然后对应边缘轮廓,图(d)为毛刺状,图(e)为结构扭曲状,图(f)为 边界模糊状,最后对应紧密程度,图(g)为紧密型,图(h)为稀疏型。根据不同形态 对应的癌症严重情况,通常来讲,恶性肿瘤对应的肿块往往呈发散的散射状结构, 边缘多毛刺内部肿块面积较大呈稀疏型,而良性肿瘤对应的肿块往往呈集中的规
则形状区域,边缘大多较为清晰内部肿块面积较小且呈紧密型。同时,再根据数 据中给出的癌症信息,肿瘤严重程度可分为正常未患病(normal)、良性疑似病变 (benign)、恶性病变(malignant)三种类型。为了了解放射科医师对良性肿块和恶性 肿块的描述,本章整理了如表2-2所示不同形状乳腺肿块与其良性恶性对应关系。
 
(a)圆形 (b)针叶状 (c)不规则结构 (d)毛刺状
 
 
 
(e)结构扭曲状 ⑴边界模糊状 (g)紧密型 (h)稀疏型
图 2-20 不同形状肿块对应结构
 
 
表 2-2 良恶性肿瘤与病灶区域形状对应关系
病灶形状 良性疑似 恶性 正常
针叶形 62 75
圆形 265 63
毛刺状 25 234
结构扭曲 46 138 400
边界模糊 22 70
不规则形 28 72
通过DDSM数据库提供的标注分割实例,从中选取共包含1100个含医生标 记样本和 400 个疑似患病的样本。数据中包含有良性及恶性肿块的图像为正样 本,未患病区域的正常图像为负样本,经图像几何变化与数据增强之后训练集与 测试集分配比例为80%和20%。图2-21为部分样本,(a)为恶性肿块病灶样本, (b)良性肿块病灶样本,(c)为正常无病灶的样本。
 
图 2-21 部分数据集原始图集
采用Labelme标注工具标注训练数据病灶区域位置信息、类别信息以及掩膜 (mask)信息,标注文件保存为json格式文件,json文件中包含有标注图像的目标 区域位置像素坐标,区域分割及背景文件等,标注文件及标注图像对应关系如图 2-22 所示。
 
Elements (E:) > json
图 2-22 标注与图像对应关系
(2)实验环境
本文实验是基于 Linux 操作系统 Python3.6 编程语言进行,结合 Pytorch1.x 深 度学习框架进行检测模型训练,同时基于 GTX 2080ti 显卡配置 CUDA10 及 CUDNN7.3 基础深度神经网络库训练模型,如图 2-23 所示。
 
 
图 2-23 显卡及环境配置
实验测试阶段基于 Windows 操作系统,采用 GTX 2060 显卡预测结果。同时
对实验过程进行可视化程序设计,方便操作者操作和使用。本实验使用 Tkinter
库中的按钮控件将检测出的结果输出到系统界面上,以及在输出结果中对疑似患
病及真实病变区域予以不同颜色标记框进行区分,检测软件界面如图2-24所示。
 
 
 
图 2-24 检测软件界面
 
 
2.3.2数据预处理及参数优化
图像预处理对于深度神经网络学习和分析图像信息起着重要作用,图像中很 多无关因素往往会对模型训练产生一定影响,通过一系列图像变换和增强技术消 除原始图像中的多余干扰因素,可以保留更多对指定任务有用的部分。考虑到当 前数据集中图像为灰度图像,其中主要目标外的部分背景标记和白噪声点会对训 练结果产生影响,本文在训练模型之前先对 DDSM 数据集使用合理的预处理方
法,提升训练数据的图像质量°DDSM数据集进行了如2-25所示的预处理过程。
 
翻转后去干扰标
记及边缘噪声
图 2-25 数据图像预处理过程
(1)缩放
乳腺 CT 医学影像由于采集过程中便于观察故而清晰度好,分辨率高,单幅 图像分辨率为2928x4608,在临床诊断过程中,即便将其放大数倍仍可以清晰地 观察并分析患病区域的形状、边缘和组织结构紧密程度等细节信息。但在深度学 习检测算法中处理高分辨率的图像,往往受到硬件设备及算法性能等影响,在一 定程度上影响模型训练速度。结合国内外研究学者在高质量图像中的实验结果发 现,适当缩放原始图像大小,将数据大小压缩至 350000 像素左右分辨率不会影 响模型的学习效果,对训练效果的影响也可忽略,同时可提高训练速度。本文首 先对原始数据采用 5 倍下采样,得到长宽各压缩5 倍后的数据,使像素分辨率区 间在合适的范围内,再通过线性插值算法将不同分辨率图像 resize 到 480x640 的 分辨率。如图2-26所示,(a)为原始乳腺CT医学影像,(b)为缩放后图像,通过 对比两幅图像的病理信息,数据中病灶区域的纹理边缘及形态等信息仍比较清晰。
(2)图像降噪
在经过缩放得到的 CT 医学影像数据中,在背景区域含有部分白色噪声,在 图像边缘具有一些白色毛刺状噪声,该部分区域不包含检测数据的标记信息,但
因形状和显性特征的相似性会对原始图像中发散状病灶区域的检测产生影响。针 对这一部分噪声,本文经过分析发现,白色噪声像素值大多低于 50,因此,先对 数据图像中灰度值低于 50 的像素点,调整像素值为 0,然后对图像边缘区域以 10 个像素值的大小做平滑处理,去除背景噪声和边缘白噪声后得到降噪图像如 图 2-26(c) 所示。
(3)图像翻转
因 DDSM 数据集为双侧乳腺采集图像,而双侧图像的形态结构又有所不同, 而在医学观察过程中,对双侧影像的对照分析也很重要。因此,针对每个数据图 像都进行一次水平镜像翻转操作,使单幅数据中的数据特性划分为双侧数据特性, 得到双侧的乳腺CT医学影像及其镜像图像,也在一定程度上扩充了数据,翻转 后图像如图2-26(d)所示。
(4)数据背景标记剔除
在 DDSM 数据集中,数据标注过程在图像上留有当前数据的扫描方位信息, 该部分标记灰度值较高,对病变区域的检测易产生较大影响。为了剔除当前背景 标记信息,先采用二值化将当前图像转化为二值图像,再对二值图像标记最大连 通区域,剔除其余连通区域,最终保留的结果即为仅包含乳腺目标位置的图像。 剔除背景后图像如图2-26(h)所示。
 
 
 
图 2-26 数据集预处理结果
结合实验数据训练改进 Mask R-CNN 网络模型,在网络参数设置上,卷积层 使用随机梯度下降法优化模型,并分别选取常用激活函数 relu、tanh、elu 与 sigmoid 进行对比。训练阶段,权重衰减设为 0.0003,初始迭代学习率设为 0.0003,迭代 次数 10000 时暂停训练,下调学习率为 0.0001,进一步收敛损失值。批处理参数 初步设为 3,步长系数为 8,动量因子设为 0.9,最大迭代次数为 20000 次,参数 设置如表2-3所示。
表 2-3 实验参数设置
参数名称 参数值
权重 0.0003
学习率 0.0003
迭代次数 10000
批处理量 3
步长 8
动量因子 0.9
迭代次数 20000
根据实验结果,训练效果上,sigmoid, tanh效果不佳;收敛速度上elu较relu 稍快,在损失值很接近的情况下, elu 融合 sigmoid 和 relu 的特点,具有左侧软 饱性,能够使 elu 对输入产生的变化或隐含的噪声更具鲁棒性,右侧部分与 relu 基本相同,因此 elu 同样可以缓解梯度消失,而 elu 的输出均值接近于零,相对 于relu的左侧输出全零,收敛效果更好;因此本文使用elu作为激励函数。
选取 Mask R-CNN 特征提取网络时,分别使用 ResNet50 和 ResNet101 作为 骨架网络测试特征提取网络中的检测及训练结果,初步检测结果上ResNetlOl平 均检测精度相对较高,模型复杂度最为合适,同时将改进模型与初始 Mask R- CNN 模型进行对比。
2.3.3实验结果比较及分析
实验结果检测选取了 l500 幅尺寸为 350x640 大小的 png 格式图像数据,对 原始网络模型、改进特征金字塔结构的网络模型训练,使用 300 幅含有正常及患 病的数据样本的进行模型测试。使用平均准确率均值(mean Average Precision, mAP)作为衡量训练模型精度的指标。mAP的计算涉及到很多计算参数,是深度 学习中物体检测算法准确率的一个主要衡量指标。
关于 mAP 中的参数,在物体检测中只有那些交并比大于 0.5 的才被判定是 正样本(TP)。TP表示预测结果与实际标注框保持一致的部分。负样本(FP)表示预
测结果与实际不符合。召回率(Recall)表示有多少个样本被分为正样本参与预测,
FN 表示实际标注框没有被检测到的数量。平均准确率均值和预测召回率的计算 方法见公式(2-17)(2-18)所示,随后根据精度和召回率计算精度均值(AP),如公式 (2-19)所示,再对所有AP取平均得到mAP:
TP
Precision = (2-17)
TP+ FP '丿
 
 
 
AP = I p(r)dr
0
本文检测步骤,分为获取目标图像,输入后图像预处理,预处理图像训练模
型,算法流程图如图2-27所示:
 
图 2-27 乳腺肿块检测基本流程图
首先,是对网络模型是否可以区分患病及未患病图像,实验选取两组分别含 有标记和未含有标记图像进行测试。如图 2-28 给出了样本数据在检测中的结果 对比,如图 2-28 所示为对输入图像及其进行检测的结果,首先是含有病灶区域 图像,图(a)为目标区域检测为患病图像及其分割结果,(b)为加载原始数据集标记 后图像。对疑似患病但未含有病灶区域图像进行检测(c)表示图像检测结果为负样 本图像,(d)显示原图像在数据集中不存在病灶标记。根据实验结果表明,本文方 法具有在区分检测样本是否含有明确癌症隐患上的功能。
 
 
(a)正样本图像 (b)对应标记 (c)负样本图像 (d)对应无标记
图 2-28 模型正负样本检测结果对比
 
然后,对不同骨架网络下的检测模型及本文方法进行对比,同样选取两组分 别含有标记和未含有标记图像进行测试。如图 2-29 给出了本文方法与不同检测 方法的对比结果,(a)为骨架网络ResNet-50的结果,(b)为骨架网络是ResNet-101 的结果,(c)为本文方法的检测结果。根据检测结果,三种模型在大部分数据中都 可区分检测图像是否为患病图像,但本文方法对于含病灶区域图像检测精度更高, 分割结果更贴近原始数据集中的标记,并且可以更好地对患病区域检测和对形状 进行分割。
同时在测试数据集以外的真实患者的图像中进行检测结果对比。如图 2-30 所示,图(a)为原始检测模型检测结果,图(b)为本文方法检测结果。根据测试结果, 本文方法在部分区域较小的病灶区域检测成功,漏检率有所下降。再如图 2-31 所 示,结合 MIAS 数据中获取到的真实患者影像检测结果对比分析,相比于 DDSM 数据集,该CT影像与医院真实拍摄的分辨率及细节信息更为还原。图(a)为 ResNet-50所示结果,图(b)为ResNet-101所示结果,图(c)为本文方法检测结果, 根据实验结果表明,本文方法针对测试集以外患者所拍摄的乳腺 CT 影像鲁棒性 高,且检测结果优于其他检测模型。
 
 
 
(a)ResNet-50
(b)ResNet-101
(c)本文方法
(a)ResNet-50
(b)ResNet-101
(c)本文方法
图 2-29 模型正负样本检测结果对比
(a)原始检测模型 (b)本文方法
图 2-30 模型测试集以外数据结果对比
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
图 2-31 原始分辨率真实影像结果对比
表 2-4 给出了结合不同骨架网络实验方法的对比结果,根据实验结果表明, 本文改进方法与两个原始模型相比对患病样本图像和模糊病灶图像的检测精度 提升 2.18%~3.4%,同时对模型检测时间无影响。
表 2-4 实验结果比较及分析
图像类型 算法 平均检测准确率(%) 平均运行时间(S)
Mask R-CNN
ResNet-50 7&33 15
正常患癌正样本 图像 Mask R-CNN
ResNet-101 84.47 20
本文方法 86.75 19
Mask R-CNN
ResNet-50 73.07 14
含有模糊病灶负
样本图像 Mask R-CNN
ResNet-101 82.52 22
本文方法 85.92 20
 
2.4本章小结
本章通过分析乳腺CT医学影像数据特性,提出了一种基于改进特征金字塔 网络的乳腺癌检测方法。该方法以 ResNet 作为特征提取网络提取目标图像中病 灶区域特征信息。同时基于特征金字塔网络结构,在自顶向下特征融合路径基础 上添加自底向上的特征融合操作,使各特征图间低层特征进一步融合,丰富多尺 度特征信息。同时,为消除特征融合时产生的混叠效应,本章对融合特征分别进 行两次卷积操作,提升原始算法在该阶段特征融合的充分性。实验结果表明,在 相同特征提取网络和数据集下,该方法的检测精度及速度较其他检测算法有一定 提升,在乳腺CT医学影像测试数据中的检测的平均精度相对较高。
第三章 基于迁移学习小样本弱标签数据难样本挖掘方法
基于迁移学习的网络模型是目前针对数据样本量较少的检测任务的一种有 效方式,随着数据类型的逐渐增多,其应用范围变得更加广泛。对现有网络模型 迁移部分参数权重至目标任务中,并合理有效地取得正确结果具有重要作用。因 此,本章将围绕迁移学习技术及样本数据的比例以及总数对训练效果的影响,结 合乳腺 MRI 数据集在癌症检测任务上展开讨论。并给出一种基于迁移学习及难 样本挖掘的小样本弱标签数据检测方法,针对在大数据环境下训练得到的 CT 影 像检测预训练模型,对部分参数进行微调,使其适用于小样本弱标签 MRI 数据 域。
3.1小样本弱标签数据迁移学习方法
3.1.1迁移学习技术及方法
伴随着大数据时代的到来,每天都在产生数以百万计的大量数据,这些数据 若都应用于深度学习领域则需要进行大量的标注,但短时间获得庞大数量且带标 注的数据并不现实。因此,迁移学习(Transfer Learning)理论的提出则很好的解决 了这种困境[44-46]。迁移学习的核心思想是合理地使用现阶段已具备的相关领域解 决办法去应用至其他领域的任务,这种不同领域解决方法的迁移,若操作合理可 以避免标记大量数据的问题,节约更多时间处理模型算法。目前针对源域以及目 标域间样本标注及处理任务的关系,往往可以将迁移学习任务集中在三个研究方 向上:基于特征选择的迁移学习算法研究;基于特征映射的迁移学习算法研究; 基于权重的迁移学习算法研究[47-48]。
首先,当前使用最广泛的迁移学习方法是基于目标域特征选择的迁移学习方 法研究。在完成指定任务时,往往该任务中目标领域的训练数据和源域中带标记 数据相似性很小,但二者或多或少存在一定程度上的关联性,通过合理利用这种 数据间的关联性,可以从目标领域的数据中筛选出来并整合成便于模型训练分类 的数据,结合这些数据训练得到的分类检测模型可以更好地用来解决目标域的相 关任务,适应该领域数据集。
其次,是基于特征映射的迁移学习方法研究,这种方法的主要是针对复杂的 处理条件下,因为当前数据环境下,新增数据的增长速度远高于人工数据标记速 度,每当有新领域的出现必然会产生大量无标记数据,面对未被标记过的数据, 无法合理地筛选出,第一类方法便很难适用于新领域,此时以特征为主要依据处 理问题,设计出泛用性强的形式化公式处理信息,将目标域数据匹配工作转化为 对目标函数的优化处理工作,从而能够摒弃建立新的标记数据库过程,简化迁移 学习处理流程。
最后,是基于权重的迁移学习方法研究,也是一种模型迁移学习,当出现的 源域数据和目标域数据是特征相关性较差的数据的情况时,此时则无法针对显性 的特征映射,以及合理地选取目标域来实现迁移学习效果,但卷积神经网络的特 征提取过程可以很好地挖掘出目标的隐性特征,具体做法是使用源域中的特征提 取框架迁移至目标域中进一步提取特征更新模型参数,结合不同的数据中隐含的 高层特征来完善模型,使模型框架适应解决当前目标域的相关任务。
在图像分类检测任务中,对卷积神经网络迁移学习的一般过程如图3-1所示。 在解决迁移域任务的分类检测任务之前,先使用大规模数据集作为源域(如 ImageNet )训练网络全部权重参数,得到可以对源域图像分类及检测精度较高的 预训练模型;利用已充分训练的预训练卷积神经网络,固定低层网络参数保持不 变,先从目标领域的数据中提取当前图像中的低层特征;用前一阶段提取的特征 训练卷积层,全连接层或分类器。
源域任务 迁移域任务
 
 
图 3-1 迁移学习基本流程图
经过数据集训练后的网络,会在低层网络中提取如边缘、纹理、颜色的形态 特征,即前几层都学习到的是通用特征,而高层网络会提取与目标物体相关性强 的语义信息特征,即随着网络加深,深层网络更偏重于学习特定的特征。当训练 数据足够多时,低层网络中会产生充足的低层特征信息,保留低层网络参数,进 而训练高层网络丰富语义特征是可行的。而低层网络参数冻结的层数往往受预训 练数据集和迁移域待训练数据集相关性影响,如果两个数据域差异较大,相关性 不强,那么就需要减少冻结低层网络参数,训练更多高层网络参数。而在医学影 像的训练过程中,其通用特性是可以保留的,如:颜色、形状和通道数等,而深 层特性往往综合了通用特性,即对于同一通用特性的不同物体其数据特性不同。 因此,进一步更新深层特性从而降低误检率是必要的。
3.1.2基于迁移学习的一阶段目标检测网络结构
最新的图像分割模型中提出了 YOLACT[49]网络模型,与Mask R-CNN在 Faster R-CNN 改动不同,它摒弃了二阶段模型中隐含的特征定位步骤,将图像分 割任务分为两个并行分支。 YOLACT 在现有的一阶段模型基础上添加原型 mask 分支和目标检测分支,其改进后有三个优点:速度快,由于采用了并行结构与轻 量化的组合方式,使其在一阶段检测网络的基础上只增加少量计算量,在主干网 络为ResNet-101+FPN的情况下达到30FPS;分割mask质量高,由于没有使用 二阶段检测方法中的池化操作使得可以获得无损失的特征信息,并且在大目标的 分割场景下性能表现更优秀;模块通用化,模型中原型生成与 mask 系数可以添 加到现有的检测网络中去。
YOLACT 网络结构中去除了特征池化操作。取而代之的是将整个任务划分 为了两个并行的子任务:
(1)原型网络分支,使用FCN的网络结构去生成原型mask,如图3-2所示, 特征金字塔网络结构生成的其中特征映射 P3 经过一组全卷积网络结构,先经过 一层3x3卷积,后经过一层1x1卷积,再经过上采样生成k个尺寸为138x138的 原型,其中k为mask系数;
 
(2)目标检测分支,该分支对每个候选框(anchor)去预测mask的系数,如公 式(3-1)所示:其中4个表示候选框信息,c表示类别系数,k为原型网络生成的 mask系数,经过mask分支与原型mask做线性运算从而结合两个分支的结果可 以确定预测目标的位置信息和mask信息;最后,在对所有目标生成相应mask系 数后,与原型mask做线性加乘运算,再根据候选框进行裁剪,类别进行阈值筛 选,即得到每个目标相应的mask信息及位置信息,具体计算如公式(3-2)所示: P为原型mask集合由特征映射的长宽和mask系数乘积所得,C表示通过网络的 实例个数与mask系数的乘积,<7为Sigmoid函数,M即为原型mask与检测分支 组合结果。流程图如图3-3所示。
Numqnc^r = 4 + c + k (3-1)
 
 
3.1.3基于二次迁移学习的小样本乳腺癌检测模型
本文采用模型参数迁移学习方法对原模型卷积层权值参数进行迁移,先使其 适用于 CT 医学影像检测任务中。同时为了验证模型在小样本乳腺 MRI 影像数 据集上的迁移效果,在得到CT数据训练的检测模型后,固定前端卷积神经网络 层,在训练小样本数据上提出一种二次迁移学习方法,训练模型分类器部分,所 以本文迁移学习方法分为两阶段进行,其流程如图 3-4 所示。
第一阶段使用通过已知预训练模型得到初始化的参数权重,该部分为在 MS COCO 数据集下训练得到的,包含了浅层和深层的图像特征信息,其中网络模型 参数如表 3-1 所示。随后将模型的卷积网络层权值参数冻结,迁移到乳腺 CT 影 像分类模型中,训练模型全连接层和分类器。本文该部分对初始化权重进一步更 新,训练数据从第二章 DDSM 乳腺 CT 影像中选取,分为包含有癌症区域和隐 患区域的图像两类,共1200 幅数据样本。再将数据随机分配其中 1000 幅数据作 为训练样本,其余 200 幅图片作为测试样本。
表 3-1 特征提取网络参数
层名称 层结构 残差块数 输出尺寸
Conv1(C1) 7x7, 64, stride2
3x3 MaxPool, stride2 None 112x112
[1x1, 64]
Conv2(C2) [3x3, 64]
[1x1, 256] 3 56x56
[1x1, 128]
Conv3(C3) [3x3, 128]
[1x1, 512] 4 28x28
[1x1, 256]
Conv4(C4) [3x3, 256]
[1x1, 1024] 6 14x14
[1x1, 512]
Conv5(C5) [3x3, 512]
[1x1, 2048] 3 7x7
None Average pool, 1000-d
fc, softmax None 1x1
第二阶段使用经过一次迁移学习得到的CT影像检测模型作为新的预训练模 型,这一阶段冻结卷积层及全连接层部分参数,只训练分类器,如表 3-1 中所示 最后一层,包含有深层及浅层的特征信息和新的医学影像数据特征。随后再将该 预训练模型中参数迁移到 MRI 影像检测模型中,对固定的初始化权重进一步更 新。
训练数据为具有近似特征的 MRI 医学影像数据集作为本阶段训练样本,如 图 3-4中的流程图所示,将第一阶段预训练模型中卷积层权重参数进行迁移,不 迁移全连接层和Softmax分类层,在第二阶段迁移过程中,在全连接层之后新增 一个 Dropout 过程,以防止卷积神经网络模型的过拟合现象。用 MRI 影像数据 重新训练分类器,并在此过程中不断迭代更新卷积层和全连接层参数,使检测模 型参数权重的更新依照 MRI 影像数据特征进行。
 
 
图 3-4 本文迁移学习流程图
 
如表 3-2 所示为从第一阶段初步迁移到第二阶段再次迁移学习时数据样本的 比例关系。在二次迁移学习方法的实现过程中,第一阶段后卷积神经网络模型分 类性能已经有了进一步提高,可以检测 CT 影像。通过进一步分析,将数据类型 近似的 CT 影像预训练模型参数迁移到新的 MRI 影像分类模型中进一步调节参 数,使这两次模型参数迁移学习方法相结合的检测模型对于解决样本量较小的 MRI数据集,能够较单次迁移学习效果有一定的提升。
表 3-2 数据样本比例关系
数据类型 数据名称 数据量
初始图像数据域 MS COCO 20000
CT影像 DDSM 200(测试) 1000
MRI影像 Breast MRI 200(测试) 1000
 
3.2基于难样本挖掘机制的乳腺癌影像检测方法
现阶段,基于区域的目标检测算法是在大量预选框的基础上进行的具有较高 识别准确率的算法,其中,针对医学影像分割问题,全卷积神经网络(FCN)[50]被 广泛应用于医学影像处理中,通过加入一种新的卷积层可以接受任意尺寸的输入, 对图像进行像素级分类,从抽象特征中恢复每个像素类别,但 FCN 容易忽略像 素间的关系,易受样本空间分布的影响。因此针对上一节YOLACT检测模型分 支中 FCN 训练的正负样本比例不平衡问题。本文采用难样本挖掘算法优化目标 检测模型,从而得到鲁棒性更强的目标检测模型。
3.2.1难样本挖掘机制
当前基于深度学习的目标检测主要包括:基于二阶段的目标检测和基于一阶 段的目标检测。二阶段目标检测框架的优点在于检测准确率较高,但由于模型结 构更为复杂处理速度较慢;而一阶段目标检测框架的优点在于整合了分类和回归 两步,因此速度得到了很大提升,但是模型结构简单导致检测准确率降低。产生 这种现象的一个主要的原因是模型训练样本比例不均衡造成的。样本不均衡问题 是指在训练时,分类阶段由前一层产生含有类别信息的特征图对应每个类别区间 时,各个区间数量相差较多。以本文采用的一阶段目标检测模型为例,主要存在 两种类别的样本不均衡问题:正负样本比例不均衡(一般二者比例多于 1000 时) 和难易样本不均衡(难易样本主导损失值近似时)。在目标检测框架中,最佳的比 例是保持正负样本为 1:3 的比值,难易样本损失值差距较大。
针对一阶段检测模型来说,训练过程会产生数量庞大的简单样本,这些样本 对最终模型检测精度起着最重要的作用,而这部分样本由于易于分类,一般不会 被检测模型漏检掉,因此对于简单样本训练更新的参数对模型的检测能力提升反 而不明显,这会导致整个训练变得低效[51]。所以,模型训练的重点就放在了部分 目标较小或特征不明显的难样本上,在融合高低层特征丰富了小目标数据的特征 后,在一定程度上缓解了漏检问题,但是实际上,在复杂背景、光照角度等因素 的影响下,会产生易被判定为负样本的样本出现,从而导致模型训练中正负样本 的比例失衡,影响最终检测精度。现阶段一些目标检测网络模型也会挖掘难样本 的特性来优化网络模型性能,通过一定算法判定样本类型或直接产生难样本,返 回至网络模型中,使网络得到更充分的训练,以此来提升网络的检测精度。
因此,研究者开始针对难样本的产生导致的样本不均衡等问题进行了深入研 究,比较典型的有在线困难样本挖掘[52]、基于损失值分布的难样本挖掘[53]、基于 对抗生成网络的方式困难样本生成方法[54]、侧重难分样本训练权重调整损失函数 的方法[55]、损失函数梯度均衡化机制[56]。
(1)在线困难样本挖掘
在线困难样本挖掘方法(OHEM)核心思想在于利用检测样本的损失值进行样 本筛选,筛选的样本中对分类检测任务影响较大的为困难样本,之后经过随机梯 度下降的策略训练该部分样本。在实际操作中由初始一个 ROI 网络层扩充为两 个共享参数的网络结构。其中与初始 ROI 网络层结构相同的网络进行只计算损 失值的前向传播;另一个 ROI 网络层以难样本作为输入,计算样本损失值并回 传梯度,同时进行前向和后向传播。如图3-5所示为在线困难样本挖掘算法流程。
Softmax
 
图 3-5 在线困难样本挖掘算法流程图
 
OHEM 算法对于数据正负样本不均衡问题能够更好地回避,不需要手动分 配样本比例,在训练过程中直接筛选样本的过程针对性较强,同时随着输入数据 量的增多,算法性能提升效果更为明显。但该算法筛选样本过程更针对损失值较 高的样本,损失值较低的简单样本被大量忽略,实际训练过程中会导致输入样本 中难样本数量比重更大,训练模型对简单样本分辨能力有所下降。
(2)基于损失值分布的难样本挖掘
基于损失值分布的难样本挖掘(S-OHEM)方法,主要考虑OHEM训练过程忽 略了简单样本分布的影响,因此 S-OHEM 根据损失值的分布抽样训练样本。该 算法对损失值进行分段处理,如图 3-6 所示。
首先确定样本批处理数量,生成批量输入图像的候选 ROI 特征图,再将这 些ROI特征图输入到OHEM算法中前向传播ROI网络层得到全部ROI特征图 的损失值,然后将每个特征图根据损失值划分到上面分段中,针对每个分段,通 过排序筛选困难样本。筛选后的全部 ROI 网络生成特征图送入包含前向传播和 反向传播的ROI网络中,不断更新网络参数。相比OHEM的在线难样本挖掘策 略, S-OHEM考虑了不同样本在网络中损失值的分布来抽样选择困难样本,避免 了仅针对损失值较高的样本训练而忽略简单样本的问题。但因为不同阶段,类别 损失和位置损失的在样本参与训练过程中比重不同,所以需要根据不同训练阶段 进行改变,当应用于其他不同数据集时,参数的选取也是不一样的.即引入了额
外的超参数,使训练变得复杂。
Read-only RoI Network
 
(3)基于对抗生成网络的方式困难样本生成方法
基于对抗生成网络的方式困难样本生成方法(A-Fast-RCNN )的是通过对抗生 成的方式在特征空间产生具有部分遮挡和形变以及旋转特性的困难样本,虽然这 部分样本数据很难出现在实际训练数据集中,但对这部分样本的学习有助于提升 网络性能。该方法通过对抗生成的方式来使网络学习到遮挡和形变等概念,区别 于传统的直接生成样本图片的方法,这些变换都是基于生成特征图的,首先通过 添加遮挡 mask 来实现特征的部分遮挡,再通过操作特征响应图来实现特征的部 分变形。
如图3-7所示,算法中融入了两个对抗网络ASDN和ASTN,分别对应于样 本的遮挡和样本的变形,并将这两种变形相融合(ASDN的输出作为ASTN的输 入),使得检测器在训练的时候可以更加鲁棒。与OHEM相比,算法优点是文本 的方法是构建不存在的难样本,而 OHEM 是挖掘现有样本中的难样本。但从改 善效果上来讲,基于对抗生成的方法在效果上并不比 OHEM 好太多,其一是对 抗生成网络训练复杂度高的问题,其二是构建出的样本数据与真实数据存在一定 差异性。
 
Softmax
Classification
Loss
Smooth-L1
Bbox Reg
Loss
(4)侧重难分样本训练权重调整损失函数的方法
侧重难分样本训练权重调整损失函数的方法中提出了一种新的损失函数 Focal Loss,它是在标准交叉熵损失基础上修改得到的。这个损失函数可以通过 减少易分类样本的权重,使得模型在训练时更专注于难分类的样本。经过在 RetinaNet检测模型上训练时采用Focal Loss训练。证明RetinaNet不仅可以达到 一阶段模型的速度,也能有二阶段检测模型的准确率, Focal Loss 损失函数的公 式如公式(3-3)所示,其中, Pt 为激活函数输出概率,等式左侧为该部分损失值 Focal loss,等式右侧at为调制系数,控制loss值的偏差程度,(1一卩』叫00 (pt)负 责控制输入样本难分程度的权重。
FL(pt) = ~at(1 - pt)rlog (pt) (3-3)
算法具体操作为以控制正负样本的权重,通过对多的易分类样本取比较小的 值来降低负样本的权重,提高用于控制难易样本的权重,从而使得模型在训练的 时候更加专注难分样本的学习。当一个样本被错分时,即出现难分样本,激活函 数的输出概率Pt很小,那么调制系数就接近1,损失函数影响很小;但是当样本 被正确分类时,即样本为易分样本时,Pt接近1,则调制系数就接近0,此时易 分类样本的损失函数权重被大大地降低,即易分样本的权重被大大地降低。当Y 增加时,调制系数也会增加,易分样本权重的降低程度也就越大,此时可见难分 样本的权重相对提升了很多,从而增加那些错误分类样本的重要性。
(5)损失函数梯度均衡化机制
损失函数梯度均衡化机制(GHM)是基于梯度分布的角度来缓解一阶段检测 模型中的训练样本不平衡问题,深入分析一阶段目标检测框架中样本分布不平衡 (正负样本不均衡和难易样本不均衡)的本质影响从而改善一阶段的目标检测的
 
 
检测精度,该算法中引入了梯度密度的概念,并将梯度密度的倒数作为损失函数 的权重分别引入到分类损失函数(GHM-C)和边框损失函数(GHM-R)。GHM-C就 是把梯度幅值范围(X轴)划分为多个区域,对于落在每个区域样本的权重采取类 似于直方图的修正方式。具体推导公式如公式(3-4) (3-5)所示:
=Rind(g) x M
(3-4)
N
GD(g)
(3-5)
其中X轴的梯度分为M个区域,每个区域长度即为£,第j个区域范围即为 落在第j个区域内的样本数量。公式(3-4)中Rind(g)表示梯度为g的样本所落区 域的序号,可得出该区域样本梯度密度GD(g),公式(3-5)中卩i为梯度密度倒数用 于样本计算损失值是的权值,由于样本的梯度密度是训练时根据样本批处理量计 算出来的,通常情况下批处理值较小,直接计算出来的梯度密度可能不稳定,所 以采用滑动平均的方式处理梯度计算,如公式(3-6)所示,其中Q表示滑动量参数, 矿)表示平移均值,咱表示当前样本数量:
S()= ax S(t-1) + (1 - a) x R(t}
(3-6)
将梯度密度的倒数作为损失函数的权重分别引入到分类损失函数和边框损
失函数,对于分类损失函数,这里采用的是交叉熵函数,梯度密度中的梯度模长
是基于交叉熵函数的导数进行计算的,GHM-C如公式(3-7)所示,GD(gi)为当前 样本i的梯度密度,LCE表示一种概率p的交叉熵损失计算:
N
Lghm-c =》
i=1
LCE®:点)
GD(gi)
(3-7)
对于边框损失函数,由于原生的Smooth L1损失函数的导数为1时,样本之 间就没有难易度区分,因此,梯度密度中的梯度模长是基于修改后的损失函数 ASL1的导数进行计算的,GHM-R如公式(3-8)所示。GHM算法的优点在于对中 大型目标特别是大目标的检测优于Focal loss,但对于小目标的检测不如Focal loss 好。
Lghm-r =》
i=i
AS Li(di)
GD(gri)
(3-8)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3.2.2基于难样本挖掘机制改进的检测网络结构
基于速度和性能方面的考虑, YOLACT 所使用的主干检测网络是参考 RetinaNet采用带FPN的ResNet-101网络。预测网络的头部结构设计如图3-8所 示,右侧生成的三层分别代表4个表示位置信息值,C个表示类别信息值以及k 个 mask 系数值。
 
图 3-8 YOLACT 预测网络头部结构
 
在实际应用中,预训练网络模型往往无法直接处理相应任务,例如图像分类 任务中,MS COCO数据集模型有80个类别,针对小规模数据集往往类别较少, 因此需在网络模型参数基础上进行微调,如调整分类层类别数,建立适合实际应 任务的网络模型,更快针对特定任务制定策略。所以本文对于原始模型的部分训 练参数进行了修改并引入难样本挖掘机制提升模型性能。
在检测模型中,骨架网络阶段使用了基于 OHEM 的在线难样本挖掘,针对 正负样本数量不均造成的难样本问题,将正负样本比例调整为 1:3,但对于基于 损失值的难分样本上未考虑进训练阶段,本文结合训练阶段损失值对原算法进行 改进,引入了基于损失值的难分样本挖掘,如公式(3-9)所示,LloU和Lscore分别为 位置和类别损失:
L(o,p~) = LIoU(o) + L
score (p) (3-9)
其中,总置信度1减去分类置信度P,其结果表示分类损失值Lscore,其中p 是由分类层输出的概率值,计算过程如公式(3-10)所示oLloU为目标位置损失,计 算过程如公式(3-11)(3-12)所示:
Scare = 1 — P (3-10)
1
LloU = 1 + ek^(p-0.5') (3-11)
 
area(C) A area(G)
area(C) U area(G)
公式(3-12)计算得出o为交并比(IOU),其由真实区域和预测区域的交集与并 集的比值得出,且初步设置阈值为 0.5,以此判断候选框是否为目标域。在公式 (3-11)中取二者差值作为主要判别指标,并在此基础上引入敏感系数k提升难 样本的判定标准,使易造成检测结果影响的样本间误差更为明显。公式(3-9)中L(o, p)是最终评判结果,由样本类别及位置误差代数和得出。
3.2.3基于难样本挖掘及二次迁移学习的网络结构
在引入难样本挖掘机制的同时,其网络模型前端结构需迁移部分预训练权重, 如图 3-9 所示,前端改进 FPN 网络结合第二章改进思路,引入残差网络的预训 练权重C1〜C5,首先经由一次迁移学习后得到卷积层参数权重C(c)i〜C(C)5,在第 二阶段迁移并得到迁移后的卷积层C(m)1~C(m)5,其与C共享参数权重。
 
C5 C©5 C(m)5
 
i L t t P5
C4 C(C)4 C(m)4
、T
t t t P4
C3 C©3 C(m)3
、T
t t t P3
C2 C©2 C(m)2
、T
i k t t P2
C1 C(c)1 C(m)1
 
图 3-9 前端迁移部分改进 FPN 结构
具体迁移参数如表3-3所示,前半部分为卷积层迁移参数,由初始预训练权 重获取到的卷积层参数Conv1~5,并得到卷积层及残差块参数,卷积层为3x3卷 积下采样逐步生成,其中每一层所需残差网络块数量为3、4、6、3,在中间层使 用残差块较多,主要是为了保持特征提取过程中浅层及深层特征可以更好地衔接, 使其更易迁移至相关任务,第一阶段及第二阶段,主要输入不同,分别为CT影 像及 MRI 影像,网络参数与初始网络共享不变,后续调整全连接层及分类层参 数,类别由 1000 调整至相关数据域类别数 2。
表 3-3 特征提取网络参数
层名称 层结构 迁移参数 输出尺寸
Conv1(C1)~ Conv+ Conv1~Conv5 112x112~
Conv5(C5) Residual(3,4,6,3) (3x3) 7 x7
Conv1(c)C(c)1~ Conv+ Conv1~Conv5 112x112~
Conv5(c)C(c)5 Residual(3,4,6,3) (3x3) 7 x7
Conv1(m)C(m)1~ Conv+ Conv1~Conv5 112x112~
Conv5(m)C(m)5 Residual(3,4,6,3) (3x3) 7 x7
Fully connected layer(origin) 1000-d fc+ softmax(normal class) 1000 class 7x7x1000
Fully connected
layer(1-stage) 2-d fc+ softmax(CT class) 2 class 7x7x2
Fully connected
layer(2-stage) 2-d fc+ softmax(MRI class) 2 class 7x7x2
由于在模型整体结构中, FPN 与 RPN 之后部分是完全独立的两个模块,因 此,可结合新数据集分别训练两个分支。在检测分支和分割分支间引入其中引入 一条迁移函数T作为参数权值迁移的辅助。T的输入是预训练参数权重,不以 特征图进行分析。对于一个类别c, W^et表示检测任务权重,W&g表示分割任务 权重。权重迁移函数以W^et为自变量,咗旳作为因变量,得出映射函数T如公式 3-13 所示。
WCseg = T^Cdet; ^) (3-13)
其中e为类别无关可学习参数,T使用一层多层感知机,W^et对分类权重W纭, 边界框的预测权重叫旳整合至如公式3-14所示形式。含有掩膜标签和检测标签 的初始数据域数据集定义为M,含有部分掩膜标签及检测标签的CT或MRI数 据集定义为N,则所有的数据集ALL便是M和N的并集,如公式3-15所示。
^det = \wccia,w^eg] (3-14)
ALL = MuN (3-15)
在结合二次迁移学习后,设定阈值区间判定检测样本是否为难样本,在 mask 合成后对产生样本进行难样本判定,若损失值处于设定区间则判定该样本为难样 本,并返回至特征提取网络后的检测分支及原型分支,以此可以解决模型训练数 据量不足等问题,改善模型训练效果。在网络模型训练过程中,前端卷积层保留 原有特征金字塔结构,为保证原网络结构中原型mask易于从最终mask中剔除, 选择使用函数区间为[-1,1]的tanh作为激活函数。
具体流程如图3-10所示,其中,初步控制正负样本比例为3: 1,而在实际 操作过程中,生成负样本或正样本往往无法达到适当比例,因此,结合难样本挖 掘对难分样本进一步训练可使训练过程中小样本数量提升,如正负样本数量分别 为x、y, x: y=12: 1,难样本比例调整至3: 1,则变化后样本数量yn的数量变 为原始数量的4倍。
 
FPN
 
 
检测分支+
难样本 原型分支
 
Loss
 
图 3-10 引入难样本挖掘机制流程图
同时为了能在原型检测分支中保留小目标物体,在模型训练过程中,会根据 预测的边界框对最终的 mask 进行裁剪。在训练时,是根据真实边界框对预测 mask 进行裁剪,并根据真实边界框区域划分。同时在划分过程中,对于平移变 化问题,一般只出现于小目标物体,对于中型及大型目标物体,不需要裁剪操作, 通过对原型分支的不同激活值,能够在网络自身直接学习到如何定位实例。因此, 在该部分,可根据检测物体对原图占比大小适当减少mask裁剪的计算过程。
3.3BREAST MRI 乳腺影像数据集实验结果与分析
3.3.1数据集简介及实验环境配置
(1)数据集简介
当前数据除CT影像外,MRI影像正逐渐成为主流分析数据,其包含有丰富 的病灶区域动态信息,相对于 CT 影像可以更好地对患者的病情发展趋势进行观 察和诊断。同时,当前数据集中,MRI医学影像数据量普遍偏小,同时病灶区域 较为模糊,符合小样本弱标签特性,因此作为第三章实验数据进行算法验证。
数据集为Rider Breast MRI(RBM)公开数据集,数据类型为乳腺核磁共振影像 (MRI),其包含5个病人的1500幅影像数据、10项研究共计40个系列,该数据 集旨在对各个类型的癌症诊治过程进行数字化追踪,并以数字档案的形式记录检 查结果、处方和疗效[57]。该数据集由癌症影像档案(TCIA)于2015年发布。如图 3-11 所示为部分实验数据。
 
 
实验数据中,一个病例的数据由 5 部分构成,分别为病灶区域分割参考信息 (reference VOI mask)、早期全局截面参考信息(early anatomical reference)> 两种回 波平面弥散成像(弥散系数分别为0和800)以及多通道采样后图像(ADC)。其每 类数据中都由一段动态扫描成像的连续图像构成,可以帮助观察者更好的分析出 癌变细胞的动态变化,其数据类型与对应关系如图 3-12 所示。
 
 
图 3-12 原始乳腺图像及其类型对应关系
除公开数据集以外,本文还收集并整理了医学影像中心拍摄的数据影像, 其数据来源为海岱医学影像中心。数据包含有多项不同角度拍摄的CT及MRI 影像,同时,分别配有相应文字标注及图像标注,如图3-13所示。
 
图 3-13 海岱医学影像中心数据
(2)实验环境配置
本文实验分为两部分进行,首先在 Linux 操作系统 Python3.6 编程语言,
Pytorch1.x深度学习框架结合第二章CT数据集进行实现的第一次迁移学习任务, 随后在小样本 MRI 数据集环境下实现第二次迁移学习任务。实验测试阶段基于
Windows 操作系统,米用 GTX 2060 显卡预测结果,同时对本文方法和其他算法 进行精度和速度上的比较及分析。
3.3.2数据预处理及参数优化
选取其中400幅288x288大小尺寸的DCM格式数据作为实验数据集,使用 mDicom 软件将数据转换为可处理的 PNG 格式图像,并对数据集进行几何变换 (旋转、镜像、裁剪缩放)操作扩充数据至1000个含有正负样本的不同数据进行模 型测试[58],以此来构建小样本数据集。如图3-14所示为部分预处理后数据集, 其中部分数据含有对应全局影像的病灶区域,图(a)为原始图像,图(b)为旋转180 度图像,图(c)为水平镜像图像,图(d)为围绕高亮区域基于原图1/4裁剪图像,图 (e)为数据集病灶标记图像。
根据图中病灶区域位置对RBM数据集原图像中病灶区域进行病灶位置及形 状标注,标注工具使用labelme。为构建弱标签数据集,标记数据比例分配为9:
 
1, 90%样本作为正样本空间数据, 10%作为负样本空间数据,负样本主要是疑似 患病无标记数据。
在预训练参数设定上,根据预训练网络初始化权重,自定义分数阈值设置为 0.5,迭代次数初步定为 10000,并根据测试结果决定是否继续断点再训练,从而 使损失值进一步收敛。批处理参数根据实验显卡型号初步设为4,防止显存溢出, 步长系数和 Padding 保持 1,参数设置如表 3-4 所示。
 
(a)原图 (b)旋转 (c)镜像 (d)裁剪 (e)mask
 
图 3-14 预处理后乳腺样本图像
表 3-4 实验参数设置
参数名称 参数值
权重 初始权重
学习率 0.0003
迭代次数 10000
批处理量 4
步长 1
Padding 1
 
3.3.3实验结果比较及分析
实验结果检测标准衡量指标采用平均准确率均值(mean Average Precision, mAP)。具体计算如公式(3-16)(3-17)所示,精确率(P)表示模型预测出结果中检测 结果中正样本相对含负样本的总集比值,召回率(R)表示检测结果中正样本相对 漏检样本的总集比值。公式(3-18)中, AP 为不同召回率下精确率最大值的均值,
 
得出的全部均值再取平均得出最终的 mAP。
TP
P = TP + FP
TP
R = TP + FN
本文对比 YOLACT 检测网络、 Mask R-CNN 检测网络及本文实验方法的实 验效果,测试集选取MRI数据集中弥散系数为800的数据,其中含有对应病灶 区域Mask的作为部分测试集,再选取相同数量无对应Mask数据作为部分测试 集,同时提升测试数据分辨率保证标记的准确定位。首先如图 3-15 所示,为训 练过程中在不同迭代次数节点的Box及Mask精度曲线,根据实验得出,训练次 数达到120000次数时,曲线收敛速度趋于平缓。因此以该节点检测mAP进行对 比,根据单个样本类别精度进行阈值划分,得到如表3-5所示Box及Mask检测 精度对比结果。
表 3-5 Box 及 Mask 精度对比结果
精度类型 算法 0.5〜0.65 0.70 0.75 0.80 0.85 0.90 0.95 All
YOLACT 100 99.27 98.22 94.07 64.44 18.57 0.59 77.51
Box 精度 Mask R-CNN
本文方法
(YOLACT) 100 100 100 97.27 86.45 37.96 3.15 82.48
100 99.42 99.42 94.29 73.67 31.64 2.17 80.06
本文方法
(Mask R-CNN) 100 100 99.55 98.96 85.42 39.87 4.36 84.39
YOLACT 100 99.27 99.27 95.67 82.29 38.58 0.26 81.53
Mask 精
Mask R-CNN 100 100 100 97.12 82.73 47.23 0.66 82.77
本文方法
(YOLACT) 100 100 99.45 96.13 76.40 26.37 0.36 79.87
本文方法
(Mask R-CNN) 100 100 99.87 98.22 83.35 46.24 2.19 85.27
 
 
 
图3-15 Box及Mask精度曲线
图3-16给出了本文方法对比不同检测方法单个测试样例的检测结果,(a)为 YOLACT检测模型的测试结果,(b)为Mask R-CNN检测模型的测试结果,(c)为 本文方法的检测结果,(d)为实际Mask参照。根据检测结果,三种模型在大部分 数据中均可区分检测图像是否为患病图像,但本文方法对于含病灶区域图像检测
精度更高,可以更好地区分出疑似患病区域的正误,对干扰因素适应性较好。
 
 
 
 
 
(d)实际Mask参照
图 3-16 本文方法及其他检测模型结果对比
根据测试数据的多次实验后,综合每个测试样本中真实患病区域与疑似患病 区域的检测精度,同时剔除误检区域的概率值,与实际 Mask 参照再进行对比, 对比方法分别选取一阶段检测模型YOLACT与二阶段检测模型Mask R-CNN得 出结果如表3-6所示。实验结果表明,改进后融合难样本挖掘机制的一阶段检测 模型与原检测模型相比,真实患病图像及含有模糊病灶区域图像的检测精度提升 近 5%,与 Mask R-CNN 相比在运行速度上仍较为快速,同时,将该改进机制引 入至二阶段检测模型 Mask R-CNN 中可以看出,检测精度有所提升,本文方法在 算法时间复杂度上未产生影响,其对比原检测模型时间消耗量的增多可控制在 10s以内。
表 3-6 不同迁移学习方法实验的对比结果
图像类型 算法 平均检测准 确率(%) 平均运行时间(s)
YOLACT 72.23 2.5
正常患癌正样本图像 Mask R-CNN 85.47 22.3
本文方法
(YOLACT) 76.65 3.6
本文方法
(Mask R-CNN) 87.36 25.8
YOLACT 72.07 2.7
含有模糊病灶负样本图像 Mask R-CNN 81.76 23.5
本文方法
(YOLACT) 77.23 3.4
本文方法
(Mask R-CNN) 86.11 24.3
结合难样本挖掘方法后,图 3-17 给出了本文方法对比第二章中未米用二次 迁移学习及难样本挖掘方法的检测结果对比,测试数据分别选取CT影像及MRI 影像,(a)为测试集下原检测模型测试结果,(b)为测试集下二次迁移学习结合 OHEM算法的测试结果,(c)(d)分别为原图及相关原始标记,(e)为测试集以外数 据原检测模型测试结果,⑴为测试集以外数据二次迁移学习结合OHEM算法的 测试结果。根据检测结果,改进前后算法在大部分数据中均可区分检测图像是否 为患病图像,但本文改进后检测网络误检率更低,位置精度也更高。
 
 
图 3-17 采用难样本挖掘机制前后模型检测结果对比图
相同检测模型下,检测精度有了一定提升,其检测结果上相对原始检测模型 可以对未存在患病区域的干扰部分做出准确判断,检测结果精度统计如表3-7所 示,与未采用难样本挖掘和二次迁移学习网络相比,平均准确率均值提升约 7% 左右,说明引入难样本挖掘机制可以解决检测模型对乳腺医学影像正负样本不均 衡问题,同时二次迁移学习也为检测模型精度带来一定提升。
表 3-7 采用难样本挖掘机制前后模型精度对比
图像类型 算法 平均检测准确率(%)
正常患癌正样本图像 未采用难样本挖掘与 二次迁移学习 72.23
本文方法 79.96
含有模糊病灶负样本图像 未采用难样本挖掘与 二次迁移学习 72.07
本文方法 78.34
 
3.4本章小结
本章通过分析小规模 MRI 数据集特性,结合一阶段目标检测模型提出了一 种基于难样本挖掘机制的小样本弱标签医学影像检测算法。本章首先在乳腺 CT 影像中训练得到模型的初始化参数权重,在此基础上采用二次迁移学习,将前端 模型参数迁移至MRI医学影像数据域,减少了迁移数据域不同带来的时间损失; 然后引入难样本挖掘机制,对数据样本量小导致产生的难负样本进一步学习,通 过筛选部分损失值过高样本,从而使检测模型适用于小样本数据。实验结果表明, 本章方法在小样本 MRI 数据集环境下,对比一阶段检测模型及二阶段检测模型 以及本章方法的检测精度,相较于改进后一阶段检测模型,本章方法在检测精度 上有一定提升,对于原方法中误检区域的识别准确率较高,同时检测出的乳腺图 像中目标位置是否患病具有较高的正确率,相较于二阶段检测模型,本章方法在 检测速度上相对较快,而检测精度也较为接近,说明了该方法的有效性和鲁棒性。
第四章 结论与展望
第四章 结论与展望
4.1 研究内容总结
本文以乳腺医学影像为研究对象,以检测乳腺CT医学影像患病区域及小样 本弱标签 MRI 医学影像为研究目标,通过分析数据病灶区域特性及不同类型数 据样本间的关系,提出了一种基于改进特征金字塔网络的区域卷积神经网络检测 模型,用于提高深度学习模型的检测精度,同时在检测模型基础上结合迁移学习 进行改进,提出了一种基于难样本挖掘的一阶段检测模型,并给出患病及正常区 域检测结果。具体工作如下:
(1)一种基于改进特征金字塔网络的区域卷积神经网络检测模型 本文首先分析了卷积神经网络模型原理及各网络层的作用及关系,并对现阶
段区域卷积神经网络发展及结构进行阐述。通过分析乳腺CT医学影像数据特性, 提出了一种基于改进特征金字塔网络结构的目标检测模型,详细给出了改进特征 金字塔结构进一步融合自顶向下及自底向上的多尺度特征过程,实现了对乳腺 CT 医学影像数据病灶区域的检测,并对疑似患病区域进行了较好区分。最后通 过实验给出了本文方法与原网络模型以及其他目标检测模型的检测精度与速度 对比结果与分析。
特征金字塔结构的主要优点是可以很好地检测图像中面积较小目标,主要是 通过构建自顶向下路径使低层特征可以共享高层特征信息,而通过进一步改进特 征金字塔结构,添加自底向上路径,可以使得高层特征映射也可以共享低层特征 的位置信息,从而提升目标的检测精度。由此可以减少目标漏检率,保证检测模 型稳定性。
由于乳腺CT医学影像数据中部分数据在病灶区域及部分良性区域具备近似 特征,在含病灶区域标记及疑似患病标记的数据条件下,训练网络模型。实验结 果表明,经过与多个骨架网络下的检测模型对比分析,在检测患病图像以及疑似 患病图像上,本文方法具有较高准确率。
(2)基于迁移学习小样本弱标签数据难样本挖掘方法
本文首先在乳腺CT影像中训练得到的预训练模型,同时结合小规模MRI数 据集,在此基础上采用二次迁移学习,针对小样本弱标签数据集进一步训练。同 时在训练过程中引入难样本挖掘机制,对数据集样本量小而产生的难负样本返回 至前端网络中,进而获取更多数据特征信息,从而使检测模型更好适用于小样本
第四章 结论与展望
数据。最后结合 MRI 乳腺医学影像测试检测结果,在检测精度及速度上,对比 改进方法与原方法以及其他检测模型。
基于二次迁移学习训练目标检测模型的主要优点是可以避免数据不充分带 来的过拟合等问题,而采用具有相近特性数据训练的 CT 医学影像检测模型,可 以更好地迁移至 MRI 影像检测任务中,此外,本文采用难样本挖掘机制改进检 测模型,该方法主要优点在于对数据样本中模型难以分类的难样本进一步训练, 由此可以避免误检,从而降低真实患病图像和未患病图像的误检率,并解决小样 本弱标签数据样本不均衡问题。
在小样本弱标签 MRI 乳腺医学影像数据集基础上,本文与 Mask R-CNN 模 型以及 YOLACT 网络模型、采用二次迁移学习前后的检测模型、引入难样本挖 掘机制的检测模型进行对比实验。实验结果表明,在 Breast MRI 测试集下,本文 方法检测速度仍快于二阶段检测模型,同时患病区域检测精度较高,并且在检测 结果真实患病图像及正常图像的区分上具有较高的准确率。
4.2 进一步研究展望
虽然本文提出的方法在检测乳腺 CT 医学影像以及检测小样本弱标签数据 上取得了一定成效,但是仍存在一些不足需要进一步研究。
(1)在基于改进特征金字塔网络结构的检测模型中,由于本文研究对象为乳 腺CT医学影像,数据量相对大数据样本空间仍比较少,需要数据预处理进行数 据扩充,对医学影像中主要患病区域和背景区域区分的分析不够充足、不够全面, 因此,仅根据 CT 医学影像数据检测得出的结果与真实情况仍存在一定的差异, 且易局限于特定数据类型中。在进一步的研究工作中,还可从多种类型的医学影 像数据入手,增强数据的多尺度信息。
(2)在基于迁移学习小样本弱标签数据检测方法中,由于构建 MRI 数据集虽 满足小样本弱标签数据特性,但易导致训练模型效果不佳,因此需要二次迁移学 习,采用近似数据域的预训练模型加以辅助,同时引入难样本挖掘机制可以很好 解决训练产生的难负样本,降低误检率。但是,如何在有限数据基础上进一步提 高检测模型精度会是后续研究工作的主要完善方向,在进一步的研究工作中,还 可从多种检测模型相结合方法入手,将检测任务进一步分配至多网络模型中,以 此来提高检测精度。
参考文献
[I]Rebecca L. Siegel, Kimberly D. Miller, Ahmedin Jemal. Cancer statistics, 2019[J]. Ca A Cancer Journal for Clinicians, 2019, 69(1): 7-34.
⑵戴琦,郑建军,张敏鸣.乳腺癌影像学的现状和未来[J].现代实用医学, 2018(5):561 -564.
[3]黄育北,佟仲生,陈可欣.《中国女性乳腺癌筛查指南》解读(精简版)[J].中 国肿瘤临床,2019(9):432-440.
[4]Jessica H. Hayward, Kimberly M. Ray, Dorota J. Wisner. Improving Screening Mammography Outcomes Through Comparison With Multiple Prior Mamm ograms[J]. American Journal of Roentgenology, 2016, 207(4):1-7.
[5]王春霞,蒋荷娟,刘海涛.超声影像技术在乳腺癌诊断中的应用与进展[J]. 中国医疗器械信息,2019(14):13-14.
[6]张丽君,朱炎,刘锐.MRI、CT与钼靶X射线在乳腺疾病诊断中的应用价值 [J].现代中西医结合杂志,2019,24:2710-2713.
[7]Michael Vogt. An overview of deep learning techniques[J]. at - Automatisierungstechnik, 2018,66(9):690-703.
[8]孟俊祥,柏正尧,计雪伟.基于CT影像分析的肺部疾病辅助诊断系统应用研 究[J].中国数字医学,2019,14(3):92-96.
[9]朱琳,李建卫,吴松松,唐力,陈圣,杨建川.超声与激光散射成像参数变化 特征预测乳腺癌新辅助化疗疗效的研究[J].中国超声医学杂志, 2017,33(12):1081 -1083.
[10]Kooi T , Litjens G , Van Ginneken B , et al. Large scale deep learning for computer aided detection of mammographic lesions[J]. Medical Image Analysis, 2017, 35:303-312.
[II]向陶然,叶笑春,李文明.基于细粒度数据流架构的稀疏神经网络全连接层 加速[J].计算机研究与发展,2019, 56(6) :1192-1204.
[12]Akila K , Jayashree L S , Vasuki A . Mammographic Image Enhancement Using Indirect Contrast Enhancement Techniques — A Comparative Study[J]. Procedia Computer Science, 2015, 47:255-261.
[13]Zhengyou L. Xiaoshan G. A segmentation method for mammogram x-ray image based on image enhancement with wavelet fusion[M]. 2015 International Conference on Intelligent Systems Research and Mechatronics Engineering. Atlantis Press. 2015.
[14]Stojic T.M. Visual enhancement of microcalcifications and masses in digital mammograms using modified multifractal analysis [J]. Nuclear Technology and Radiation Protection, 2015, 30(1): 61-9.
[15]Evaluating geodesic active contours in microcalcifications segmentation on mammograms[J]. Computer Methods and Programs in Biomedicine, 2015, 122(3):304-15.
[16]Suhail Z , Sarwar M , Murtaza K. Automatic detection of abnormalities in mammograms[J]. BMC Medical Imaging, 2015, 15(1):53.
[17]Yang Jinyao1Zheng Boling 2Zhang Qiong 2Shen Minfen 2 1 Shantou Institute of Ultrasonic Instruments Co.,Ltd.,Shantou,China 2.College of Engineering,Shantou University,Shantou,China. Novel method of segmenting breast lesion in ultrasound images using grouping bandlets[C]. IEEE Beijing Section、Chinese Institute of Electronics(CIE).Proceedings of IEEE 2011 10th International Conference on Electronic Measurement & Instruments(ICEMI'2011) VOL.03.IEEE Beijing Section> Chinese Institute of Electronics(CIE):IEEE BEIJING SECTION(跨国电 气电子工程师学会北京分会), 2011:301-305.
[18]王亚娟,管建,王立功.基于Gabor小波和深度置信网络的肺结节良恶性分 类研究[J].北京生物医学工程,2019, 38(3):263-270.
[19]Xie W , Li Y , Ma Y . PCNN-based level set method of automatic mammographic image segmentation[J]. OPTIK, 2016, 127(4):1644-1650.
[20]Vikhe P S , Thool V R . Mass Detection in Mammographic Images Using Wavelet Processing and Adaptive Threshold Technique[J]. Journal of Medical Systems, 2016, 40(4):82.
[21]Kanchan Lata Kashyap, Manish Kumar Bajpai, Pritee Khanna. An efficient algorithm for mass detection and shape analysis of different masses present in digital mammograms[J]. Multimedia Tools and Applications, 2018,77(8): 92499269.
[22]Zhicheng Jiao, Xinbo Gao, Ying Wang, Jie Li. A deep feature based framework for breast masses classification[J]. Neurocomputing, 2016,197(12):221-231.
[23]Spanhol F A , Oliveira L S , Cavalin P R. Deep features for breast cancer histopathological image classification[C].2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC). IEEE, 2017.
[24]陈思文,刘玉江,刘冬.基于AlexNet模型和自适应对比度增强的乳腺结节 超声图像分类[J].计算机科学,2019(B06):146-152.
[25]Suzuki S , Zhang X , Homma N. Mass detection using deep convolutional neural network for mammographic computer-aided diagnosis[C].2016 55th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE). IEEE, 2016.
[26]Al-Masni M A , Al-Antari M A , Park J M. Simultaneous Detection and Classification of Breast Masses in Digital Mammograms via a Deep Learning YOLO-based CAD System[J]. Computer Methods and Programs in Biomedicine, 2018, 157:85-94.
[27]刘小明,翟蕾蕾,朱婷.基于迁移学习的乳腺结构紊乱异常识别[J].计算机 工程与设计,2017,38(9):2530-2536.
[28]褚晶辉,吴泽蕤,吕卫.基于迁移学习和深度卷积神经网络的乳腺肿瘤诊断 系统[J].激光与光电子学进展,2018, 55(08):202-208.
[29]Samala R K, Chan H P, Hadjiiski L M. Evolutionary pruning of transfer learned deep convolutional neural network for breast cancer diagnosis in digital breast tomosynthesis[J]. Physics in medicine and biology, 2018, 63(9):95-105.
[30]徐一舫,卓一瑶,孙海洋.基于Faster R-CNN的乳腺肿块辅助检测[J].电脑 知识与技术,2019,15(18):217-220.
[31]韩哲.基于卷积神经网络的乳腺肿瘤良恶性鉴定技术研究[D].太原理工大学, 2018.
[32]Girshick R B, Donahue J, Darrell T. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C].Computer vision and Pattern recognition(CVPR), 2014 IEEE Conference on IEEE, 2014: 580-587.
[33]He K , Zhang X , Ren S. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 37(9):1904-16.
[34]Ross Girshick. Fast R-CNN[C].Proc of IEEE International Conference on Computer Vision (ICCV). IEEE Press, 2015:1440-1448.
[35]Ren, Shaoqing, He, Kaiming, Girshick, Ross. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 39(6):1137-1149.
[36]Kaiming He, Georgia Gkioxari, Piotr Dollar. , et al. Mask R-CNN[C]//Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway:IEEE,
2017:2980-2988.
[37]Joseph Redmon, Santosh Divvala, Ross Girshick. You Only Look Once: Unified, Real-Time Object Detection[C].2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016:779-788.
[38]Wei Liu, Dragomir Anguelov, Dumitru Erhan. SSD: Single Shot MultiBox Detector[C]. European Conference on Computer Vision. Springer International Publishing, 2016:21 -37.
[39]Tsung-Yi Lin, Piotr Dollar, Ross Girshick. Feature Pyramid Networks for Object Detection©. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.
[40]Kaiming He, Xiangyu Zhang, Shaoqing Ren. Deep Residual Learning for Image Recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2016.
[41]Simonyan, Karen, Zisserman, Andrew. Very Deep Convolutional Networks for Large-Scale Image Recognition[C]. International Conference on Learning Representations, 2015.
[42]Ioffe S , Szegedy C . Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[C]. International Conference on Machine Learning, 2015,37:448-456.
[43]The digital database for screening mammography[EB/OL]. http://marathon.csee.usf.edu/Mammography/Database.html
[44]Pan S J , Yang Q . A Survey on Transfer Learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10):1345-1359.
[45]Tan C , Sun F , Kong T. A Survey on Deep Transfer Learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, 55(2):12-17.
[46]Litj ens G , Kooi T , Bejnordi B E. A survey on deep learning in medical image analysis[J]. Medical Image Analysis, 2017, 42:60-88.
[47]庄福振,罗平,何清.迁移学习研究进展[J].软件学报,2015,26(01):26-39.
[48]张雪松,庄严,闫飞.基于迁移学习的类别级物体识别与检测研究与进展[J]. 自动化学报,2019, 45(7):1224-1243.
[49]Bolya D, Zhou C, Xiao F. YOLACT++: Better Real-time Instance Segmentation [EB/OL].https://www.researchgate.net/publication/332220712_YOLACT_Real- time_Instance_Segmentation..
[50]Xiangrong Zhou, Ryosuke Takayama, Song Wang. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method[J]. Medical Physics, 2017, 44(10):5221.
[51]Bishwo Adhikari, Jukka Peltomaki, Jussi Puura. Faster Bounding Box Annotation for Object Detection in Indoor Scenes[C]. 2018 7th European Workshop on Visual Information Processing (EUVIP). 2018.
[52]Abhinav Shrivastava, Abhinav Gupta and Ross Girshick. Training Region-based Object Detectors with Online Hard Example Mining[C]. In Proceedings of Conference on Computer Vision and Pattern Recognition (CVPR), 2016:761-769.
[53]Li M , Zhang Z , Yu H. S-OHEM: Stratified Online Hard Example Mining for Object Detection[C]. In Proceedings of Computer Vision - Second CCF Chinese Conference(CCCV), 2017.
[54]Xiaolong Wang, Abhinav Shrivastava, and Abhinav Gupta. A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection[C]. In Proceedings of Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
[55]Lin Tsung-Yi,Goyal Priya,Girshick Ross,He Kaiming,Dollar Piotr. Focal Loss for Dense Object Detection.[J]. IEEE transactions on pattern analysis and machine intelligence, 2020,42(2):318-327.
[56]Li B , Liu Y , Wang X . Gradient Harmonized Single-stage Detector[C]. In Proceedings of the AAAI Conference on Artificial Intelligence, 2019.
[57]Data From RIDER-Breast-MRI: The Cancer Imaging Archive [EB/OL]. http://dataju.cn/Dataju/web/datasetInstanceDetail/415, 2015, 26(1):26-39.
[58]陈长吉.适用于深度学习的数据预处理并行算法实现及性能优化[D].上海海 洋大学, 2018.
【本文地址:https://www.xueshulunwenwang.com//yixuelei/yixueyingxiang/7394.html

上一篇:面向医学影像计算机辅助诊断的 细粒度图像分类方法研究

下一篇:医学影像数据采集及标准化系统的设计与 实现

相关标签: