基于模式识别的生物医学图像处理研究现状

奥鹏网院作业

基于模式识别的生物医学图像处理研究现状
徐莹莹①② 沈红斌*②
①(南方医科大学生物医学工程学院 广州 510515)
②(上海交通大学图像处理与模式识别研究所 上海 200240)
摘 要：海量的生物医学图像蕴含着丰富的信息，模式识别算法能够从中挖掘规律并指导生物医学基础研究和临床应用。近年来，模式识别和机器学习理论和实践不断完善，尤其是深度学习的广泛研究和应用，促使人工智能、模式识别与生物医学的交叉研究成为了当前的前沿热点，相关的生物医学图像研究有了突破式的进展。该文首先简述模式识别的常用算法，然后总结了这些算法应用于荧光显微图像、组织病理图像、医疗影像等多种图像中的挑战性和国内外研究现状，最后对几个潜在研究方向进行了分析和展望。
关键词：图像处理；生物医学图像；模式识别；深度学习
1 引言
生物医学图像具有直观、信息量丰富等特点，在现代生物学研究和医学临床诊断中扮演着重要的角色。如荧光显微图像能够呈现蛋白质等标记物在细胞及亚细胞水平上的活动，组织病理图像是病理专家评估组织细胞的癌变阶段及类型的重要手段，而超声、计算机断层扫描(Computer Tomography,CT)、核磁共振(Magnetic Resonance Image,MRI)、正电子发射断层扫描(Positron Emission Tomography, PET)等医疗影像则常用以侦测人体内脏器和血管的生理变化，为重大疾病的临床诊断提供有力支撑。
近年来，随着图像数据量的爆发式增长，自动分析的需求也在持续走高，而机器学习为这些海量数据的研究提供了强大的工具[1]。目前，生物医学图像分析的主要需求包括荧光点、细胞、器官、病灶等目标区域的检测和分割[2–4]，以及图像中生物学性质、病理状态等结论性信息的分类[5–7]。这些分类任务会用到图像分割、形态纹理特征、聚类及分类等大量模式识别算法，尤其是近几年兴起的深度学习方法，具有自动学习良好特征的能力，已在多个生物医学图像分类任务中实现应用，使自动分析的性能取得了突破性进展[8]。
本文首先介绍模式识别常见的算法模型及当前生物医学图像处理所面临的挑战，然后梳理近5年来模式识别在多种生物医学图像处理中的应用研究，最后对未来可能的研究方向进行展望。
2 模式识别方法概述
模式识别致力于研究怎样用计算机来模拟或实现人类的学习活动，对事物建立识别和分类模型[9]。在生物医学图像(图1)的处理和分析方面，常见思路有传统模式识别和深度学习两种。
2.1 传统模式识别方法
传统模式识别方法处理图像的一般步骤包括图像预处理、特征提取和降维、训练分类器以及对测试集做测试(图2)，其中特征部分对模型性能有决定性影响。相对于深度学习，传统学习方法适用于小数据集，且具有计算量小、训练周期短、可解释性强的优点。
图像预处理的目的是去除图像中的无关信息，突出关键有用信息，一般处理方法有图像校正、图像去噪、图像增强等。在实际操作中，一般根据图像质量及处理任务选择预处理方法，例如，在对显微光学图像中的红细胞、白细胞等识别和计数时通常会首先做图像增强，提高前背景反差以方便后续处理。
特征提取是对图像中目标区域的像素进行运算，得到最能描述样本本质和区分样本类别的数值向量[10]。常用的图像特征有颜色、纹理、形状特征等。其中，颜色特征有颜色直方图、颜色矩等；纹理特征是基于图像中重复的结构排列而做运算，典型的有灰度共生矩阵统计、局部二值特征(Local Binary Patterns, LBP)、HOG特征等；形状特征主要是提取目标轮廓，有Hough变换、SIFT、SURF等。这些特征算子常和小波变换结合使用，实现多层分析。如果特征维数很高，就会导致模型训练负担过重，出现过拟合现象，所以对高维特征通常有降维操作，去除冗余及噪声信息。降维方法一般是将高维特征投影到某个能够尽可能保留原有信息的低维空间，如主成分分析(Principal Component Analysis, PCA)、线性判别式分析等，也可以通过评价各特征的预测能力挑选出信息含量最大的特征子集，如逐步判别分析、最大相关最小冗余等方法。
在传统模式识别实验中，通常根据学习任务的特点选择合适的分类算法，采用交叉验证来评价预测模型的性能。目前应用较为广泛的监督学习分类模型有K近邻、逻辑回归、随机森林、人工神经网络、支持向量机(Support Vector Machine, SVM)等，用于建立输入特征与类标之间的相应关系，生成映射函数，对未知类标的数据进行分类；而无监督学习模型有K均值聚类、PCA等，适用预先没有给定类标的数据集，目的就是要找出数据间的潜在关系；此外，对于只有部分样本有类标的情况，还可使用半监督学习，利用大量未标注数据及小部分标注数据得到较高的准确率，如协同训练和转导支持向量机等算法。

图 1 多种生物医学图像的示例及在临床和研究中的主要应用

图 2 传统模式识别方法处理生物医学图像的一般步骤
2.2 卷积神经网络模型
深度学习是近年兴起的一种新的机器学习方法，源自于对人工神经网络的研究。其中，卷积神经网络(Convolutional Neural Network, CNN)能够很好地捕捉图像中的空间结构信息，近几年已在医学图像大数据处理中取得了优异的成绩[5]。
一个CNN网络一般由多个交替出现的卷积层和池化层，及末端的全连接层构成[11]。其中，每个卷积层具有固定的图像输入大小，卷积用以感受局部区域信息，具有权值共享和下采样的特点。通常每个卷积层会采用多个卷积核，计算多层特征映射，其中参数均通过学习得到，这与传统的特征工程不同。池化层一般放在卷积层之后，对卷积层的特征映射进行子采样，常用最大池化和均值池化。在卷积网络的末端，通常是几个可用作分类的全连接层。CNN的参数训练往往需要大量的数据支持，才能避免过拟合。对于数据不足的情况，通常采用数据增强技术，对图像做旋转、缩放、平移、对比度变换、噪声扰动等操作生成更多图像数据来参与训练。在CNN模型训练过程中，通常以监督的方式进行端到端训练，通过前向传播计算输出值，然后将输出值与实际类标的误差通过梯度下降法做最小化，再利用反向传播梯度调整CNN的参数。
经典的LeNet网络诞生于1998年，它首次把深度学习引入图像识别领域，形成了CNN的雏形[11]。2012年，AlexNet网络引入非线性激活函数ReLU和正则化技术[9]，获得了当年ImageNet图像分类竞赛的冠军，也掀起了卷积神经网络的研究热潮。随后至今，各研究组又提出了多种网络改善方案，著名的有VGGNet[12], GoogLeNet[13], ResNet[14],FCN[15], Inception ResNet[16], DenseNet[17],SqueezeNet[18], MobileNet[19]等(图3)。从演化过程来看，网络深度、宽度、图像大小的增加往往能够得到更优的特征表示，但这也意味着更大的运算量，所以很多工作也在朝着减少网络参数、提高训练效率的方向发展。同时，网络结构的另一重要发展趋势是多尺度和多处理流的方法，采用多尺度卷积核形成Inception结构，提供多尺度信息的融合。近期，Google团队在CVPR 2019年发表的工作对深度网络的发展模式做了深入思考，从权衡网络的深度、宽度以及分辨率扩张的角度提出了复合扩展方法，设计了一种新的基线网络EfficientNet，并对其进行扩展得到了一系列的模型，在ImageNet,CIFAR等多个数据集上都表现出了比现有网络更高的准确率和效率[20]。
以上CNN网络多是基于大量自然景物图像训练得到，很多研究会采用迁移学习将这些训练好的网络用在生物医学图像处理中，其原理是深度CNN网络在前几层学习到的是图像通用特征，能够在不同领域图像间进行移植，主要策略是以预训练网络作为特征提取工具，或者对网络做架构或参数的微调，使之适用于当前任务。实践证明，迁移学习能够在生物医学图像处理中取得良好的性能[21,22]，目前已得到了广泛应用。
3 生物医学图像处理研究现状
模式识别算法在生物医学图像分析方面的应用越来越深入和广泛，目前已在恶性肿瘤、阿尔茨海默症等重大疾病的研究和临床辅助诊断中发挥重要作用，该趋势在可预期的未来也将持续下去。本节首先列举此类研究面临的挑战，然后分别概述荧光显微图像、组织病理图像、医疗影像等的图像特性及研究现状。
3.1 生物医学类图像研究的挑战性
生物医学图像的表现对象主要是生物体不同层次的生理组织和结构，微观至分子、原子，宏观至人体器官。相对于普通图像，生物医学图像具有模式复杂、标注专业性强等特点，自动识别研究挑战性较强，主要可总结为以下几个方面。

图 3 经典卷积神经网络模型的时间轴及特点
(1)图像质量差异大。生物医学图像的成像效果受样本制备、拍摄环境等诸多因素影响，所以不同机构所采集的图像在分辨率、对比度、信噪比、样品尺度等方面会有所差异，难以保证统一的图像质量，尤其是细胞显微图像，由于细胞形态多样且显微技术多样性，同一细胞株的图像常常都会有很大差异。自动化模型的性能往往很大程度上都依赖于建模的数据集，虽然高质量的数据集建模能够表现出高精度的分类效果，但在实际应用中面对质量差异大的图像，泛化能力就会变差。这些问题都对建立大型标准数据集、构建通用可靠的自动处理方法提出了严峻挑战。
(2)图像类别模式复杂，标注难度高。首先，生物体个体差异大，病理情况复杂多样，所以有些样本不能给出明确的生物学或医学诊断结论，即使同一种病变也常在图像中表现出不同模式。其次，就图中内容来看，噪声种类多，如医学影像伪影，灰度不均匀等，而且细胞、器官、病灶也常有边缘模糊不规则的情况，与周围非兴趣区域的纹理差异小。这些因素给标注工作带来极大的困难，有的专家标注也存在着遗漏和错误。有的数据库中样本标注还需要辅以较长的文字描述，给自动分类研究中的数据整理提出了挑战。
(3)数据库组建困难。自然图像已有大规模的样本数据库供自动化算法学习分析，如ImageNet,CIFAR等，但对于生物医学图像，虽然医疗机构的图像产出量巨大，但图中关键信号隐蔽，标注专业性强，高质量的标注需要耗费医学或生物学专家大量的时间和精力，所以数据库组建代价极为昂贵。同时，很多图像和标注都存放于医院封闭私有的数据库中，病人的隐私保护条例也阻碍着其他研究人员对这些数据的访问。
(4)可解释性差。在临床诊断中，仅依靠单一的医学图像往往是不够的，医生通常要结合病人的年龄、病史等情况，甚至要同时使用多种医学图像进行综合分析。生物学实验中常常也要结合细胞样本的类型、生长阶段等综合考虑。而在对图像类别建立数学模型时，往往需要简化或近似很多因素，所以模型方面难以解释样本本身特性和其预测过程之间的相关性，在可解释性上还存在局限性。此外，有些图像中所表现出来的性状，医学和生物学机制还尚待研究，更对自动识别模型的性能提出了挑战。
3.2 基于荧光显微图像的研究
在荧光显微镜下，细胞内的目标物质由荧光染料或荧光抗体染色后，经紫外线照射会发出荧光，成像得到的荧光显微图像主要用于研究生物细胞内物质的吸收、运输、化学大分子的分布及定位等，对于理解蛋白质相互作用和代谢通路、研发药物等具有重要意义。
3.2.1 常用数据集
目前研究中常用的荧光图像数据集主要是出芽酵母、人体、仓鼠等细胞系的荧光显微图像，类型广泛(表1)。细胞图像库Cell Image Library已收集了很多个高质量的细胞图像和视频数据集，如人体U2OS细胞系荧光图像、神经细胞荧光图像等，供研究及教学使用。此外，CYCLoPs数据集对多个酵母细胞系的蛋白图像和标注做了整合[23]，包含约3×105幅由荧光蛋白标记的显微图像，并标注了细胞层面上蛋白质的亚细胞位置及在药品处理后的表达量变化。人类蛋白图库(Human Protein Atlas,HPA, http://proteinatlas.org/)存储了约17000种蛋白在20余个细胞系中的约1×105幅免疫荧光图像(ImmunoFluorescence, IF)，并由专家标注了蛋白表达水平、亚细胞位置及可信度等，这些图像集为自动化的分析研究提供了有力的数据保障。
表 1 常用的生物图像数据集

3.2.2 研究现状
此类图像的分析对象是细胞内的荧光点或荧光团，分析目标是通过提取这些荧光点或团的形态模式得到有用的生物学特性，如亚细胞位置、表达量及变化等。荧光显微图像一般视野较小、细胞较为独立，所以很多研究会首先把单个细胞分割出来，保留荧光点与细胞结构的位置关系信息。分割方法常用阈值法、分水岭算法、区域生长等，近年许多研究也设计出卷积网络用以细胞分割，如FCN[15],U-Net[35]等。此外，也有研究直接采用含有细胞分割功能的图像处理集成软件，如ImageJ[36], Cell-Profiler[37]等。表2中列出了常用的生物医学图像处理工具及它们的主要功能，其中ImageJ(https://imagej.nih.gov/ij/)是目前应用最为广泛的工具之一，它是由美国国立卫生研究院开发的一款基于Java的公共图像处理软件，能够对各种生物医学图像做如缩放、旋转、扭曲、平滑处理、区域分割、像素统计等多种处理分析，功能强大。
对于分割后的荧光点，传统方法通常会提取形状、纹理等特征，再把特征输入分类模型以训练分类器。例如，新加坡国立大学的Loo等人[51]和多伦多大学的Moses小组[52]均是在对UCSF yeast GFP数据集中的图像做了细胞分割后，提取形状、Haralick及Gabor纹理、形态、局部结构等特征，再输入SVM模型做亚细胞分类。卡内基梅隆大学的Murphy研究组对11组人体细胞系的免疫荧光显微图像提取了细胞核形状和位置、微管亮度、中心体位置等特征，用以表征细胞内微管的分布并分类[53]。意大利的Nanni研究组在2D HeLa, 2D CHO等9个图像数据集上做了分类实验，验证了LBP变种特征在确定蛋白位置方面的有效性[54]。
同时，有些研究会采用另一种思路处理荧光点，假设不同的类别模式具有不同的荧光点分布，即先把所有的荧光点做聚类，再将每幅图像或每个细胞以其荧光点在多个类簇中的频率作为特征(图4)，这样的特征组建思路已在多个研究中证实了有效性。例如，Murphy团队在HPA IF, 2D HeLa, 2D CHO等10个荧光显微图像数据集上做了实验，其中采用K均值方法对荧光点聚类，每幅图像由其所包含的荧光点在K个类中的频率作为特征，有效提高了分类性能[55]。Rizk等人[38]提出了一个能够检测和定量荧光显微图像中的亚细胞结构的模型Squassh，该模型采用ImageJ分割细胞，然后提取局部目标区域的形状、亮度特征，并将这些区域聚类为3类，每个细胞再用细胞特征和区域频率特征联合表征，能够得到更好的荧光定量结果。
此外，越来越多的研究人员开始采用深度学习做荧光图像的特征提取和分类，取得了优于传统模式识别的分类效果。Parnamaa和Parts[56]在2017年基于UCSF yeast GFP数据集训练了一个11层的卷积网络DeepYeast，在单个细胞中蛋白定位识别性能上比传统的随机森林方法提高了12%。同年，多伦多大学Andrews研究组开发了一个深度网络DeepLoc，用以分析标记蛋白质在细胞内的活动，验证了DeepLoc模型在相异的图像数据上同样表现优良，包括病变细胞、不同基因背景、及不同实验室得到的图像[39]。2018年，瑞典皇家理工的Lundberg研究组将HPA数据库中的约2×105幅IF图像的分类任务融合进一个电子游戏，得到了非专业者的约3×107次亚细胞位置标注，然后利用这些数据在深度学习框架下训练了一个自动的亚细胞位置标注工具Loc-CAT，使29个类的区分准确率达到72%[57]。奥地利的Hochreiter教授团队于2019年ICLR会议上发表的工作同样以HPA IF数据集训练了一个卷积神经网络GapNet-PL，并和其他经典网络DenseNet，Convolution MIL等结合使用，使分类精度提高到78%[58]。2019年初，HPA团队发起了一场Kaggle挑战赛(https://kaggle.com/c/humanprotein-atlas-image-classification)，挑战任务就是对HPA中IF图像做亚细胞位置分类，该比赛吸引了超过2000支队伍参加，最终名列榜首的多个团队均采用了深度学习模型，再次证明深度学习在特征表示和智能分类方面的优越性。
表 2 常用的生物图像处理工具


图 4 荧光点的两种建模方法示意图
3.3 基于组织病理图像的研究
病理诊断是医学界公认的肿瘤诊断的金标准，该过程由病理专家通过观察病理图像中组织标本的形态、大小、有丝分裂计数等属性进行诊断和决策。一般是取一定大小的病理组织，利用化学染料或荧光原位杂交将组织切片染色制成病理玻片，然后用光学显微镜成像。根据染色方法的不同可生成H&E图像、免疫组织化学图像(ImmunoHisto-Chemistry, IHC)等。其中，H&E图像由苏木精和伊红染色得到，苏木精能够将核酸、DNA和RNA染成蓝紫色，伊红能够将细胞质、蛋白质染成粉红色。临床上，H&E图像主要用来观察细胞形态，在实际应用中可以鉴定组织细胞坏死、水肿、变性和炎性细胞浸润等异常病理学改变，是目前诊断恶性肿瘤最常用的方法。IHC图像是由DAB将组织中特定蛋白抗体染成棕黄色而得到，主要用以检测细胞中单种蛋白的表达量及表达位置的变化。
3.3.1 常用数据集
目前，存储病理图像量最大的数据库是肿瘤基因组图谱库(The Cancer Genome Atlas, TCGA)，该数据库旨在对各种类型的癌症诊治过程进行全程跟踪，以数字档案的形式记录检查结果、处方和疗效，目前已涵盖36种癌症组织，积累了大量的H&E图像。另一个大型的病理图库是HPA中的组织样本图库和病理图库，其中存储了约17000种蛋白质在人体正常和癌症组织中的上百万幅IHC图像。已有大量研究是基于这两个数据库中的图像而进行，其他常用的病理图像数据库还包括Break-His(Breast Cancer Histopathological Database)和TMAD(Stanford Tissue Microarray Database)等(表1)。
3.3.2 研究现状
组织病理图像本身即包含有丰富的信息用于诊断决策，是模式识别算法最易于处理和分析的数据之一。利用H&E图像做癌症诊断的一个重要步骤是对细胞核的观测，很多肿瘤组织的上皮细胞会出现不规则生长，在图像上呈现的是一小片区域内大量的细胞核及有丝分裂。所以，H&E图像常见的处理任务是区域分割和肿瘤病理诊断分类[6]。首先，区域分割通常是区分图像中的肿瘤上皮细胞、免疫细胞、基质、腺体、脂肪组织等，有些研究直接采用灰度阈值或分水岭算法等做分割[59–61]；也有一些研究将分割任务转化为基于像素点的分类，利用像素点的颜色、亮度和邻域信息作为特征，再用分类算法完成像素分类[62–64]；还有些工作利用CNN做腺体等结构的分割[65–67]。此外，利用H&E图像还可以识别病理状态，区分良、恶性肿瘤和肿瘤分级等[68–70]。例如，Cheng等人[71]结合H&E病理图像的形态特征和基因表达特征训练了一个用以区分肾透明细胞癌病人存活期的分类模型；斯坦福大学的Yu等人[70]利用TCGA数据库中2186幅肺部恶性腺瘤和鳞状细胞癌的H&E图像及相关病理报告，训练了一个能够有效预测肺癌病人的预后存活期的分类器，其中对H&E图像的细胞分割和特征提取均采用CellProfiler完成。近几年也涌现也很多采用深度学习做病理识别的工作，提取CNN的特征映射作为图像特征[72–74]，或利用大量图像做端对端的深度网络模型训练[22,75–77]，很多模型表现出了比传统模式识别方法、病理专家更优的分类性能[78,79]。
相比于H&E图像，IHC图像呈现的是特定蛋白质在细胞内的分布状态，主要用以分析肿瘤特异蛋白质的表达量和表达位置。例如HER2蛋白，其在IHC图像中的着色评分是乳腺癌诊断的一个重要指标。2016年，英国华威大学发起了一场HER2挑战赛，给定172幅HER2蛋白染色的乳腺组织的IHC图像及对应的H&E图像，要求利用算法对这些图像做自动的着色评分。该比赛吸引了来自28个国家的100多支参赛队伍，让更多人认识到IHC图像的着色评分任务的难度和重要性[80]。此外，蛋白质在细胞中的表达位置也是模式识别算法在IHC图像分析中的一个重要应用，不同的亚细胞位置在图像中所呈现的形态、纹理在较大差异，如细胞核通常呈椭圆点状，细胞膜表现为层状的细长纹，而细胞质一般是片状的区域。所以，近年来涌现出很多基于IHC图像的蛋白质亚细胞分类的工作，如Murphy研究组发布了一组专门用于亚细胞位置识别的图像特征(Subcellular Location Features, SLFs)[25,81,82]，至今都是领域内应用最广泛的特征集；本项目组开发的蛋白质亚细胞位置预测系统iLocator，在SLFs特征的基础上挖掘了局部特征的作用，在预测多标志蛋白质方面表现出了优异性能[44–46]；康奈尔大学的Hajirasouliha研究组训练了多重Inception网络结构，使IHC图像在肺癌亚型判断、癌症标志物表达、染色评分等多个分类任务中都取得了非常好的性能[22]。
3.4 基于医疗影像图像的研究
医学影像学通常借助超声波、X射线、电磁场等介质与人体相互作用，把如大脑、动脉等人体内部脏器以影像的形式展现出来，得到医疗影像，直接用于临床诊断。其中，超声成像是利用超声波声束扫描人体，通过对反射信号的接收处理而获得的体内器官的图象，目前是妇产科、眼科及心血管等科室疾病诊断的首选。X射线成像主要用以探测骨骼或软组织病变，常见应用有胸腔、腹腔X射线等，但2维X射线图像中组织器官和病灶信息重叠，识别较为困难。CT图像则是将不同角度的X射线图像合成为3维图像，重建相应人体断面的3D图像，提供人体组织和病灶的3维立体信息，是肿瘤临床放疗的重要工具。核磁共振MRI图像则是对人体组织器官中的氢原子核在外部磁场作用下产生的磁共振信息大小的度量，通过计算机对体外核磁共振信号探测器接收到的数据进行3D图像重建。MRI没有辐射暴露的危险，且其图像能够提供多角度清晰的人体软组织解剖结构和病灶影像，是临床诊断的重要工具。此外，PET图像是利用放射性元素标记的示踪剂衰变时发射的正电子信息而成像，能够从细胞水平上提供肿瘤的生物学特性，常用于癌症诊断及预后，临床上常和CT, MRI一起使用。医疗图像并不限于以上所述，还包括视网膜图像、内窥镜图像等等。
3.4.1 常用数据集
近些年，领域内开始重视临床数据的数字化及公开化，建立起多个医疗大数据中心，如美国国家癌症研究所和人类基因组研究所联合建立的TCGA数据库、美国国立卫生研究院临床中心团队组建的CT图像开放数据集DeepLesion、美国国家卫生研究所和国家老年问题研究所共同资助建立的阿尔茨海默症病人ADNI数据库等。此外，医学图像处理领域的各项挑战赛也公开了很多数据集用于基准研究，如放射学中的视觉概念提取挑战赛(http://www.visceral.eu)、医学图像分析领域挑战(http://www.grand-challenge.org)等。
3.4.2 研究现状
近几年，传统的模式识别方法已基于医学图像在器官病灶分割、病变分类等多个处理任务中取得了一定的成绩[83–87]。例如，Kuppili等人[84]对63例肝癌患者的超声图像提取了灰度共生矩阵、Gabor纹理特征等，利用SVM和极限学习机训练了肝癌诊断模型，准确率达到96.75%; Serag等人[85]提出了一个人脑MRI图像自动分割的算法SEGMA，该算法采用滑动窗口与随机森林结合的方法，遍历图像中所有位置，对体素划分为不同的组织或结构，已在不同年龄组的样本分类中表现出了高准确率和鲁棒性。但目前，CNN在医疗图像检查分类中的应用越来越广泛，正逐渐成为领域内的标准技术[5,88–94]。例如，Arevalo等人[92]提出了乳腺癌诊断的特征学习框架，采用CNN自动学习特征，对乳腺X线照片病变分类；Cui等人[93]利用公共MRI数据集训练了一个基于图像块的CNN模型，用以自动分割大脑的白质、丘脑、侧脑室，准确率达到90%；斯坦福大学的Rajpurkar等人[94]构建了一个121层的卷积神经网络，使用包含14种疾病的10万张胸部X光片来训练模型，最后用该模型与专业放射科医师同时读片，结果显示模型的诊断准确率高于人工判读。
4 展望
从以上研究现状看，模式识别算法在生物医学图像分析中的应用已广泛开展并发展迅猛，其中深度学习在性能上处于领先水平。同时我们也注意到此领域还存在着诸多待深入研究的问题(图5)，相关预测模型要取得生物专家和医生群体的完全信任，还需要研究人员付出更多努力。以下列举了几个研究趋势，以供参考。

图 5 当前生物医学图像研究中的主要挑战和可行解决方向
首先，半监督和无监督学习将在生物医学图像分析中发挥更大作用。全球实验室和医疗机构每天产生大量的图像，而专家人工标注却是一项费时费力的工作，虽然目前已有图形界面工具以方便标注，但是快速增长的数据量仍让人难以应对。实际上，这些无标注的海量数据蕴含着丰富的信息，能够学习出数据的分布模式。在模式识别中，半监督学习和无监督学习只需要少量或不需要标注数据，就能够从大量无标注数据中学习到有用信息，可作为应对数据标注问题的主要策略。
其次，组建和完善标准化的图像数据集将是重要的方向。目前医学图像数据平台相对较少，且很多数据都是非公开的，数据样本量小。在组建大的数据集时，需要采用前处理算法调整图像间差异，近期也有一些工作直接把自动学习方法运用在数据增强方面，如利用卷积神经网络由灰度图像或透射光图像预测其中的荧光部分[95,96]，由未染色组织切片的图像预测其病理染色后的图像[97]等，成为生成标准数据的新的有效办法。在标注方面，需建立或改善标注平台，方便专家按统一标准做标注；此外，目前很多专家书写的文字报告和电子病历中包含着以自然语言描述的实验和临床诊疗信息，考虑运用文本识别和自然语言处理方法把它们提取出来，也是组建标准数据集的重要步骤。
此外，多模态数据联合应用也是该领域研究趋势之一。单一类型的图像专业性强，只具备特定的显像功能，所以临床或实验常综合运用多类型数据，如PET/CT、细胞荧光图像中的多层染色等，有些还需要与非图像数据结合考虑，如病史、基因或蛋白组学等数据。多模态数据中包含着样本不同角度的信息，融合这些信息往往能够给出更优决策。所以，未来的模型中要融合哪些数据、怎样进行融合是需要研究的问题。
另外，如何增强预测模型的可解释性也是值得关注的问题。深度神经网络虽然能获得很高的鉴别力，但一直因为其可解释性弱受到诟病，此前曾出现关于可解释性在机器学习中是否必要的争论，有专家认为模型性能远比可解释性值得关注，但提高可解释性对特征组织、性能提升也会有帮助。对于生物医学图像的分析模型，尝试去解释其中的机制可以更好地运用生物医学专家的知识，提升模型可控性和可靠性，此外，还可能从难以解释的数据中发现新模式、新知识。例如，佛罗里达大学近期发表的一项研究模拟了医生的推理步骤，为预测模型提供决策依据，一定程度上提升了模型可解释性[98]，其中研究人员设计了一个多模块的神经网络系统用于H&E组织病理图像的分类，在学习过程中，系统会捕获病理学家处理病理切片的操作过程，如点击图像的位置，并将这些操作步骤与图像识别相结合，这就构成了系统分析的逻辑基础。
最后，3D生物医学图像的处理和分析将是深度学习模型发展的重要趋势。随着3D成像技术的进步，越来越多的生物实验和医学诊断开始采用细胞或器官的3D立体影像存储更具深度和结构性的信息，这也能大大提升专家对图像的理解[99,100]。但是，目前大多前沿的智能识别模型(尤其是深度学习模型)都是针对2维图像设计的，如果要处理3D图像中的体素，不仅要考虑模型输入结构的改变，还要考虑成倍增加的计算量所带来的问题，这都将对深度学习模型的发展提出挑战。
参 考 文 献
[1]MEIJERING E, CARPENTER A E, PENG Hanchuan,et al. Imagining the future of bioimage analysis[J]. Nature Biotechnology, 2016, 34(12): 1250–1255. doi: 10.1038/nbt.3722.
[2]江贵平, 秦文健, 周寿军, 等. 医学图像分割及其发展现状[J].计算机学报, 2015, 38(6): 1222–1242. doi: 10.11897/SP.J.1016.2015.01222.JIANG Guiping, QIN Wenjian, ZHOU Shoujun, et al.State-of-the-Art in medical image segmentation[J]. Chinese Journal of Computers, 2015, 38(6): 1222–1242. doi:10.11897/SP.J.1016.2015.01222.
[3]廖苗, 赵于前, 曾业战, 等. 基于图割和边缘行进的肝脏CT序列图像分割[J]. 电子与信息学报, 2016, 38(6): 1552–1556.doi: 10.11999/JEIT151005.LIAO Miao, ZHAO Yuqian, ZENG Yezhan, et al. Liver segmentation from abdominal CT volumes based on graph cuts and border marching[J]. Journal of Electronics &Information Technology, 2016, 38(6): 1552–1556. doi:10.11999/JEIT151005.
[4]文登伟, 张东波, 汤红忠, 等. 融合纹理与形状特征的HEp-2细胞分类[J]. 电子与信息学报, 2017, 39(7): 1599–1605. doi:10.11999/JEIT161090.WEN Dengwei, ZHANG Dongbo, TANG Hongzhong, et al.HEp-2 cell classification by fusing texture and shape features[J]. Journal of Electronics & Information Technology, 2017, 39(7): 1599–1605. doi: 10.11999/JEIT161090.
[5]田娟秀, 刘国才, 谷珊珊, 等. 医学图像分析深度学习方法研究与挑战[J]. 自动化学报, 2018, 44(3): 401–424. doi:10.16383/j.aas.2018.c170153.TIAN Juanxiu, LIU Guocai, GU Shanshan, et al. Deep learning in medical image analysis and its challenges[J].Acta Automatica Sinica, 2018, 44(3): 401–424. doi:10.16383/j.aas.2018.c170153.
[6]DE MATOS J, DE SOUZA BRITTO JR A, OLIVEIRA L E S, et al. Histopathologic image processing: A review[J].arXiv: 1904.07900, 2019.
[7]XU Yingying, YAO Lixiu, and SHEN Hongbin. Bioimagebased protein subcellular location prediction: A comprehensive review[J]. Frontiers of Computer Science,2018, 12(1): 26–39. doi: 10.1007/s11704-016-6309-5.
[8]LITJENS G, KOOI T, BEJNORDI B E, et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis, 2017, 42: 60–88. doi: 10.1016/j.media.2017.07.005.
[9]KRIZHEVSKY A, SUTSKEVER I, and HINTON G E.Imagenet classification with deep convolutional neural networks[C]. The 25th International Conference on Neural Information Processing Systems, Lake Taboe, USA, 2012:1097–1105.
[10]AWAD A I and HASSABALLAH M. Image Feature Detectors and Descriptors: Foundations and Applications[M]. Cham: Springer International Publishing,2016. doi: 10.1007/978-3-319-28854-3.
[11]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradientbased learning applied to document recognition[J].Proceedings of the IEEE, 1998, 86(11): 2278–2324. doi:10.1109/5.726791.
[12]SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J].arXiv: 1409.1556, 2014.
[13]SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1–9.
[14]HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al.Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas, USA, 2016: 770–778.
[15]LONG J, SHELHAMER E, and DARRELL T. Fully convolutional networks for semantic segmentation[C]. 2015 IEEE Computer Vision and Pattern Recognition, Boston,USA, 2015: 3431–3440.
[16]SZEGEDY C, IOFFE S, VANHOUCKE V, et al.Inception-v4, inception-resnet and the impact of residual connections on learning[C]. The 31st AAAI Conference on Artificial Intelligence, San Francisco, 2017: 4278–4284.
[17]HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al.Densely connected convolutional networks[C]. The 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 4700–4708.
[18]IANDOLA F N, HAN Song, MOSKEWICZ M W, et al.Squeezenet: Alexnet-level accuracy with 50x fewer parameters and <0.5 MB model size[J]. arXiv: 1602.07360,2016.
[19]HOWARD A G, ZHU Menglong, CHEN Bo, et al.Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv: 1704.04861, 2017.
[20]TAN Mingxing and LE Q V. Efficientnet: Rethinking model scaling for convolutional neural networks[J]. arXiv:1905.11946, 2019.
[21]CIOMPI F, DE HOOP B, VAN RIEL S J, et al.Automatic classification of pulmonary peri-fissural nodules in computed tomography using an ensemble of 2D views and a convolutional neural network out-of-the-box[J].Medical Image Analysis, 2015, 26(1): 195–202. doi:10.1016/j.media.2015.08.001.
[22]KHOSRAVI P, KAZEMI E, IMIELINSKI M, et al. Deep convolutional neural networks enable discrimination of heterogeneous digital pathology images[J]. EBioMedicine,2018, 27: 317–328. doi: 10.1016/j.ebiom.2017.12.026.
[23]KOH J L Y, CHONG Y T, FRIESEN H, et al. Cyclops: A comprehensive database constructed from automated analysis of protein abundance and subcellular localization patterns in saccharomyces cerevisiae[J]. G3: Genes,Genomes, Genetics, 2015, 5(6): 1223–1232. doi:10.1534/g3.115.017830.
[24]THUL P J, ÅKESSON L, WIKING M, et al. A subcellular map of the human proteome[J]. Science, 2017, 356(6340):eaal3321. doi: 10.1126/science.aal3321.
[25]BOLAND M V and MURPHY R F. A neural network classifier capable of recognizing the patterns of all major subcellular structures in fluorescence microscope images of hela cells[J]. Bioinformatics, 2001, 17(12): 1213–1223. doi:10.1093/bioinformatics/17.12.1213.
[26]彭佳林, 揭萍. 基于序列间先验约束和多视角信息融合的肝脏CT图像分割[J]. 电子与信息学报, 2018, 40(4): 971–978.doi: 10.11999/JEIT170933.PENG Jialin and JIE Ping. Liver segmentation from CT image based on sequential constraint and multi-view information fusion[J]. Journal of Electronics & Information Technology, 2018, 40(4): 971–978. doi: 10.11999/JEIT170933.
[27]SPANHOL F A, OLIVEIRA L S, PETITJEAN C, et al. A dataset for breast cancer histopathological image classification[J]. IEEE Transactions on Biomedical Engineering, 2016, 63(7): 1455–1462. doi: 10.1109/TBME.2015.2496264.
[28]The Cancer Genome Atlas Research Network,WEINSTEIN J N, COLLISSON E A, et al. The cancer genome atlas pan-cancer analysis project[J]. Nature Genetics, 2015, 45(10): 1113–1120. doi: 10.1038/ng.2764.
[29]MARINELLI R J, MONTGOMERY K, LIU C L, et al.The stanford tissue microarray database[J]. Nucleic Acids Research, 2008, 36(S1): D871–D877. doi: 10.1093/nar/gkm861.
[30]UHLÉN M, FAGERBERG L, HALLSTRÖM B M, et al.Tissue-based map of the human proteome[J]. Science,2015, 347(6220): 1260419. doi: 10.1126/science.1260419.
[31]MENZE B H, JAKAB A, BAUER S, et al. The multimodal brain tumor image segmentation benchmark(brats)[J]. IEEE Transactions on Medical Imaging, 2015,34(10): 1993–2024. doi: 10.1109/TMI.2014.2377694.
[32]IWATSUBO T. Alzheimer's disease neuroimaging initiative (ADNI)[J]. Nihon Rinsho Japanese Journal of Clinical Medicine, 2011, 69(S8): 570–574.
[33]MAIER O, MENZE B H, VON DER GABLENTZ J, et al.ISLES 2015 - a public evaluation benchmark for ischemic stroke lesion segmentation from multispectral mri[J].Medical Image Analysis, 2017, 35: 250–269. doi:10.1016/j.media.2016.07.009.
[34]YAN Ke, WANG Xiaosong, LU Le, et al. Deeplesion:Automated mining of large-scale lesion annotations and universal lesion detection with deep learning[J]. Journal of Medical Imaging, 2018, 5(3): 036501. doi: 10.1117/1.JMI.5.3.036501.
[35]RONNEBERGER O, FISCHER P, and BROX T. U-net:Convolutional networks for biomedical image segmentation[C]. The 18th International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 2015: 234–241.
[36]SCHINDELIN J, RUEDEN C T, HINER M C, et al. The imagej ecosystem: An open platform for biomedical image analysis[J]. Molecular Reproduction & Development, 2015,82(7/8): 518–529. doi: 10.1002/mrd.22489.
[37]CARPENTER A E, JONES T R, LAMPRECHT M R, et al. Cellprofiler: Image analysis software for identifying and quantifying cell phenotypes[J]. Genome Biology, 2006,7(10): R100. doi: 10.1186/gb-2006-7-10-r100.
[38]RIZK A, PAUL G, INCARDONA P, et al. Segmentation and quantification of subcellular structures in fluorescence microscopy images using squassh[J]. Nature Protocols,2014, 9(3): 586–596. doi: 10.1038/nprot.2014.037.
[39]KRAUS O Z, GRYS B T, BA J, et al. Automated analysis of high-content microscopy data with deep learning[J].Molecular Systems Biology, 2017, 13(4): 924. doi:10.15252/msb.20177551.
[40]MURPHY R F. Cellorganizer: Image-derived models of subcellular organization and protein distribution[J].Methods in Cell Biology, 2012, 110: 179–193. doi:10.1016/B978-0-12-388403-9.00007-2.
[41]CHO B H, CAO-BERG I, BAKAL J A, et al.OMERO.searcher: Content-based image search for microscope images[J]. Nature Methods, 2012, 9(7): 633–634.doi: 10.1038/nmeth.2086.
[42]NALISNIK M, AMGAD M, LEE S, et al. Interactive phenotyping of large-scale histology imaging data with HistomicsML[J]. Scientific Reports, 2017, 7(1): 14588. doi:10.1038/s41598-017-15092-3.
[43]VARGHESE F, BUKHARI A B, MALHOTRA R, et al.Ihc profiler: An open source plugin for the quantitative e v a l u a t i o n a n d a u t o m a t e d s c o r i n g o f immunohistochemistry images of human tissue samples[J].PLoS One, 2014, 9(5): e96801. doi: 10.1371/journal.pone.0096801.
[44]XU Yingying, YANG Fan, and SHEN Hongbin.Incorporating organelle correlations into semi-supervised learning for protein subcellular localization prediction[J].Bioinformatics, 2016, 32(14): 2184–2192. doi:10.1093/bioinformatics/btw219.
[45]XU Yingying, YANG Fan, ZHANG Yang, et al. An imagebased multi-label human protein subcellular localization predictor (ilocator) reveals protein mislocalizations in cancer tissues[J]. Bioinformatics, 2013, 29(16): 2032–2040.doi: 10.1093/bioinformatics/btt320.
[46]XU Yingying, YANG Fan, ZHANG Yang, et al.Bioimaging-based detection of mislocalized proteins in human cancers by semi-supervised learning[J].Bioinformatics, 2015, 31(7): 1111–1119. doi: 10.1093/bioinformatics/btu772.
[47]YUAN Rong, LUO Ming, SUN Zhi, et al. Rayplus: A webbased platform for medical image processing[J]. Journal of Digital Imaging, 2017, 30(2): 197–203. doi: 10.1007/s10278-016-9920-y.
[48]MIMICS.[M/OL]. Https: //www.Materialise.Com/en/medical/software/mimics, 2019.
[49]AVANTS B B, TUSTISON N, and SONG Gang.Advanced normalization tools (ANTS)[R]. Pennsylvania:University of Pennsylvania, 2011: 1–35.
[50]SMITH S M, JENKINSON M, WOOLRICH M W, et al.Advances in functional and structural mr image analysis and implementation as fsl[J]. Neuroimage, 2004, 23(S1):S208–S219. doi: 10.1016/j.neuroimage.2004.07.051.
[51]LOO L H, LAKSAMEETHANASAN D, and TUNG Y L.Quantitative protein localization signatures reveal an association between spatial and functional divergences of proteins[J]. PLoS Computational Biology, 2014, 10(3):e1003504. doi: 10.1371/journal.pcbi.1003504.
[52]LU A X, CHONG Y T, HSU I S, et al. Integrating images from multiple microscopy screens reveals diverse patterns of change in the subcellular localization of proteins[J].eLife, 2018, 7: e31872. doi: 10.7554/eLife.31872.
[53]LI Jieyue, SHARIFF A, WIKING M, et al. Estimating microtubule distributions from 2d immunofluorescence microscopy images reveals differences among human cultured cell lines[J]. PLoS One, 2012, 7(11): e50292. doi:10.1371/journal.pone.0050292.
[54]NANNI L and MELUCCI M. Combination of projectors,standard texture descriptors and bag of features for classifying images[J]. Neurocomputing, 2016, 173:1602–1614. doi: 10.1016/j.neucom.2015.09.032.
[55]COELHO L P, KANGAS J D, NAIK A W, et al.Determining the subcellular location of new proteins from microscope images using local features[J]. Bioinformatics,2013, 29(18): 2343–2349. doi: 10.1093/bioinformatics/btt392.
[56]PÄRNAMAA T and PARTS L. Accurate classification of protein subcellular localization from high-throughput microscopy images using deep learning[J]. G3: Genes,Genomes, Genetics, 2017, 7(5): 1385–1392. doi:10.1534/g3.116.033654.
[57]SULLIVAN D P, WINSNES C F, ÅKESSON L, et al.Deep learning is combined with massive-scale citizen science to improve large-scale image classification[J].Nature Biotechnology, 2018, 36(9): 820–828. doi:10.1038/nbt.4225.
[58]RUMETSHOFER E, HOFMARCHER M, RÖHRL C, et al. Human-level protein localization with convolutional neural networks[C]. The ICLR 2019, Las Cruces, USA,2019: 1–18.
[59]CHEN Jiamei, QU Aiping, WANG Linwei, et al. New breast cancer prognostic factors identified by computeraided image analysis of he stained histopathology images[J]. Scientific Reports, 2015, 5: 10690. doi:10.1038/srep10690.
[60]SANTAMARIA-PANG A, RITTSCHER J, GERDES M,et al. Cell segmentation and classification by hierarchical supervised shape ranking[C]. The 12th IEEE International Symposium on Biomedical Imaging, New York, USA, 2015:1296–1299.
[61]GEESSINK O G F, BAIDOSHVILI A, FRELING G, et al.Toward automatic segmentation and quantification of tumor and stroma in whole-slide images of h and e stained rectal carcinomas[J]. SPIE, 2015, 9420: 94200F. doi:10.1117/12.2081665.
[62]ARTETA C, LEMPITSKY V, NOBLE J A, et al.Learning to detect cells using non-overlapping extremal regions[C]. The 15th International Conference on Medical Image Computing and Computer-Assisted Intervention,Nice, France, 2012: 348–356.
[63]QU Aiping, CHEN Jiamei, WANG Linwei, et al. Two-step s e g m e n t a t i o n o f h e m a t o x y l i n-e o s i n s t a i n e d histopathological images for prognosis of breast cancer[C].2014 IEEE International Conference on Bioinformatics and Biomedicine, Belfast, UK, 2014: 218–223.
[64]BEJNORDI B E, LIN J, GLASS B, et al. Deep learningbased assessment of tumor-associated stroma for diagnosing breast cancer in histopathology images[C]. The 14th IEEE International Symposium on Biomedical Imaging, Melbourne, Australia, 2017: 929–932. doi:10.1109/ISBI.2017.7950668.
[65]SIRINUKUNWATTANA K, SNEAD D R J, and RAJPOOT N M. A stochastic polygons model for glandular structures in colon histology images[J]. IEEE Transactions on Medical Imaging, 2015, 34(11): 2366–2378.doi: 10.1109/TMI.2015.2433900.
[66]XU Yan, LI Yang, WANG Yipei, et al. Gland instance segmentation using deep multichannel neural networks[J].IEEE Transactions on Biomedical Engineering, 2017,64(12): 2901–2912. doi: 10.1109/TBME.2017.2686418.
[67]XU Yan, JIA Zhipeng, WANG Liangbo, et al. Large scale tissue histopathology image classification, segmentation,and visualization via deep convolutional activation features[J]. BMC Bioinformatics, 2017, 18(1): 281. doi:10.1186/s12859-017-1685-x.
[68]BARKER J, HOOGI A, DEPEURSINGE A, et al.Automated classification of brain tumor type in whole-slide digital pathology images using local representative tiles[J].Medical Image Analysis, 2016, 30: 60–71. doi:10.1016/j.media.2015.12.002.
[69]BENTAIEB A, LI-CHANG H, HUNTSMAN D, et al. A structured latent model for ovarian carcinoma subtyping from histopathology slides[J]. Medical Image Analysis,2017, 39: 194–205. doi: 10.1016/j.media.2017.04.008.
[70]YU K H, ZHANG Ce, BERRY G J, et al. Predicting nonsmall cell lung cancer prognosis by fully automated microscopic pathology image features[J]. Nature Communications, 2016, 7(1): 12474. doi: 10.1038/ncomms12474.
[71]CHENG Jun, ZHANG Jie, HAN Yatong, et al. Integrative analysis of histopathological images and genomic data predicts clear cell renal cell carcinoma prognosis[J]. Cancer Research, 2017, 77(21): e91–e100. doi: 10.1158/0008-5472.CAN-17-0313.
[72]SHARMA H, ZERBE N, KLEMPERT I, et al. Deep convolutional neural networks for automatic classification of gastric carcinoma using whole slide images in digital histopathology[J]. Computerized Medical Imaging and Graphics, 2017, 61: 2–13. doi: 10.1016/j.compmedimag.2017.06.001.
[73]BENTAIEB A, LI-CHANG H, HUNTSMAN D, et al.Automatic diagnosis of ovarian carcinomas via sparse multiresolution tissue representation[C]. The 18th International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 2015:629–636. doi: 10.1007/978-3-319-24553-9_77.
[74]WANG Chaofeng, SHI Jun, ZHANG Qi, et al.Histopathological image classification with bilinear convolutional neural networks[C]. The 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Seogwipo, South Korea,2017: 4050–4053. doi: 10.1109/EMBC.2017.8037745.
[75]CIOMPI F, GEESSINK O, BEJNORDI B E, et al. The importance of stain normalization in colorectal tissue classification with convolutional networks[C]. The 14th IEEE International Symposium on Biomedical Imaging,Melbourne, Australia, 2017: 160–163. doi: 10.1109/ISBI.2017.7950492.
[76]SHEIKHZADEH F, WARD R K, VAN NIEKERK D, et al. Automatic labeling of molecular biomarkers of immunohistochemistry images using fully convolutional networks[J]. PLoS One, 2018, 13(1): e0190783. doi:10.1371/journal.pone.0190783.
[77]COUDRAY N, OCAMPO P S, SAKELLAROPOULOS T,et al. Classification and mutation prediction from non–small cell lung cancer histopathology images using deep learning[J]. Nature Medicine, 2018, 24(10):1559–1567. doi: 10.1038/s41591-018-0177-5.
[78]KWAK J T and HEWITT S M. Nuclear architecture analysis of prostate cancer via convolutional neural networks[J]. IEEE Access, 2017, 5: 18526–18533. doi:10.1109/ACCESS.2017.2747838.
[79]OIKAWA K, SAITO A, KIYUNA T, et al. Pathological diagnosis of gastric cancers with a novel computerized analysis system[J]. Journal of Pathology Informatics, 2017,8(1): 5. doi: 10.4103/2153-3539.201114.
[80]QAISER T, MUKHERJEE A, REDDY P B C, et al. Her2 challenge contest: A detailed assessment of automated her2 scoring algorithms in whole slide images of breast cancer tissues[J]. Histopathology, 2018, 72(2): 227–238. doi:10.1111/his.13333.
[81]NEWBERG J and MURPHY R F. A framework for the automated analysis of subcellular patterns in human protein atlas images[J]. Journal of Proteome Research,2008, 7(6): 2300–2308. doi: 10.1021/pr7007626.
[82]KUMAR A, RAO A, BHAVANI S, et al. Automated analysis of immunohistochemistry images identifies candidate location biomarkers for cancers[J]. Proceedings of the National Academy of Sciences of the United States of America, 2014, 111(51): 18249–18254. doi: 10.1073/pnas.1415120112.
[83]KONDO S, TAKAGI K, NISHIDA M, et al. Computeraided diagnosis of focal liver lesions using contrastenhanced ultrasonography with perflubutane microbubbles[J]. IEEE Transactions on Medical Imaging,2017, 36(7): 1427–1437. doi: 10.1109/TMI.2017.2659734.
[84]KUPPILI V, BISWAS M, SREEKUMAR A, et al.Extreme learning machine framework for risk stratification of fatty liver disease using ultrasound tissue characterization[J]. Journal of Medical Systems, 2017,41(10): 152. doi: 10.1007/s10916-017-0862-9.
[85]SERAG A, WILKINSON A G, TELFORD E J, et al.Segma: An automatic segmentation approach for human brain mri using sliding window and random forests[J].Frontiers in Neuroinformatics, 2017, 11: 2. doi:10.3389/fninf.2017.00002.
[86]KHAN S A, NAZIR M, KHAN M A, et al. Lungs nodule detection framework from computed tomography images using support vector machine[J]. Microscopy Research &Technique, 2019, 82(8): 1256–1266. doi: 10.1002/jemt.23275.
[87]TIZHOOSH H R and BABAIE M. Representing medical images with encoded local projections[J]. IEEE Transactions on Biomedical Engineering, 2018, 65(10):2267–2277. doi: 10.1109/TBME.2018.2791567.
[88]GAO X W, HUI Rui, and TIAN Zengmin. Classification of ct brain images based on deep learning networks[J].
Computer Methods and Programs in Biomedicine, 2017,138: 49–56. doi: 10.1016/j.cmpb.2016.10.007.
[89]VAN TULDER G and DE BRUIJNE M. Combining generative and discriminative representation learning for lung ct analysis with convolutional restricted boltzmann machines[J]. IEEE Transactions on Medical Imaging, 2016,35(5): 1262–1272. doi: 10.1109/TMI.2016.2526687.
[90]TERAMOTO A, FUJITA H, YAMAMURO O, et al.Automated detection of pulmonary nodules in pet/ct images: Ensemble false-positive reduction using a convolutional neural network technique[J]. Medical Physics, 2016, 43(6): 2821–2827. doi: 10.1118/1.4948498.
[91]CHEN Hao, WU Lingyun, DOU Qi, et al. Ultrasound standard plane detection using a composite neural network framework[J]. IEEE Transactions on Cybernetics, 2017,47(6): 1576–1586. doi: 10.1109/TCYB.2017.2685080.
[92]AREVALO J, GONZÁLEZ F A, RAMOS-POLLÁN R, et al. Representation learning for mammography mass lesion classification with convolutional neural networks[J].Computer Methods and Programs in Biomedicine, 2016,127: 248–257. doi: 10.1016/j.cmpb.2015.12.014.
[93]CUI Zhipeng, YANG Jie, and QIAO Yu. Brain MRI segmentation with patch-based CNN approach[C]. The 35th Chinese Control Conference, Chengdu, China, 2016:7026–7031.
[94]RAJPURKAR P, IRVIN J, ZHU K, et al. Chexnet:Radiologist-level pneumonia detection on chest x-rays with deep learning[J]. arXiv: 1711.05225, 2017.
[95]CHRISTIANSEN E M, YANG S J, ANDO D M, et al. In silico labeling: Predicting fluorescent labels in unlabeled images[J]. Cell, 2018, 173(3): 792–803. doi: 10.1016/j.cell.2018.03.040.
[96]BRENT R and BOUCHERON L E. Deep learning to predict microscope images[J]. Nature Methods, 2018,15(11): 868–870. doi: 10.1038/s41592-018-0194-9.
[97]RIVENSON Y, WANG Hongda, WEI Zhensong, et al.Virtual histological staining of unlabelled tissueautofluorescence images via deep learning[J]. Nature Biomedical Engineering, 2019, 3(6): 466–477. doi:10.1038/s41551-019-0362-y.
[98]ZHANG Zizhao, CHEN Pingjun, MCGOUGH M, et al.Pathologist-level interpretable whole-slide cancer diagnosis with deep learning[J]. Nature Machine Intelligence, 2019,1(5): 236–245. doi: 10.1038/s42256-019-0052-1.
[99]VAKOC B J, LANNING R M, TYRRELL J A, et al.Three-dimensional microscopy of the tumor microenvironment in vivo using optical frequency domain imaging[J]. Nature Medicine, 2009, 15(10): 1219–1223. doi:10.1038/nm.1971.
[100]JONES S A, SHIM S, HE Jiang, et al. Fast, threedimensional super-resolution imaging of live cells[J]. Nature Methods, 2011, 8(6): 499–505. doi: 10.1038/nmeth.1605.
Review of Research on Biomedical Image Processing Based on Pattern Recognition
XU Yingying①② SHEN Hongbin②
①(School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, China)
②(Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University, Shanghai 200240, China)
Abstract: Pattern recognition algorithms can discover valuable information from mass data of biomedical images as guide for basic research and clinical application. In recent years, with improvement of the theory and practice of pattern recognition and machine learning, especially the appearance and application of deep learning, the crossing researches among artificial intelligence, pattern recognition, and biomedicine become a hotspot, and achieve many breakthrough successes in related fields. This review introduces briefly the common framework and algorithms of image pattern recognition, summarizes the applications of these algorithms to biomedical image analysis including fluorescence microscopic images, histopathological images, and medical radiological images, and finally analyzes and prospect several potential research directions.
Key words: Image processing; Biomedical images; Pattern recognition; Deep learning
中图分类号：TN911.73
文献标识码：A
文章编号：1009-5896(2020)01-0201-13
DOI: 10.11999/JEIT190657
收稿日期：2019-08-29；改回日期：2019-11-12；网络出版：2019-11-18
*通信作者： 沈红斌 hbshen@sjtu.edu.cn
基金项目：国家自然科学基金(61803196, 61671288)，广东省自然科学基金(2018030310282)
Foundation Items: The National Natural Science Foundation of China (61803196, 61671288), The Natural Science Foundation of Guangdong Province (2018030310282)
徐莹莹：女，1989年生，副教授，研究方向为生物图像信息学与模式识别.
沈红斌：男，1979年生，教授，研究方向为模式识别、数据挖掘以及生物信息学.