基于机器视觉的眼底病变辅助诊断

1、眼科影像在眼底疾病中的应用

世界卫生组织公布的权威数据显示，中国已成为世界第一大盲国，高盲风险的低视力人口数量也位居世界第一。研究表明，面对总人数1.5亿盲人和视力有问题的人，一个普通的眼科医生需要解决5000多人的眼部健康问题，这几乎是“不可能的事”。任务。偏远地区眼科医生短缺，发达地区大医院眼科医生短缺。

随着医学和现代科学的不断发展，医学影像学（MedicalImaging）是众多与医学相关的新兴交叉学科之一。已广泛应用于医学诊断领域。直观的依据可以配合临床症状、实验室检查等进行终准确的诊断，也可以很好的应用于治疗。医学影像是眼科疾病诊断的基础，可以获得诊断和治疗所需的形态学、定性和定量指标。其中，眼科影像设备是眼科诊疗的关键。眼科影像诊断方法可分为：X线诊断（X线、CT和MRI等）、超声诊断（A超、B超、CDI和UBM）、眼底血管造影（FFA和ICGA）和光图像诊断（角膜地形图）。图、晶状体形状图和眼底地形图等），见表1.

表1眼科成像应用

随着社会经济的快速发展，生活水平的提高，生活方式的转变5种血管瘤图片，人口老龄化的迅速到来，糖尿病、高血压等疾病的患病率和人数正以惊人的速度增长。以糖尿病为例，近20年来，我国糖尿病患病率增加了约10倍。根据世界银行亚太报告的预测，未来十年糖尿病将成为我国流行的疾病。糖尿病、高血压、高度近视患者都是眼底疾病的高发人群。糖尿病视网膜病变和高血压引起的视网膜动脉硬化是眼底疾病，可能导致失明或视力障碍。眼底是指肉眼无法看到的眼球后段。眼底疾病包括视网膜、脉络膜、视神经和玻璃体炎症、肿瘤、各种血管病变、各种退行性疾病和多系统疾病引起的眼部疾病。.不仅种类繁多，而且对视觉功能的损害也较大。目前，影响视功能的常见眼底疾病包括糖尿病性视网膜病变、老年性黄斑变性、视网膜静脉阻塞等。眼底疾病常见于动脉僵硬、高血压、糖尿病、肾炎、贫血、流感、肺结核、高度近视和颅上病变。如果能够早期诊断和治疗，可以有效控制疾病的发展；另一方面，

眼底病变常见的影像学诊断方法有：

1、检眼镜。目前常用的直接检眼镜检查方法费时费力，部分瞳孔较小的患者需要进行

散瞳容易引起眼压升高，不适合高血压、青光眼等不适合散瞳检查的患者。

2、无散瞳眼底摄影。利用高感光原理，提高相机的感光度，使用较弱的光线（较大的瞳孔）

拍摄眼底照片可以在短时间内获得图像。如果不清楚，可以通过现代技术手段减少错误，方便数据存储。并且影像清晰，可以看到更多细节，诊断周期大大缩短，缓解了散瞳剂给患者带来的痛苦。在质量控制和图像二次采集方面具有比较优势。

同时，可以在小瞳孔的情况下记录眼底图像，避免了胶片作为存储介质的弊端。

受试者能够达到良好的依从性。

3、荧光素眼底血管造影。它是1960年代出现的一种眼科检查方法。使用荧光素钠作为

造影剂迅速注入前臂静脉。当荧光素钠随血流进入眼底血管时，带有一组彩色滤光片的眼底照相机连续捕捉眼底血管外的染料转世时激发光发出的荧光图案。视网膜动态循环的过程，从而了解眼底血管微观结构和微循环的变化，为许多眼底疾病的发病机制、诊断、治疗和预后评估提供依据。但不适合患有严重心、肝、肾疾病或有药物过敏史者及孕妇。

作为近视、糖尿病、高血压等健康疾病高发的国家，眼底患者不断增多，医疗资源不足。国家医改政策倾向于让患者留在社区。接受分级治疗。社区眼科医疗队伍严重缺乏。如果眼底摄影图像的筛选能够得到人工智能的辅助，对我国眼底摄影设备的合理化改革，提高效率和整体治疗水平至关重要。

2、国外眼底病变辅助诊断研究现状及存在问题

2.1眼底病变机器智能辅助诊断的新研究

目前，我国从事眼底病研究的单位主要是相关研究机构以及与一些大学合作的一些大学和公司。大部分研究内容与糖尿病、青光眼等疾病有关。下面主要介绍对糖尿病视网膜病变的研究。

糖尿病视网膜病变（DR）发生在糖尿病损害视网膜内的微小血管，微小血管在视网膜上渗出血液和液体，形成微动脉瘤、出血、硬性渗出物、棉斑和静脉环等特征。DR可大致分为非增殖性糖尿病视网膜病变（NPDR）和增殖性

糖尿病视网膜病变(PDR)。此外，糖尿病视网膜病变也是糖尿病常见的微血管并发症之一，一般可分为亮病变和暗病变。明亮的病变包括硬性渗出物和絮状物，深色的病变包括微动脉瘤和出血。86%的1型糖尿病患者和约1/3的2型糖尿病患者都被DR致盲，这是导致成人失明的重要原因。DR已成为发达国家研究的主要内容。随着糖尿病患者数量的急剧增加，因DR导致失明和视力丧失的患者数量也在增加。目前医学上多采用眼底荧光血管造影的方法，由相关医学专家对患者病情进行观察和鉴别。今天，随着互联网+的快速发展，越来越多的视觉和听觉医学案例研究被注入。互联网的DNA（尤其是机器学习方面）。临床医学研究表明，糖尿病眼病的早期病变可特异地与视网膜的医学影像信息和细微的视神经组织结构有关。

如下：

①2013年，大学东波教授等，在省科技厅计划项目“糖尿病视网膜眼底影像早期病变”

在《变化检测关键技术研究》中，Gabor滤波结合边缘抑制技术，多尺度多延迟

使用后阈值和其他相关技术来分割和提取精细的血管结构；并使用多尺度匹配滤波和背景估计等。

相关技术对眼底病变微动脉瘤的检测准确率达到40.9%。（根据微动脉瘤的观点

视觉可观察性可分为四类：微弱的、规则的、突出的、邻近血管的、隐隐的

根据Retinopathy中的相关材料，弱的和相邻的血管微动脉瘤通常很难正确检测到

在线挑战赛当时的比较好检测结果是40%。)

②2008年，交通大学研究生林伟在导师吴纪的指导下，提出了一种基于K-近邻图的新方法。

以及自动检测视网膜硬性渗出物的研究算法。眼底图像增强技术也用于预处理，然后根据灰度、颜色、对比度等特征进行提取和分类。

③2013年航空航天大学，高伟伟等，为了寻求一种满足临床需要的硬性渗出液自动检测方法，

以此构建了基于眼底图像的糖尿病视网膜病变自动筛查系统。在利用Otsu阈值分割结合数学形态学快速提取视盘的基础上，提出了两种刚性渗出物自动检测方法（基于数学形态学的刚性渗出物检测方法）。提出了自动检测方法和基于RBF神经网络的硬渗出物自动检测方法），并在此基础上提出利用后续处理进一步提高检测精度，并对比检测结果。与其他硬渗出物自动检测方法相比，这两种方法在保证更高检测精度的基础上效率更高；这两种方法之间，基于数学形态学的方法准确度更高，而基于RBF的方法准确度更高。神经网络方法效率更高；结合临床对硬性渗出液快速可靠自动检测的要求，得出基于RBF神经网络的方法作为糖尿病视网膜病变自动筛查系统中硬性渗出液自动检测方法具有较好的性能。.得出基于RBF神经网络的方法作为糖尿病视网膜病变自动筛查系统中硬性渗出物的自动检测方法具有较好的性能。.得出基于RBF神经网络的方法作为糖尿病视网膜病变自动筛查系统中硬性渗出物的自动检测方法具有较好的性能。.

④2014年，颜红等。提出了一种基于SVM的眼底图像硬渗出检测。

形态学结合阈值法粗分割得到硬渗出候选区域；然后在候选区域上提取特征，并在特征提取中引入AM-FM（AM-FM）特征；然后使用SVM对HEs（HardExudateshardexudates）和非HEs进行分类。对公共糖尿病视网膜病变图像数据库DIARETDB1进行了实验，结果敏感性为91.1%，特异性为94.7%。结果表明，该方法可以可靠地检测HE。

⑤2016华侨大学硕士杜玉峰在凌朝东教授的指导下，根据眼底影像做出糖尿病视力。

视网膜病变检测系统的研究。在文章中，他们提出研发一种便携式眼底疾病诊断设备，让患者在视力受损之前进行定期眼底检查，这将起到早期发现和及时治疗的关键作用，同时也可以帮助数百万贫困地区的人们。医疗服务。在文章中，他们提出：“由于眼底图像质量的影响，大多数实验的正确率会很低。”因此，他们提出了一种提高眼底图像质量的方法：眼底图像的HSI空间转换，以及强度空间中的中值滤波。然后使用对比度受限的直方图均衡技术来进一步提高图像质量。下一个，将预处理后的眼底图像转换为色域更广的实验室空间，使用快速K-means聚类算法进行粗分割，然后使用SVM向量机对粗分割的候选区域（可能高血压）。由此产生的局部血管渗出很可能损害视力）提取。

2.2国外机器智能辅助诊断眼底病变的研究现状

由于各种因素的影响，国外科技发展的进步一直处于地位。在眼底疾病的研究中，早在1996年，Gardner等人。使用神经网络反向传播，BP）自动检测硬渗出物（HardExudates，HEs）。);然后沃尔特等人。通过数学形态学检测渗出液轮廓，但作者忽略了渗出液边界产生的一些误差，并没有将渗出液与絮状物分开；后来，NiemeijerM等人。直接从彩色图像中分离渗出物、絮状斑块和玻璃疣；后来，SopharakA等人。使用模糊C均值聚类算法对视网膜病变患者的无散瞳、低对比度数字图像进行渗出液自动分析。后，L.Giancardo等人。提出了一种基于Kirsch边缘检测算子和稳态小波的分析方法来分离数据集DMED中的硬渗出物，并在一般数据集上进行了测试，取得了良好的检测效果。当然，各种新的方法也在陆续提出，这里不再赘述。以下是国外学者近年来所做的相关研究：

①2008AcharyaandLimetal.,NanyangTechnologicalUniversity,Singapore,根据糖尿病视网膜病变的各种特点

性，利用形态学图像处理技术和支持向量机（SVM）技术对糖尿病患者的正常视网膜

进行了一项相关研究以检查自动检测。他们对331幅眼底图像进行分类，获得了5

分类结果：正常视网膜、轻度非增殖性糖尿病视网膜病变、中度非增殖性糖尿病视网膜病变

视网膜病变、严重的非增殖性糖尿病视网膜病变和增殖性糖尿病视网膜病变。并使用图表

图像处理技术从原始图像中提取血管、微量血液、渗出物和出血四大特征，

这些特征被转移到SVM分类器进行分类5种血管瘤图片，达到了85%的准确率、82%的灵敏度和

86%特异性（敏感性是实际患病并被正确诊断的概率，特异性是实际

疾病和被正确诊断的概率，即高敏感性=低误诊率，高特异性=低误诊率）。测试中

他们比较了分类器（朴素贝叶斯、马氏和k近邻）

发现Mahalanobis分类效果比较好。

②2011年在JayanthiSivaswamy和GopalDattJoshi博士的糖尿病科学与技术杂志上

根据大多数糖尿病患者无法接受常规眼部护理，在部分视力丧失发作后诊断

为此，提出并开发了一种基于网络的系统，用于收集和分类糖尿病患者的视网膜病变。

筛查系统检查患者的眼底图像并将视网膜病变患者的信息传递给专家进行反馈

对患者而言，它在很大程度上解决了专家的稀缺问题，并提供初级保健

一种低成本、高效且易于使用的筛选解决方案。另外，根据本系统的统计，前来查房的人中，

大约80%的人属于正常周长。该设计的创新之处在于将自动眼底图像分析集成到

在配备网络摄像头的眼底照相摄像头上，按照标准对DR患者和非DR患者进行分类，解决了大规模疾病筛查中众所周知的挑战，自动质量评估模块确保眼底转移符合分类标准的图像。此外，它是一个易于使用的界面，具有新的可视化功能，专为DR患者的病例回顾和各种眼底图片的收集而设计，可以帮助患者，减轻专家的工作压力，同时也有助于后期，DR自动识别与诊断研究

③2013AntonMKolomeyer，美国新泽西医学与牙科大学眼科与视觉科学研究所，等。

人们对眼底荧光血管造影（FAF）检测糖尿病视网膜病变的效果是否受到彩色眼底照片的影响进行了相关实验，发现在FAF图像上更容易看到微动脉瘤和脉络膜视网膜瘢痕。硬性渗出物、视网膜前出血和纤维化、黄斑水肿和Hollenhorst斑块在彩色照片上更容易识别。因此，FAF成像作为一种彩色眼底成像技术，在眼底筛查中发现糖尿病视网膜病变具有进一步研究的价值。

④2016MalavikaBhaskaranand和Chaithanya在《糖尿病科学与技术》杂志上

拉马钱德拉等人。提出了糖尿病视网膜病变（DR）自动筛查和分析的新思路。他们将患者的眼底图像按像素进行组织分类，对低像素（影响临床诊断）的图像进行临时分类。搁置一旁，用更好的像素增强图像（主要是增强血管、出血、棉点、微动脉瘤、黄斑水肿等特征），在去除边界干扰和噪声后，使用监控工具对每个特征像素进行监控。标记和调度利用一组特征描述符（多尺度中值滤波器组描述符、定向中值滤波器组描述符和其他已建立的描述符）来描述由各个特征区域检测器识别的像素（这允许在多个尺度上进行局部描述）。使用综合监督学习分类器对计算的像素描述符进行分类，以获得描述属于MA（微动脉瘤）的像素的置信度的决策统计，并使用监督学习分类器分析杂交像素以识别微动脉瘤。动脉瘤、出血、硬性渗出物、棉斑、黄斑水肿和新生血管。这种分类导致90%的敏感性和90%的特异性。因此，使用他们提出的自动DR（糖尿病视网膜病变）筛查和监测工具可以大大减轻医疗保健系统的负担，同时为糖尿病患者提供更好的护理。

近年来将机器学习方法应用于眼底病变的研究成果统计如下：

表2机器学习在眼底病变（糖尿病）诊断中的应用统计表

3、现有研究基础与展望

目前，对于眼底图像分析，我们已经开展了一些预研工作，方案包括以下几个部分：

数据来源：我们现有的数据为某医院及该院相关医生提供的标记过的眼底图像（325张，分辨率为1536x1590）。图片类型主要有黄斑变性图片、糖尿病视网膜出血图片（微动脉瘤）、需要临床检测的图片（无法检测）、正常视网膜图片等，由于部分数据存在质量问题（图片为模糊，无法显示具体病灶特征），难以识别图片中的特征。麻烦。

以下是基于现有数据的六类图片中的一些：

视网膜分支静脉阻塞性黄斑病变

微血管动脉瘤（糖尿病视网膜病变）正常眼底图像

中质性视网膜出血

一些技术细节如下所示：

数据预处理和实验设备的准备：目前我们的设备主要是用GPU进行深度学习

计算机（包含用于深度学习的caffe框架）。图像预处理阶段是利用数字图像处理技术，使图像中的特征更加突出，缩小图像尺寸，提高算法运行速度。

图像采集

图像的筛选数据预处理

掩模处理均衡处理

眼底图像预处理

质量不合格的图像筛选

提高图像质量、裁剪图像大小、平均强度

平衡处理

神经网络的预训练

标记数据以生成日志文件

神经网络训练

网络参数选择中的隐藏层数

阈值和传递参数

为每种类型的图像添加0到4的标签，并生成相应的计算机可识别的日志文件。

片

根据数据集大小设置隐藏层数，不断修改参数。

求解算法

可能瓶颈的实验分析

某类精度太低，整体精度很低

将某个准确率低的类别单独取出进行二次分类，由于整体准确率低，特征提取数据不平衡。

这些数据过拟合的问题是由于数据太少造成的，可以通过2D图像的3D重建产生。

所需数据

判断实验结果的标准

以图像蒙版处理为例。掩码是由0和1组成的二进制图像。在函数中应用掩码时，会处理1值区域，而被掩码的0值区域不包括在计算中。通过指定数据值、数据边界、有限或无限值、感兴趣区域和注释文件来定义图像掩码，或者可以将上述选项的任何组合用作构建掩码的输入。具体步骤：首先提取感兴趣区域，将预制的感兴趣区域掩膜与待处理图像相乘，得到感兴趣区域图像，感兴趣区域的图像值不变，图像值区域外全部为0（提取感兴趣区域）；然后使用遮罩遮盖图像上的某些区域，

然后使用相似度变量或图像匹配的方法，检测并提取图像中与掩模相似的结构特征（结构特征提取）；后用选中的图像、图形或对象遮挡要处理的图像（全部或部分），来控制图像处理的区域或过程（生成目标图形）。用于覆盖的特定图像或对象称为蒙版或模板。在实验中，我们首先使用图像掩膜来减少眼底图像中的感兴趣区域

（RegionofInterest，ROI）边界，对图像进行阈值转换分割，通过实验确定达到比较好分割效果时的阈值，然后对图像进行两次形态学开运算，从背景和前景中去除小区域领域。对于终的图像掩膜，原始图像与得到的掩膜图像相乘，得到没有背景噪声的图像，而感兴趣区域保持不变。后，裁剪眼底图像的大小以减少处理时间。对帧进行裁剪，上下左右各加20个像素，得到终的图像掩码和待处理的图像（一方面缩小图像尺寸，提高运行速度）算法，另一方面，

●血管特征提取后的眼底图像

●神经网络训练和数据验证测试：对于网络选择，我们现有的网络模型有

Goole-net、image-net和alex-net是三个网络（这三个网络适用于不同大小数据集的分类）。对于神经网络的训练，参数的选择和隐藏层的设置（隐藏层数、传递参数和阈值的选择，我们可以结合遗传算法优化选择，使实验效果一样好）尽可能）；根据原来的325张彩色眼底图像，筛选后有300张合格图像，训练集我们使用150张图像，50张图像作为验证集，100张图像作为测试集（每种眼底

包括图像）。对实验效果的评价是通过相对准确率来衡量的，即每个类都有一个TP（放

P类被正确分类为P类的概率高）、FP（将其他类误分类为P类的概率）、准确度（总

正确身体分类的概率），在实验中，对于一直无法提高准确率低准确率的类别，可以使用

将其单独分离出来，对其他的进行分类后，进行二分类实验。这个实验在

在caffe框架下，有几个模型用于学习和训练。由于神经网络的自适应学习特性

点，对特征明显的数据进行分类，一般会取得较好的效果。

3.1问题

基于对国外眼底疾病研究的分析和预研，我们发现目前眼底影像辅助分析存在以下突出问题：

1、现有研究多针对某一类特定病灶，尚未对多种眼底病灶进行辅助诊断。

然而，在实际应用中，自动诊断仍不能取得良好的效果。

2、现有的研究往往基于一种类型的眼底图像，缺乏不同图像之间的融合信息。不同种类的

眼底图像的辅助诊断效果也存在差异。例如，眼底荧光血管造影得到的黑白图像和彩色眼底图像在突出不同病变特征方面存在很大差异。

3、眼底图像的质量和数量会极大地影响实验结果。除个别研究机构外，一般

使用的图片数量较少，还有很大的改进空间。

4、眼底病变部分特征干扰因素过强，目前还没有找到更好的消除方法，导致识别效果不佳。

结果不好。例如：很多红色病灶，尤其是血管，与血管相连，很难完全去除；很多微动脉瘤体积很小，离血管很近，很难达到很好的分割效果；外因引起出血和血管。病变引起的出血特征尚未明确区分；

5、现有研究多使用二维数据，缺乏三维信息。如果可以使用二维图像，眼球可以

三维建模对于眼部病变的辅助诊断将非常有用。

3.2解决方案

针对上述问题，我们在预研的基础上提出以下解决方案和技术路线。

1、针对多种常见眼底病变建立统一的眼底模型；

2、使用不同设备采集眼底信息，对多通道眼底信息进行融合分析；使用各种类型的眼底阴影

点赞信息，提高辅助诊断的准确性；

3、分析眼底相机的成像机理，采用更适合处理眼底图像变形的图像预处理方法，增强特殊

符号;

4、用深度学习技术替代传统机器学习，构建多类病灶的高分辨率和泛化能力

分类器；

5、尝试对眼部病变进行3D建模。使用合成模型生成样本以增加深度学习

训练集中的样本数，通过校正真实样本建立回归模型。或者考虑使用生成对抗网络来训练和改进病变分类；

6、设计并实现眼底病变辅助诊断系统，以手机APP形式构建眼底病变

远程诊断（预判）/分级医疗预诊断（会诊）平台。

4、期待得到支持和帮助

目前，我们的预研实验距离理想效果还有很大的提升空间，迫切需要眼科专业人士的支持和帮助。根据前期工作分析，我们目前需要的帮助主要包括以下几个方面：

1、需要收集更多的眼底图像；

2、要求专业人员在图片上标注特征区域，建立图片类别标签；

3、需要专业指导选择2-3种病变（临床研究常见/重要）进行研究

目前，项目组人员主要是大学计算机学院的青年教师，均为计算机科学博士和硕士。该项目的主要实施地点是市软件工程重点实验室。目前，课题组成员负责国家自然科学基金项目2个相关项目，即三维建模和植物病害诊断；此外，还承担并完成了多项省部级项目。

我们深知，医务工作者工作量大、责任重；除了您自己的工作外，我们还需要您对这个项目的支持。我们非常感谢和珍惜这次合作机会。我们期待该项目的研究能够取得突破，助力我国眼科影像医学的发展。