基于EasyDL开发糖尿病眼底病变人工智能分级诊断模型及其验证评价.docx

《基于EasyDL开发糖尿病眼底病变人工智能分级诊断模型及其验证评价.docx》由会员分享，可在线阅读，更多相关《基于EasyDL开发糖尿病眼底病变人工智能分级诊断模型及其验证评价.docx（10页珍藏版）》请在第一文库网上搜索。

1、基于EasyDL开发糖尿病眼底病变人工智能分级诊断模型及其验证评价曹绮雯王春晖万杰君王金龙杨群峰【摘要】目的创新性利用人工智能(AI)开放平台EasyDL独立开发糖尿病视网膜病变(DR)的AI辅助诊断模型，并对其诊断准确指标进行评价。方法采用Kaggle公开的糖尿病眼底疾病数据集的35126张眼底照片作为训练集，上传至EasyDL开放平台建立AI辅助诊断模型。收集在眼科进行临床DR筛查的150例糖尿病患者共300张双眼的彩色眼底照片作为测试集，以3位副高及以上职称眼科医师的诊断为金标准，分别评价AI诊断模型、初级医师、中级医师及联合诊断对DR分级的诊断准确性。结果非DR和轻度非增生型DR (N

2、PDR)患者共170例，中度、重度NPDR和增生型DR (PDR)患者共130例。AI诊断模型灵敏度高但特异度低，各项诊断指标和中级医师诊断接近，比初级医师诊断优秀。当AI诊断模型和临床医师诊断相结合时，诊断的准确率和灵敏度均有所提高。在与金标准的一致性评价中，AI诊断模型的kappa系数为1.00,而中级医师诊断的kappa系数为0.88(P均0. 01)o结论基于开放平台EasyDL建立的AI诊断模型操作简单，能为DR的初筛提供帮助，同时也为不具备深度学习算法知识的临床医师提供有效的科研工具。【关键词】糖尿病视网膜病变；人工智能诊断模型；诊断准确性研究AbstractObjectiveTo

3、innovativelyutilizetheopenartificialintelligenceAIplatformEasyDLtoindependentlydevelopanAIauxiliarydiagnosismode1fordiabeticretinopathy(DR ),andevaluateitsdiagnosticaccuracyindicators. Methods35126fundusphotosofthediabetesfundusdiseasedatasetpublishedbyKagglewereusedasthetrainingset,anduploadedtothe

4、EasyDLopenplatformtoestablishanAIaxiliarydiagnosismodel. Atotalof300colorfundusphotographsofbilateraleyesof150patientswithdiabetesmellituswhoreceivedclinicalDRscreeningwerecollectedasthetestset. Thediagnosisof3ophthalmologistswithdeputydirectortitleorabovewasconsideredasthegoldstandard. Thediagnosti

5、caccuracyforthegradingofDRbytheAIdiagnosismodel,juniorphysicians,intermediatephysiciansandthesecombinedwasevaluated,respectively. ResultsTherewerel70patientswithnon-DR ( NDR )andmildno-proliferativeDR( NPDR ),andl30patientswithmoderateandsevereNPDRandproliferativeDR(PDR) .AIdiagnosticmodelhadhighsen

6、sitivitybutlowspecificity. AIdiagnosticindexeswereclosetothoseofintermediatedoctorsandbetterthanprimarydoctors. WhenAIdiagnosticmodelwascombinedwithphysiciandiagnosis,theaccuracyandsensitivityofdiagnosiswereimproved. Intheconsistencyevaluationwiththegoldstandard,thekappacoefficientoftheAIdiagnosismo

7、delwasl. 00,and.88fortheintermediatephysicians(bothP0. 01) .ConclusionsTheAIdiagnosismodelbasedontheopenplatformEasyDLissimpleandeasytooperate,whichcancontributetothepreliminaryscreeningofDR. Italsoprovideseffectivescientificresearchtoolsforphysicianswholackoftheknowledgeofdeeplearningalgorithms.LKe

8、ywordsDiabeticretinopathy；Artificialintelligentdiagnosismodel；Diagnosticaccuracystudy糖尿病可引起多槿长期并发症，其中糖尿病视网膜病变(DR)是糖尿病性微血管病变中最常见且严重的并发症之一。DR已经是我国一个严重的公共卫生问题。据医疗公开数据显示，目前糖尿病患者数量仍在逐年增长，我国糖尿病患者数量已被公认为全球最多，约1.39亿人。DR患病率在我国农村高于城市、北方高于南方和东部，DR病程10年者的发病率约为7%,病程1014年者的发病率约为26%,病程215年者发病率约为63%,其中病程30年者发病率高达95

9、%1。一方面，通过眼底照相筛查DR是一种非常重要的预防手段，但需要技术成熟的眼科医师阅片，这在资源不足的基层医院难以实现2。另一方面，DR病变种类多样、表现复杂，眼科医师对眼底图像判断存在主观因素、效率低等问题。为解决上述问题，国内外开展了大量利用人工智能(AI)系统对眼底照片阅片应用的研究。我国眼科领域在AI浪潮袭来之时，采取积极的态度面对，已有大量的研究成果和产品推出3。然而这些高科技成果大部分仅在大型三甲教学医院应用，基层医院无法承担其高昂的成本。基层医院要建立自己的眼底AI诊断系统面临许多难题：临床医师缺乏复杂的深度学习算法技术;单中心医院难以积累大量的训练数据并进行建模;算法落地到硬

10、件应用需要较高的成本4。目前国内许多的大型互联网企业，如百度、腾讯、华为等均开发了各自的AI开放平台，提供简易的AI建模方法，为缺乏深度学习算法技术的传统行业助力5。为此，本研究采用kaggle公开的糖尿病眼底疾病数据集，利用EasyDL开放平台建立眼底阅片的AI诊断模型，并对其检测效果进行评价。对象与方法一、DR的分级依据DR国际分级标准将患眼图片分为非DR (NDR)、轻度非增生型DR(NPDR)、中度NPDR、重度NPDR和增生型DR (PDR) 6。其中NDR(DRO级)指眼底无异常，轻度NPDR (DR1级)指仅有微血管瘤，中度NPDR (DR2级)指不仅有微血管瘤但病变轻于重度DR

11、,重度NPDR(DR3级)指具有下列任何一项：4个象限中任何一个象限有20个以上的视网膜内出血点；2个以上象限有明确的静脉串珠样改变；1个以上象限有明确的视网膜内微血管异常;无PDR体征;具有下列1项或多项，如新生血管形成、玻璃体出血、视网膜前出血。二、训练集图片获取与AI诊断模型构建方法采用kaggle公开的糖尿病眼底疾病数据集(https ：/. kaggle. com/c/diabetic-retinopathy-detection/data )， 数据集共有35126张眼底照片，每张照片已基于糖尿病眼病的国际分级标准作好标签。训练图像用Kowa-10alpha数码眼底照相机用50视场拍

12、摄，分辨率为3888X2592和4752X3168,采用24位彩色JPG格式。AI视觉模型的训练采用百度的EasyDL开放平台；模型训练采用迁移学习。神经网络已在其他大型数据集进行了预训练，底层网络的参数大部分已固定。上传训练集图片后，重新训练部分上层网络的参数，构建出新的一个分类器。三、纳入患者与测试集图片获取收集2022年1月至2022年5月在我院眼科进行临床DR筛查的150例糖尿病患者（300眼）共300张彩色眼底照片作为测试集，图像由T0PC0N-50DX的台式眼底照相机拍摄，眼底照片分辨率为2880X2136,格式为JPG,色彩模式为RGB。测试集可进入百度的EasyDL开放平台，对

13、AI诊断模型进行验证。本研究方案遵循赫尔辛基宣言及药物临床试验质量管理规范（GCP）,入组前患者均已签署知情同意书。所有患者图片均已进行脱敏处理。四、金标准与评价指标的设定测试集图片由3位副高及以上职称的眼科医师做标注,采用多数同意的规则，确定同一图片的病变分级。将标注后的图片作为金标准。AI诊断模型完成对病变的检测评价后，将测试数据集分别给予1位有10年以上相关工作经验的中级医师和1位3年以下相关工作经验的初级医师进行检测评价。最后将两者诊断联合，即先由模型进行初筛，再由初、中级医师根据经验进一步做出诊断。分别对比AI诊断模型和初、中级医师诊断的准确性。DR2级及以上的患者往往需要进一步诊治

14、和随访，故把EasyDL的任务设定为二分类，区分01级和24级的患者图片，使用5个通用分类指标（准确度、灵敏度、特异度、阳性预测值和阴性预测值）估计分类器的所有深度神经网络模型的性能。五、统计学处理使用R3. 6.1软件处理数据，通过绘制受试者操作特征（R0C）曲线等进行各评价指标及可信区间的计算，利用nsR0C包对比R0C曲线下面积（AUC）间差异。P0. 05为差异有统计学意义。除训练集和测试集之间的ROCAUC比较采用单侧检验外，其余均用双侧检验。结果、AI诊断模型在训练集和测试集中的评价本研究共纳入DRO-1级患者170例，DR2-4级患者共130例。AI诊断模型在训练集中表现良好，准

15、确率在91%以上,AUC达到了 0. 935,但在测试集中各项性能有所下降（表1）, AUC仅为0.862,训练集和测试集之间的AUC比较差异有统计学意义（Z=-1.710, P=0. 040）o二、AI诊断模型与不同级别医师的评价指标对比AI诊断模型灵敏度高但特异度低，各项诊断指标和中级医师接近,优于初级医师。当AI诊断模型和医师诊断结合时，诊断的准确度和灵敏度均有所提高，见表2。三、AI诊断模型与不同级别医师的一致性评价AI诊断模型和医师对测试集进行了 2次诊断评价，并对2次结果行kappa一致性分析（AI诊断结果与诊断结果的一致性）。中级医师和初级医师均对相同的数据有一定程度的波动，kappa系数分别为0. 88和0.74,提示无论是中级医师还是初级医师，对同一数据判断结果的一致性有波动;AI模型保持了较好的诊断结果的稳定性，kappa系数为1.00 （P均0.01）,见表3。讨论目前，国内外关于眼底阅片和AI两者医工结合的研究如火如荼。中山大学中山眼科中心早在2022年5月就开始了眼科疾病的AI诊断系统研发，提示基