基于深度学习的中医舌像分类模型研究
这是一篇关于中医舌诊,舌像分割,舌像颜色校正,舌像特征识别,深度学习的论文, 主要内容为中医通过四诊合参分析疾病内在联系综合判断病证,中医舌诊是望诊的重要内容。中医舌诊客观化过程中,存在舌像分割精度不高,舌像颜色校正效果不佳以及舌特征识别较差的问题。采用Django框架进行服务端开发,通过Vue、Boot Strap等框架进行浏览器端开发,实现中医舌像辅助平台。论文工作内容如下:1.针对传统模型分割精度不高和基于深度学习的分割方法存在感受野较小的问题,基于金字塔场景解析网络提出金字塔池化舌像分割算法(PPTIS-Net,Pyramid Pooling Tongue Image Segmentation Network)。首先使用Res Net101网络进行主干特征提取,进而通过金字塔型池化对舌图像特征进行多尺度特征提取,最后通过全连接和反卷积操作将分割后舌像还原至原尺度生成分割后结果。与Mask-RCNN等算法在分割像素精度、F1值和平均交并比进行对比,并在像素精度和平均交并比上取得良好成绩。2.针对舌像颜色校正效果不佳,提高舌像颜色恒常性效果的问题,采用了基于“主客观两阶段舌像颜色校正算法(TDCCN,Two-Phase Deep Color Correction Network)”并对模型进行了改进,将其中客观阶段原五层卷积层网络修改为Alex Net,创造性地将经典网络与现有算法进行了结合,改进后的算法称为“两阶段舌像颜色校正算法(TSTICC-Net,Two-Stage Tongue Image Color Correction Network)”。针对颜色校正数据集缺乏的问题,针对图像的对比度、色度、亮度以及锐度四个方面进行了扩充。算法首先采用经过训练的Alex神经网络对原图像进行第一次客观校正,接着进行以7)颜色空间为基础的主观阶段颜色校正获得最终的校正图像。论文提出了基于三通道像素差和比率均值评价指标,对原算法两阶段和改进后算法两阶段的不同配置的消融实验得出改进后算法优于原算法6.37%。3.针对中医舌诊中舌齿痕和舌裂纹特征识别精度不高的问题,由于这种识别属于细粒度的识别方案,因此提出使用基于挤压膨胀模型网络的“挤压膨胀舌特征识别算法(SETFR-Net,Squeeze Expansion Tongue Feature Recognition Network)”。算法通过将挤压膨胀结构与主干网络相结合,在每一次计算提取特征的过程中,对各通道的特征进行重标定,增强有效特征权重,抑制无效特征权重,最终提高特征识别结果。算法创造性地将挤压膨胀网络算法与舌特征识别任务相结合,通过与VGG16等网络模型在平均准确率、宏观准确率、F1值和召回率4个指标进行了对比,在舌裂纹特征的评价结果上,四个指标取得优异成绩;在舌齿痕特征评价结果上,除宏观准确率指标外,其他指标均取得优异成绩。4.设计并实现中医舌像辅助平台,采用B/S架构,基于Django框架实现,使用My SQL数据库和Redis数据库,平台具备医师和患者角色功能。医师端实现诊断、舌像处理、病历处理和辅助显示;患者端实现舌像处理、病历处理和辅助显示。
基于图像分割与检测的舌体特征识别研究
这是一篇关于中医舌诊,舌体分割,舌像特征识别,舌诊数据的论文, 主要内容为近年来,深度学习技术在中医舌诊领域得到广泛应用,主要应用于舌体图像的语义分割和特征分析。然而,由于人脸图像的复杂性,舌头分割容易受到嘴唇和面部不均匀的影响,导致舌体分割存在一定的困难性。由于其形态和位置的多样性,有些齿痕和裂纹可能非常细小,舌体齿痕和裂纹的识别难度较大。此外,舌头数据获取和标注困难,标注过程需要一定的中医背景经验。因此,解决这些困难问题仍然是深度学习技术在中医舌诊领域应用中需要面对的挑战之一。本文旨在探究如何应用深度学习技术来解决以上问题,本文将重点研究如何提高舌体分割和特征提取的效果。本文的主要贡献包括:1.自制了舌诊语义分割和裂纹齿痕特征数据集,由中医院提供原始图像,经过筛选、预处理并在中医医师的指导下进行标注等操作,得到了不同年龄段、不同健康状态的4500张舌头语义分割数据,以及3206张具有齿痕和3742张具有裂纹的数据。2.针对中医舌诊领域中舌体分割,提出了基于挤压激励跳跃连接的多尺度分割算法。该结构采用Res Net50作为编码器,配合融合注意力机制以解决编码器因池化造成的特征损失问题。为解决编码器解码器特征差异大融合效果差的问题,本文提出了残差跳跃连接和深度挤压卷积模块。同时,使用多尺度特征融合模块将特征信息进行结合,以进一步提高分割精度。实验结果表明,该算法在自制舌诊分割数据集m AP达到94.56%,相比于U-Net算法提升了2.02%。3.针对中医舌诊齿痕和裂纹特征识别,提出了基于注意力跨层特征融合的目标检测算法。本文提出了特征融合模块CBAC,该模块引入注意力机制,并使用跳跃连接来更好地融合主干和颈部特征。为了更准确地捕获缺陷区域并过滤掉无用信息,本文还提出了注意力NECA模块,放置在主干网络加强特征提取、连接颈部不同尺寸输出支路建立多尺度特征图联系。考虑到舌齿痕和裂纹密集分布,可能导致生成的锚框相互遮挡,本文提出了DIo U损失函数替换GIo U损失函数,进一步提高了检测效果。实验结果表明,该算法在自制舌诊检测数据集上m AP@0.5达到89.19%,相比于YOLOv5算法提升了2.30%。4.设计并实现一款中医智能舌诊系统,采用本文提出的改进算法实现部分功能,可通过识别舌头图像的特征信息给出相关诊断建议,实现用户系统自主诊断。
基于知识图谱及神经网络的乳腺癌中医舌诊中药推荐技术研究
这是一篇关于中医舌诊,肿瘤舌象,知识图谱,神经网络,中药推荐的论文, 主要内容为目的:基于传统中医理论及知识,通过前沿计算机人工智能技术,探寻计算机技术在中医肿瘤舌诊领域的应用。本研究利用知识图谱技术、神经网络技术以及隐式反馈协同过滤推荐思想,结合中医舌诊的临床思辨逻辑以及其在肿瘤方面的作用,复现舌诊思辨逻辑,并挖掘学习肿瘤舌象与中医处方中药物之间潜在关系,逐步构建乳腺癌舌诊中药推荐模型,实现模拟所学医师的组方遣药思维进行中药推荐。方法:1、基于知识图谱的中医舌诊知识图谱研究。中医辨证论治思想的背后是一个系统性的逻辑体系,从审症到开方都有逻辑可循。依据舌象在中医肿瘤辨证施治过程中有提纲挈领的作用,利用知识图谱技术,通过自顶向下的构建方式去搭建以舌象信息为主导的中医舌诊知识图谱。研究以中医辨证论治理论为核心,从中医“理、法、方、药”四个层面去设计中医舌诊知识图谱的模式层(本体层)。依托模式层的实体类型,本研究在中医学专业理论课本、国家标准、临床门诊记录等多源非结构性数据中收集知识本体,在经过知识抽取、加工、及知识融合等步骤后,形成中医舌诊知识图谱的数据层。最后通过Python编程语言将实体和三元组导入Neo4j图数据库,实现中医舌诊知识图谱的存储功能。并使用知识图谱自身具备的可视化展示、图查询及路径检索等功能,以验证中医舌诊知识图谱的可行性。在此基础上使用知识图谱的MATCH查询语言采集舌象与药物之间的所有路径信息,以及采用TransH知识表示技术对图谱中各个实体和关系进行处理,获得其表示向量,为本文构建乳腺癌舌诊中药推荐模型提供“舌象--药物”路径(逻辑)向量数据基础。2、基于卷积神经网络的舌象辨识模型研究。为探究肿瘤舌象与中药之间的潜在联系,需采集双方各自的特征表示。在舌象方面,本课题根据当前卷积神经网络技术的研究进展,选择利用MXNet深度学习网络框架来搭建以ResNet残差网络结构为网络主体的舌象辨识模型。研究参考ResNet残差网络中ResNet-18、ResNet-34、ResNet-50三种网络结构分别构建舌象辨识模型网络。用于训练模型参数的舌象数据集采自于广东省人民医院中医科门诊。从中筛选取较为完整的舌正面图片(不包括确诊为乳腺癌的患者舌象),在经过裁切、人工属性标记后,将原始数据集打散随机重新排列,采用验证集法将重新排列好的数据集随机划分为训练集(样本占80%数据集)和验证集(样本占20%数据集),随后对训练集和验证集的数据作进一步裁剪变换及数据增强处理。基于上述数据操作与处理重复进行10次实验,以总体准确率和总体Loss值作为评价参数,取10次实验中每次总体准确率最高值的平均值以及各模型单次最高总体准确率最大值作为评判模型综合辨识能力的指标,用于评估基于ResNet-18、ResNet-34、ResNet-50三种模型网络构建的舌象辨识模型的可行性以及各模型的舌象属性识别效果。并通过横向对比找出辨识效果最优者,作为本研究构建舌诊辨识模型的基础结构,为本文构建乳腺癌舌诊中药推荐模型的训练提供舌象属性信息以及舌象图片特征向量。3、基于知识图谱及神经网络的乳腺癌舌诊中药推荐模型研究。基于知识图谱知识表示学习技术、神经网络技术和隐式反馈协同过滤推荐思想,构建舌象药物推荐模型,挖掘并学习肿瘤舌象与处方中药物之间的潜在关系。在获取与处理实验数据集方面,本研究以广东省人民医院中医科肿瘤门诊乳腺癌患者的舌象作为图像数据集,与其对应的中医处方数据一起,作为训练药物推荐模型的原始数据集。对于处方数据的处理,依据协同过滤推荐算法中对交互数据种类的区分,结合中医在组方遣药上具有千人千方的特点,研究将原始处方数据集中归属于A医生和B医生的处方数据按照隐式反馈数据进行处理。舌象图像数据则利用舌象辨识模型进行舌象属性识别和图片特征向量获取。在模型框架构建方面,在MXNet深度学习框架下利用Python语言,借鉴神经协同过滤推荐模型NCF框架(Neural Collaborative Filtering)的思路构建舌象药物推荐模型(Tongue-image Recommended Herb Model,TRHM),以推荐结果的TOP-10排序结果的准确率和中医专家(A医生、B医生)对模型所推荐药物的评判作为评价指标,用于验证基于神经网络基于及知识图谱技术构建的TRHM模型用于中药推荐任务的可行性,以及评估模型的推荐性能。结果:1、基于知识图谱技术构建中医舌诊知识图谱。基于中医舌诊的临床思辨逻辑,研究为模式层(本体层)共设计12种实体类型,包括舌(Tongue)、舌象属性(Tongueattribute)、舌部位(Tonguepart)、脏腑(Organ)、病性(Causedisease)、症状(Symptom)、证候(Syndrome)、中药(Herb)、功效(Treatment)、药性四气(Property)、药性毒性(Toxicity)和药性五味(Taste)。以及包含有部位关系(TongueTonguepart)、反射关系(TonguepartOrgan)、病位关系(OrganSyndrome)、证素关系(TongueimageCausedisease)、病性关系(CausediseaseSyndrome)、症状关系(SymptomSyndrome)、治法关系(SyndromeTreatment)、药效关系(TreatmentHerb)、药性关系四气(HerbProperty)、药性关系味(HerbTaste)、药性关系脏腑归经(HerbOrgan)和药性关系毒性(HerbToxicity)等在内的12种语义关系。经过知识抽取、加工、及知识融合等步骤后,中医舌诊知识图谱的数据层包含有12种标签下的2686个节点,12种关系类型下的19215条关系。最终建成的中医舌诊知识图谱依托自身的MATCH查询语言实现了图查询及路径检索等功能,并运用MATCH查询语句将所有舌象属性与中药之间的路径采集([舌象属性]->[病性]->[证候]->[治法]->[中药]),共9860条。TransH知识表示技术分别对2686个节点和12种关系类型进行了向量化表示。2、基于卷积神经网络技术构建舌象辨识模型。结合中医舌诊的内容,为舌象辨识模型设计舌象分类标签。根据所收录的临床舌象图片信息特点,最终将舌象属性划分为22种,分为舌质与舌苔两大类。其中舌质取舌色和舌形两类属性,舌苔取苔色和苔质两类属性。具体为:淡白舌、淡红舌、暗红舌、红舌、青紫舌、老舌、齿痕、点刺、瘀斑、裂纹、白苔、黄苔、灰黑苔、薄苔、厚苔、燥苔、润苔、滑苔、腻苔、剥落苔、偏苔和全苔。通过实验结果发现ResNet-18、ResNet-34、ResNet-50三种模型网络的训练很快达到拟合。在进一步的横向对比分析中,发现三种模型的最高总体准确率平均值分别达到了 86.77%、86.97%和87.13%,都能对舌象属性进行较好的识别,且三者的辨识准确率之间有统计学差异(P<0.01),其模型综合辨识能力按照数值大小排序可得ResNet-50>ResNet-34>ResNet-18,其中以ResNet-50模型验证集的数据表现最优,其最高总体准确率达到87.19%。3、基于知识图谱及神经网络的乳腺癌舌诊中药推荐模型研究。在对各超参数进行调整实验后,TRHM模型在A医生和B医生的数据集上分别获得了 54.11%和52.11%的最高准确率。进一步分析发现评分低的样本的药物与原处方的治疗思路有巨大差异,是由于输入的舌象属性存在偏差导致。而其他评分样本,其推荐的不在原处方上的药物同样能适用于输入的舌象。在中医专家(A医生、B医生)对模型所推荐药物的评判中,A、B两个数据集分别有92.15%和73.6%的结果被认为所推荐的中药大部分甚至完全适用于对应舌象。结论:1、研究表明以舌诊信息为出发点,从“理、法、方、药”四个层次设计构建中医舌诊知识图谱是可行且有效的。从舌象属性信息到中药(舌象属性-病性-证候-治法-中药),蕴含一条完整的中医辨证论治的思辨路径。实现了可视化展示、图查询及路径检索等功能,为查询、分析及展示依舌象组药的思维逻辑提供可视化平台。通过知识表示技术的向量化转变,让中医舌诊知识图谱中蕴含中医辨证论治逻辑的路径信息为乳腺癌舌诊中药推荐模型提供“舌象-药物”特征数据。2、基于ResNet-50网络结构所构建的舌象辨识模型对舌象属性有较好的识别,能为本文构建乳腺癌舌诊中药推荐模型提供关于舌象的属性信息及特征向量数据,同时提升舌诊中药推荐模型的智能化和自动化。3、基于知识图谱知识表示学习技术、神经网络技术和隐式反馈协同过滤推荐思想所构建的乳腺癌舌诊中药推荐模型可以有效应用于为乳腺癌患者推荐中药的任务,中医专家对于模型推荐出的药物有较高的认可度。4、乳腺癌舌诊中药推荐模型中包含知识图谱的路径数据,这使得知识图谱以其具有图形化形式表达知识和逻辑的功能,成为一个接入口,用于承接来自问诊、脉诊等方面与药物之间的信息,将挖掘学习舌象与药物之间的潜在联系进一步完善至挖掘患者人体信息特征与药物之间的潜在联系,以此更好地为患者推荐药物。5、对于挖掘学习两物品之间的潜在关系,其前提一定是要有大量的优质训练材料。训练推荐模型的关键在于为其提供精准的特征数据,其精准体现在数量上,并且多元化的描述信息有助于模型从中获取特征数据,从而使网络更有效学习到用户与物品之间非线性的交互关系,最终获得更好的推荐结果。6、研究中医现代化,不能讲究唯数字论。虽然数字是统计学中最直观,最可靠的。但要将计算机科学应用于传统中医上,数字并不能反映真实情况。要想获得真实的效果,还需结合多方面因素去综合判断,如考虑纳入中医专业人员的主观评价。7、本研究所用技术以及研究思想为肿瘤患者的中医个体化诊治方案制定提供方法学及技术层面借鉴,同时也为肿瘤舌象信息的研究开辟新的思路。
基于图像分割与检测的舌体特征识别研究
这是一篇关于中医舌诊,舌体分割,舌像特征识别,舌诊数据的论文, 主要内容为近年来,深度学习技术在中医舌诊领域得到广泛应用,主要应用于舌体图像的语义分割和特征分析。然而,由于人脸图像的复杂性,舌头分割容易受到嘴唇和面部不均匀的影响,导致舌体分割存在一定的困难性。由于其形态和位置的多样性,有些齿痕和裂纹可能非常细小,舌体齿痕和裂纹的识别难度较大。此外,舌头数据获取和标注困难,标注过程需要一定的中医背景经验。因此,解决这些困难问题仍然是深度学习技术在中医舌诊领域应用中需要面对的挑战之一。本文旨在探究如何应用深度学习技术来解决以上问题,本文将重点研究如何提高舌体分割和特征提取的效果。本文的主要贡献包括:1.自制了舌诊语义分割和裂纹齿痕特征数据集,由中医院提供原始图像,经过筛选、预处理并在中医医师的指导下进行标注等操作,得到了不同年龄段、不同健康状态的4500张舌头语义分割数据,以及3206张具有齿痕和3742张具有裂纹的数据。2.针对中医舌诊领域中舌体分割,提出了基于挤压激励跳跃连接的多尺度分割算法。该结构采用Res Net50作为编码器,配合融合注意力机制以解决编码器因池化造成的特征损失问题。为解决编码器解码器特征差异大融合效果差的问题,本文提出了残差跳跃连接和深度挤压卷积模块。同时,使用多尺度特征融合模块将特征信息进行结合,以进一步提高分割精度。实验结果表明,该算法在自制舌诊分割数据集m AP达到94.56%,相比于U-Net算法提升了2.02%。3.针对中医舌诊齿痕和裂纹特征识别,提出了基于注意力跨层特征融合的目标检测算法。本文提出了特征融合模块CBAC,该模块引入注意力机制,并使用跳跃连接来更好地融合主干和颈部特征。为了更准确地捕获缺陷区域并过滤掉无用信息,本文还提出了注意力NECA模块,放置在主干网络加强特征提取、连接颈部不同尺寸输出支路建立多尺度特征图联系。考虑到舌齿痕和裂纹密集分布,可能导致生成的锚框相互遮挡,本文提出了DIo U损失函数替换GIo U损失函数,进一步提高了检测效果。实验结果表明,该算法在自制舌诊检测数据集上m AP@0.5达到89.19%,相比于YOLOv5算法提升了2.30%。4.设计并实现一款中医智能舌诊系统,采用本文提出的改进算法实现部分功能,可通过识别舌头图像的特征信息给出相关诊断建议,实现用户系统自主诊断。
基于创新ч-Net模型的中医舌苔苔质分类及其舌苔特征可视化
这是一篇关于中医舌诊,Grad-CAM,特征可视化,ч-Net的论文, 主要内容为随着计算机辅助医疗越来越受到关注,得以应用,各种计算机辅助医疗的手段与方法更是层出不穷,然而大部分的方法只是应用在了西医上,对于中医这一领域的涉足则相对较少,因此,在中医诊断中舌诊方面与计算机技术相结合的案例也有待于丰富发展。舌诊作为中医行之有效的一种特色诊断方法,从古至今一直在临床实践中发挥着重要作用。舌诊的理论知识并不复杂,但中医医生在学习和实践中以理论模型为基本依据,以图像辨识为基本技能,通过反复训练和实践来提高诊断准确率,这需要大量的临床知识与经验。通常来说,中医舌诊领域可以从多个角度进行诊断,包括舌质、舌苔以及舌下三个部分,而舌苔的诊断是其中非常重要的一个方面。我们构建了ч-Net网络模型,基于Grad-CAM的方法来对中医舌苔苔质进行分类与特征可视化,旨在通过计算机手段来帮助中医医生加快诊断效率,提高诊断准确率。同时,我们的研究表明,使用分割后的舌像来进行模型训练可以产生更高的分类准确率与更好的特征可视化效果。具体来说,我们首先基于Grad-CAM的方法在VGG13网络中实现了舌苔苔质的分类与特征可视化,由于未取得较为满意的效果,故萌发了分割舌像想法,使用U-Net模型对原始舌像进行了分割,实现了 98.24%的分割精度,将来在取得新的舌像数据后可以完美的进行舌像的分割,方便我们后续更多实验的进行与优化。通过观察我们可以发现U-Net模型去除掉右半部分的扩展路径即为一个没有全连接层的VGG13网络模型,故我们通过改变U-Net模型的网络结构,反复实验找到了在其卷积层之后添加全连接层的最佳位置,构建了ч-Net网络模型,实现了分割舌像后的舌苔苔质分类与特征可视化,与VGG13网络模型相比使分类的精度提高了近十二个百分点,实现了更好的特征可视化效果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工坊 ，原文地址：https://bishedaima.com/lunwen/52673.html
