面向分布式应用的轻量化容器云平台的设计与实现
这是一篇关于容器云,运维,图,根因分析,随机游走的论文, 主要内容为因为容器云相比于基于虚拟机的IaaS云有更高的平台资源利用率和更便捷的应用部署流程,所以近年来越来越多的企业开始采用容器云平台承载其分布式应用。但容器云平台的使用通常需要用户对容器相关知识和技术有较为深入的掌握,平台的使用门槛较高;同时由于容器云的技术架构较为复杂,当将分布式应用承载于容器云平台上时,应用的故障排查以及平台的故障排查往往非常困难,平台的运维成本较高。针对上述问题,本文设计并实现了面向分布式应用的轻量化容器云平台。该平台针对使用门槛高的问题,采用一种轻量化的分布式应用管理架构搭建,实现了应用的一键部署和管理;针对运维成本高的问题,提出了一种容器云场景下的故障根因定位方法,名为SHARP-RCA(Snapshot comparison and HieArchical peRsonalized Pagerank based Root Cause Analysis)。该方法首先使用基于快照差异的图生成方法将分布式应用的运维管理数据构建成包含组件拓扑和容器分布的聚合图,然后使用基于分层个性化随机游走(Hierarchical Personalized PageRank,HPPR)的根因排名算法对聚合图进行迭代,得出故障根因排名。通过正常、异常快照对比和规则过滤,该方法有效地解决了多种容器动态场景引起的数据缺失和图结构变化问题;通过分层的个性化随机游走,该方法不仅能够准确地捕获容器维度故障根因,还能够定位基础设施维度的故障根因。一系列实验表明本方法(SHARP-RCA)在所有常见容器场景中表现良好,达到了 78%的综合准确率,相较于传统的人工定位方法和基于随机游走的根因定位方法-MicroRCA 分别提升了 254.5%和 30.0%。本文首先介绍了面向分布式应用的轻量化容器云平台的研究背景;然后基于业界其他容器云平台的调研对本容器云平台进行了需求分析;其次详细介绍了本文所提出的SHARP-RCA方法及其实验结果;接着对面向分布式应用的轻量化容器云平台的设计与实现进行了阐述;最后通过一系列测试验证了平台的有效性。
基于知识图谱的AIOps根因分析系统的设计与实现
这是一篇关于根因分析,知识图谱,智能运维,图卷积神经网络的论文, 主要内容为随着虚拟化技术的快速发展,分布式系统越来越庞大且复杂。当系统出现故障时,运维人员很难在短时间内找到根本原因,系统将处于不稳定状态。传统运维越来越困难,智能运维(Artificial Intelligence for IT Operations,AIOps)被提上日程。及时找出故障的根因,保证系统的安全稳定运行是智能运维最基础的功能。因此,研究分布式系统的根因分析方法,找出导致系统故障的根本原因,保证系统安全运行变得非常重要。近年来,越来越多的研究者开始关注这些问题,基于依赖图的方法和基于因果图的方法在应对复杂系统故障根因分析问题上取得了一些不错的成果。但是这些方法均存在两点局限性:1、它们尚未研究如何利用历史数据中隐藏的显式知识来指导当前的根因分析;2、它们无法完整地解释出事件层次的故障触发路径。基于此,本文针对分布式系统中的故障为每类故障构建了故障知识图谱,提出了一种结合图卷积网络和知识图谱的故障根因分析方法,设计并实现了一个基于知识图谱的根因分析系统。本文的主要贡献包括:1)针对分布式系统中的故障为每类故障构建了故障知识图谱。本文通过从分布式系统历史故障数据中挖掘事件之间的关系,为每个故障构建故障传播图,然后利用合并算法来获得相似故障传播图的相似结构,以此来构建每类故障的故障知识图谱,最后进行了相关实验,测试并评估了故障知识图谱的构建方法。2)提出了一种结合图卷积网络和知识图谱的故障根因分析方法。本文通过实时构建在线故障传播图,并使用图卷积神经网络比较在线故障传播图与故障知识图谱的相似度,以确定实际故障类型,最后利用故障与抽象根因事件之间的对应关系,通过排名策略来定位具体的根因事件。本文在阿里云平台上的分布式系统上进行了实验,设置了多组对比实验来验证本文方法的有效性,实验结果表明,本文提出的方法在精确率上优于其他的根因分析方法。3)设计并实现了一个基于知识图谱的根因分析系统。本文基于上述提出的方法设计并实现了一个故障根因分析系统,经过测试,系统满足各项功能和性能需求。综上所述,本文针对智能运维中故障根因分析问题,构建了故障知识图谱,并提出了一种基于知识图谱的故障根因分析方法,最终实现了相应的系统。相比已有系统,该系统能进一步提高故障根因分析的精确率。
基于知识图谱的设备故障案例推荐方法研究
这是一篇关于案例推荐,知识图谱,信息抽取,根因分析的论文, 主要内容为随着科技水平的迅速发展,越来越多的设备产品被生产使用,用户面临的故障问题也日益增多。由于故障处理过程中会产生大量工单案例,因此研究基于历史故障库的案例推荐可以为用户提供高效、准确的故障处理途径,在故障诊断领域具有重大研究价值。针对工单案例中存在的信息冗余、内容杂乱等现象,现有的研究大多基于文本的基础特征进行匹配,例如词共现和词频等统计信息,缺乏语义层面的理解,导致案例推荐存在准确率不高、根因分析不深入等问题。针对以上问题,本文提出了基于知识图谱的设备故障案例推荐方法,面对故障案例中的碎片化知识,采用信息抽取的方式挖掘有效信息,构建面向故障案例的多维体系化表示模型,同时基于知识图谱建立知识间的语义关联,实现案例的精确推荐。本文的研究内容从以下几个方面展开:(1)针对故障案例信息冗余、知识关系复杂等问题,本文提出了面向故障案例的信息抽取算法,包含实体关系联合抽取和关键词抽取两个部分。基于分词工具和语义角色标注进行实体关系标注,并提出基于主语感知的实体关系联合抽取模型,解决实体边界划分和关系类型识别等难题。同时提出了一套无监督的关键词抽取算法,在故障案例文本中实现了高精度的故障特征抽取。(2)针对故障案例信息杂乱、缺乏体系化表示等问题,本文借鉴用户画像的思路,设计了基于信息抽取的设备故障画像表示模型。对于抽取得到的故障三元组,使用基于知识图谱的画像表示模型对故障的多维信息进行关联,实现了故障的体系化建模,为案例匹配提供支撑。同时构建了针对故障案例的分类模型,对故障案例的推荐范围进行约束。(3)针对案例推荐存在的匹配方式单一、根因分析不深入等问题,本文提出了一种融合因果推理的设备故障案例推荐算法。基于构建的知识图谱进行故障节点定位,利用贝叶斯推理完成根因分析。在此基础上,本文提出融合故障根因、故障设备和关键词的多路召回方案以及基于画像嵌入的案例匹配算法,以提高案例推荐的准确性。本文基于爬取的故障案例数据,对知识图谱构建流程和案例推荐流程分别展开实验,其中知识图谱构建包含故障分类、实体关系抽取和关键词抽取模块,案例推荐流程包含故障根因分析和故障案例推荐模块。本文采用精确率、召回率和F1等指标进行评价,实验结果表明本文提出的算法在故障案例文本上具有明显优势,有效提高了案例推荐的准确率,对故障知识管理、故障信息诊断和故障根因推理具有积极作用。
面向开源微服务项目中代码克隆分析的实证研究
这是一篇关于微服务,开源项目,代码克隆,共同修改,根因分析的论文, 主要内容为目前,随着软件规模和复杂性变得越来越大,传统的软件架构在开发中出现效率低、代码维护难、扩展性差等问题。为了解决这些问题,微服务应运而生。微服务旨在将软件分解为一个个松散耦合的服务,这些服务可以由不同的开发团队独立开发、部署和运维。这使得工业界愈发青睐微服务,诸如谷歌、Netflix、微信、Alibaba和IBM等国内外大型企业都在其项目中应用微服务进行开发。同时微服务也受到学术界的广泛关注,学者们从服务提取、故障定位、项目管理维护等方面进行了研究。代码克隆是软件项目中普遍存在的一种代码异味,相关研究表明,代码克隆会增加现有代码的复杂性和规模,甚至在项目的迭代中传播Bug,给软件项目的管理和维护带来负担,然而现阶段还没有人关注代码克隆在微服务中的情况和影响。在微服务项目中,服务内部可能产生代码克隆,服务间也可能会产生跨服务代码克隆,但还没有研究系统的说明微服务项目中这两种克隆的存在以及对项目管理和维护的影响。进一步而言,跨服务克隆会破坏服务与服务之间的独立性,跨服务克隆是否存在,是什么原因造成的,目前还没有相应的研究进行深入的探讨。因此,为了了解微服务项目中代码克隆的相关情况,本文从Github中挖掘了30个开源微服务项目,使用Nicad检测其中的一型,二型和三型克隆,并在得到的结果上分析。研究一方面对具有多版本的8个项目进行了服务内部和跨服务代码克隆的分析;另一方面筛选了25个具有代表性的项目,并对其中存在的2876对跨服务代码克隆从文件级别和函数级别手动分析了此类克隆产生的原因。通过对数据的分析有如下发现:1)微服务项目中,服务内部和跨服务代码克隆都存在于各个项目中,其中三型克隆数量最多。且两种类型克隆都存在共同修改,三型克隆发生共同修改的概率更高,这表明微服务项目中客观存在代码克隆,并给项目的维护带来了负担;2)通过对平均更改的代码行数及其比例进行对比发现,不论是一型,二型和三型克隆,还是服务内部和跨服务代码克隆,都应该在维护时给予同等重视;3)从文件级别分析,跨服务代码克隆所在的文件可以被分为三类:DPFiles、DRFiles和DIFiles,其中DIFiles更容易出现跨服务代码克隆,在此基础上进一步分析了各类文件引入跨服务克隆的原因,以帮助开发人员理解和管理这些文件;4)从细粒度的函数级别分析,跨服务代码克隆所在的函数可划分为四个大类和十个子类,以此更深入详细地揭示了跨服务代码克隆的特征和产生的原因。
基于知识图谱的设备故障案例推荐方法研究
这是一篇关于案例推荐,知识图谱,信息抽取,根因分析的论文, 主要内容为随着科技水平的迅速发展,越来越多的设备产品被生产使用,用户面临的故障问题也日益增多。由于故障处理过程中会产生大量工单案例,因此研究基于历史故障库的案例推荐可以为用户提供高效、准确的故障处理途径,在故障诊断领域具有重大研究价值。针对工单案例中存在的信息冗余、内容杂乱等现象,现有的研究大多基于文本的基础特征进行匹配,例如词共现和词频等统计信息,缺乏语义层面的理解,导致案例推荐存在准确率不高、根因分析不深入等问题。针对以上问题,本文提出了基于知识图谱的设备故障案例推荐方法,面对故障案例中的碎片化知识,采用信息抽取的方式挖掘有效信息,构建面向故障案例的多维体系化表示模型,同时基于知识图谱建立知识间的语义关联,实现案例的精确推荐。本文的研究内容从以下几个方面展开:(1)针对故障案例信息冗余、知识关系复杂等问题,本文提出了面向故障案例的信息抽取算法,包含实体关系联合抽取和关键词抽取两个部分。基于分词工具和语义角色标注进行实体关系标注,并提出基于主语感知的实体关系联合抽取模型,解决实体边界划分和关系类型识别等难题。同时提出了一套无监督的关键词抽取算法,在故障案例文本中实现了高精度的故障特征抽取。(2)针对故障案例信息杂乱、缺乏体系化表示等问题,本文借鉴用户画像的思路,设计了基于信息抽取的设备故障画像表示模型。对于抽取得到的故障三元组,使用基于知识图谱的画像表示模型对故障的多维信息进行关联,实现了故障的体系化建模,为案例匹配提供支撑。同时构建了针对故障案例的分类模型,对故障案例的推荐范围进行约束。(3)针对案例推荐存在的匹配方式单一、根因分析不深入等问题,本文提出了一种融合因果推理的设备故障案例推荐算法。基于构建的知识图谱进行故障节点定位,利用贝叶斯推理完成根因分析。在此基础上,本文提出融合故障根因、故障设备和关键词的多路召回方案以及基于画像嵌入的案例匹配算法,以提高案例推荐的准确性。本文基于爬取的故障案例数据,对知识图谱构建流程和案例推荐流程分别展开实验,其中知识图谱构建包含故障分类、实体关系抽取和关键词抽取模块,案例推荐流程包含故障根因分析和故障案例推荐模块。本文采用精确率、召回率和F1等指标进行评价,实验结果表明本文提出的算法在故障案例文本上具有明显优势,有效提高了案例推荐的准确率,对故障知识管理、故障信息诊断和故障根因推理具有积极作用。
智能状态预警及备份系统的研究与实现
这是一篇关于智能灾备,异常检测,日志数据分析,根因分析,知识图谱的论文, 主要内容为灾难备份是保证业务数据安全的重要基础,对重要业务系统和数据进行灾难备份可以最大程度地避免自然及人为灾难带来的损失。传统的灾备技术决定了传统的信息系统数据中心备份一直以被动的模式实现,其运维人力成本和风险已经无法满足当前的业务需求。随着实时业务对系统提供服务连续性的要求不断提高,业务层面可用性要求的不断提升,如何从现有的行为模式对数据有选择地进行备份,或者说对灾难进行有效的预测进而使得数据备份更加高效、业务系统的连续性更高已经成为灾备技术发展的新方向。本文针对信息系统灾备技术的业务需求和技术发展,融合当前的深度学习、知识图谱、云计算虚拟化等相关学科技术,研究信息系统运行的时序数据并以此为依托进行建模和多维度的分析,实现对信息系统状态进行智能预警,以主动灾备模式对灾难进行一定程度的评估预测。同时在备份和恢复方面,利用全栈虚拟化技术,将备份的数据以及系统应用通过相应转换部署到云平台,来提高业务可用性和连续性。本文的主要研究工作和创新点如下:(1)针对现有基于日志数据的异常检测方法普遍存在的通用性、鲁棒性和实用性较差等问题,提出了基于系统日志数据的多层级权重异常检测机制。论文对原始日志分词后利用词级权重进行句子嵌入向量化,通过长短期记忆网络(Long Short-Term Memory,LSTM)和注意力机制进行建模,以提升鲁棒性。同时利用句级权重发掘不同日志序列间的依赖程度构建类工作流机制,判断一个完整任务流执行过程出现的异常点,提升准确率。实验结果表明,多层级权重机制能够有效提升准确率、鲁棒性和通用性;(2)针对运维工作中现有异常诊断方法存在的人力成本高、检测规则单一等问题,基于智能运维(Artificial Intelligence for IT Operations,AIOps),提出了知识图谱和因果图挖掘相结合的异常根因识别机制。在具有复杂交互的分布式动态云环境中识别和定位异常,具体实现为采用FCI(Fast Casual Inference)算法从运维监控指标数据中得到有向无环图(Directed Acyclic Graph,DAG),同时利用领域知识构建知识图谱,简化计算,提高效率。最后在云环境中部署了微服务架构应用并对模拟的异常数据进行相关验证。实验结果表明,所提出的异常根因识别机制能够有效发掘云计算微服务架构中出现异常的根因,为智能灾备提供可行性基础支持;(3)利用虚拟化技术,开发构建了智能灾备管理平台,从整机备份、应用备份、文件备份、块级备份等方面提供细粒度备份服务,将备份的数据系统应用通过转换部署到云平台,来提高业务可用性和连续性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设货栈 ，原文地址：https://bishedaima.com/lunwen/54750.html
