知识图谱技术体系总览.docx

《知识图谱技术体系总览.docx》由会员分享，可在线阅读，更多相关《知识图谱技术体系总览.docx（10页珍藏版）》请在第一文库网上搜索。

1、知识图谱技术体系总览本文主题为知识图谱技术体系，主要内容包括：1 .知识图谱体系架构2 .知识图谱构建技术3 .知识存储4 .知识图谱应用技术一、知识图谱体系架构首先来介绍一下整个知识图谱的体系架构。DataFu达观取据知识图谱技术是知侬产、新存幽口知识应用等众多技术的总和，其内容几乎与所有人工智能细分领域都有交叉，是综合性强的领域，也被认为是当前认知智能核心研究内容.合映射式)构技术户处通取式构建技巧构建技术模式设计与管理TSm化与交4式分出H推葬累蟋H可知识源源1助决饿用户接口与界面PW知识图谱是现在非常热门的一个技术，也被认为是认知智能的核心内容。知识图谱包含哪些内容呢？从知识的层面来看

2、，知识图谱包括知识的生产，知识表示存储和知识应用等众多技术。如上图所示，它包括了构建技术，存储技术，应用技术，以及其他相关的很多方面的技术。从这张图中也可以看出，知识图谱包含了人工智能领域绝大多数细分领域的研究，还包括大量的大数据方面的技术,比如构建技术方面也有大数据相关的映射式构建技术，以及基于抽取式构建方面的自然语言处理和计算机视觉和声音处理技术等。在知识图谱的存储方面，现在产业界中主流的是图数据库。图数据库涉及到大量的大数据技术，比如分布式的图数据库会与Hadoop.Spark等分布式计算和分布式存储有很强的技术关联。而一些比较新的技术，比如向量数据库也是比较前沿的一个研究领域。在知识图

3、谱的应用方面,也包括了比较多的内容，比如知识检索、知识探索，涉及到图数据库查询语言Grem1in和Cypher以及SparQ1o知识搜索方面会用一些其他方法从图数据库或者其他存储方法里面获取所需要的知识。在更多的应用里面，比如知识计算，知识推理等。知识计算更多的是与图相关的计算，知识推理更多的是跟深度学习有关的，比如图神经网络。还有很多面向具体的应用，比如问答、推荐、数据分析、知识溯源以及辅助决策等，这些都是与具体业务有直接关联的人工智能或知识图谱方面的应用。二、知识图谱构建技术1 .知识图谱模式知识图谱在应用里面有两个方法：无模式的和模式受限的。我们通常产业应用的知识图谱都是模式受限的。这个

4、模式就是指知识图谱模式，也称本体、类图谱或概念图谱等。DataFut达观取据知识图谱模式OATAGRANOP33概念图谱(ConceptGraph),是面向知识图港内容的一啾躁的、语义化的且概念化魄昭演识图谱阻冲,实体姬以语义化的方式对实体蜘分类，关系蝇则以语义化的方式对关系三5诩进行分类.实体姆的属性名列莉0关系理的属性名歹蛾则是对实体理和关系类型的多维特征的表示.在语义网中，知识图谱模式往往也萌为本体(Onto1ogy),表示知识的m.(Know1edgeGraphSchema),(Schema),(C1assGraph)或知识图谱模式定义了知识图谱需要包含哪些内容，或者说是对知识概念化的

5、一种规范表达。如何设计好一个知识图谱模式是产业里面最先要去考虑的问题，因为它往往与我们的业务相结合，需要知识图谱的专家和面向具体业务的专家一起合作来梳理设计。需要一些方法告诉业务专家如何理解知识图谱模式，怎么去设计模式。这套方法论包括六韬瀑布模型，六韬螺旋模型。一家企业要用知识图谱来解决问题，首先就要理解需要一个什么样的知识图谱，也就是理解业务，设计出合适的知识图谱模式，并在知识图谱模式的指导下设计存储方案、构建图谱、开发基于知识图谱的应用等。2 .实体抽取在设计好知识图谱模型之后，存在的一个问题就是如何从已有的数据中构建出知识图谱。主要涉及两个方面的内容：第一个方面，如果我们的数据是结构化的

6、，可以写一些规则加上一些简单的映射就可以构建出知识图谱，这种方式往往称为映射式构建，另一方面是大量的文档，比如Word文档、PDF文件等各种各样半结构化内容，我们需要对其进行实体抽取和关系抽取，以及指代消解等各个方面的知识抽取C其中最基础的就是实体抽取，在自然语言处理里面也叫命名实体识别。这里面的很多技术从上世纪八十年代到现在已经有四五十年的历史了，有各种不同的方法，比较简单的是写规则，比较成熟的是机器学习的方法，比如CRF条件随机场，隐马尔可夫模型，以及深度学习，现在的基于BERT的预训练模型、以及弱监督学习和基于深度强化学习的实体抽取方法等等。3 .关系抽取知识图谱最大的特点就是关系。在实

7、体抽取之后，就要进行关系抽取。这也是知识图谱区别于标签或者其它结构化数据的很重要的一点。关系抽取也是知识图谱构建非常难的一个环节，这里面有很多不同的方法，比如基于规则的方法，基于深度学习的方法，以及弱监督学习方法都可以用来做关系抽取。当然也有在深度学习兴起以后，非常流行的一个方法：实体-关系联合抽取方法，是在一个模型中同时实现对实体和关系的抽取。具体应用中可以根据需要去选择合适的方法来做关系抽取。4 .事件抽取另外一块就是事件抽取，事件抽取更加复杂，方法与实体关系抽取比较类似。事件抽取(EventExtraction)是指从文本领取出有关特定事件的信息，包括主体、客本中出现的实体和系进行分析，

8、可以提取出有意义枷识,进而断!出事件图谱.事件图谱孰职图醐一个始领域，知煦港4游储、计撕啥恭棍呵雌惮上但事件图谱W其自己滤点，进而进iB一筋阐镯潞蜩断十算礴朝法.DataFun.事件抽取要提取的内容更多，包括主体、客体、地点和时间等各种要素。并且将其关联到关系抽取又有各种不同的方法。总的来说分为管道模式和联合抽取模式。管道模式是先抽取触发词，再对触发词分类，进行要素识别。联合抽取方法是一次性把所有的要素和主体客体触发词一起识别出来，并给出最终的预测结果。两种方法用的都很多，对于不同的场景可以选择不同的方法来做。三、知识存储不管是实体关系还是事件抽取总是要有个地方来存储的。现在产业界基本用的都是

9、图数据库，也就是属性图数据库，是完全和知识图谱契合的。知识存储JmsGnphNeo4iDgraphINebuIaGraphII2次发布2017年2007年201眸2019开发洋高JavaJavaGoC*AMvm71*H属性酬嘘库，解侬黯.agOQJI怅B慢型起曲闻细崛犯聊班卿般JURDFff1a益B洲!脚理I蝴分布式单机分百mu3Hbase.Cassandra.BerkeIeyDB自定义文件殴州醐蝌BadgCrDB81值数界库.RocksDBWK期弼33X5HS现JF39e5殖言，磔相关的概念都完-Paxos9无RAFTRAFT3S305AcidssaseMAaDOmidfKs:FS识图港存储

10、的首选.5wm,39aiQ8S!M8大I螭平田*成Spari,Hadoop.GirapbSpark不支持Spark.Rink右耕F源邮据Grem1inCypherGraphQ1GQ1XBasticSeacckSok、1ucene内期IEastkSearch库，1选目%hR绚f实版*FB-Mtt炽MT5ms*ffi炙EI论与实战P246,(H1K多拜约束方法可旗取2竦无HI式强制HE约束SPttMHSHnP、WebSodcetsHTTP.BO1THTTP.gRPC9fHTTPDataFSPiJava、Python.C&Go.RUby4$JaVa、Python.GoIJJava、Go、Python

11、.等Python.Jae9I图数据库是知识图谱存储的首选。知识图谱：认知智能理论与实战一书对图数据库做了详细的介绍，是国内首部涵盖主流开源图数据库的著作。特别是JanusGraph介绍的非常详细，也对其它数据库Neo4j.Dgraph,Nebu1aGraph这四个当前主流的图数据库进行了总结。上图只是书中的一个节选。有兴趣的朋友特别是想学习JanusGraph的朋友可以参考原书。相信看完第五章的内容，会为你完成知识存储和图数据库选型的工作提供很多帮助。四、知识图谱的应用技术1 .知识计算对于已经构建好的知识图谱，并且存储在图数据库或者其它地方，我们就要去应用它。应用主要分两部分，一个是知识计算

12、，知识图谱：认知智能理论与实战一书将其定义为图论相关的或者说是图计算相关的算法，并对常见的算法做了深入浅出的介绍。常见的算法，比如路径分析、社区分类和中心性。路径分析里面最常见的就是最短路径算法。社区分类中1ouvain,GN算法是被广为使用的。在中心性里面也有很多大家耳熟能详的算法，比如中介中心性和PageRank算法，能够帮助我们选择知识库里面在某种条件下一些关键的节点、关键的路径和关键的边。在其之下是相应的一些库，有单一版的比如NetworkXAigraph,也有分布式的比如GraphX,图数据库所带的查询语言Grem1in,Cypher,SparQ1也能够支持一定程度上的知识计算和图算

13、法相关的一些应用。2 .知识推理接下来是知识推理，知识推理是知识库能够实现决策推理，实现类人推理能力的一项关键技术。DataFu1达观数据DATAGRAND推理(Reasoning)是与人类神和认知相关的心智能力,是符合逻辑的、明智的思维方式,是一种有意识地进行思考、计算、权衡与逻辑分析的能力,知识推理是实现羽以于人类推理能力的人工智能技术.推理本身包括概率推理，归纳推理，演绎推理，因果推理等。在珠峰书中,详细介绍了常见的知识推理方法，这些与之前提到的知识图谱模式、知识图谱内容以及知识推理算法是有直接关系的，能够帮助我们做好相应的决策。还有几何嵌入的方法和深度学习相关的方法在书里面也做了详细的

14、介绍。比如对双曲空间嵌入模型、复数空间旋转变换，以及深度学习的卷积网络、胶囊网络或者是图神经网络相关的模型如何应用到知识图谱里面，在书中都做了详细的介绍。3 .智能问答基于知识图谱的智能问答是非常火的一个内容，有知识图谱我们可以做很多相应的算法或者知识获取方面的内容。DataFun这观取庞DATAGRAND智能问答(QuestionAnswering,QA),题使用自然语龌可的方式检索所需的知识，其目标是直接获取问题的答案.在基于行业知识图谱的智能问答中，用户在查询业务知识时，不需要精另州选关键词，而是如同向专家咨询一样，使用自然语言的方三蓊述清楚所要解决的问题，系统就会通过一系列复杂的语义理

15、解、信息检索、知识推理和答案生成等步骤给出准确的答案或者答案的候选集合.智能喀Z形除务、解决各种各样问蝴全触0TS(sis:uMmie3mpKBQA有很多论文和算法直接实现知识图谱的问答，有非常多的有效算法,大家可以参考一些最先进的SOTA算法，当然这些算法都是针对一个具体的问题，没法做通用化，是跟知识图谱绑定的。而我们现在介绍的这个问答其实是一个框架，通过分解，再通过检索或者说以往的搜索引擎和知识图谱相结合提供这样一个复杂的框架结构。通过这个架构实现通用性智能问答，可以在产业中做很多的适配，可以适用于不同场景，不同方向的一些应用，通用性会更强一些，适配性也更强一些，当然在复杂程度上也比单个的算法复杂很多。4 .认知推荐我们把基于知识图谱的推荐跟普通的推荐区分开，前者称之为认知推荐，是指以知识图谱