您的位置  > 互联网

可以拆分为知识+图谱,可以构建知识图谱吗?

1.什么是知识图谱?

知识图谱是AI领域的一个分支。 很多人认为它是像CV(计算机视觉)、ASR(语音识别)、NLP(自然语言处理)一样的特定技术。 其实这种理解并不准确,应该看作是多种技术相结合的综合技术。

知识图谱的历史可以追溯到2012年,由该公司提出,主要是为了提高搜索引擎的检索效率。 但随着它的发展,它有了更深层次的意义。 它不仅仅是提高检索效率那么简单,而是整个搜索引擎的结构。 整体转型:将传统的基于关键词的搜索模式转变为基于语义的搜索升级。

如今,知识图谱的技术方案已经被国内外多家搜索引擎公司采用,比如美国的微软Bing,中国的百度、搜狗等,都在短短几年内就宣布了自己的“知识图谱”。一年。 “产品,足以看出这一创新对整个搜索引擎行业的整体影响。

但现在这项技术的应用不仅仅局限于搜索引擎领域。 很多数据分析软件和CRM系统也开始使用基于知识图谱的模型来处理数据,从而深度发现数据的更大价值。

知识图谱从字面上可以拆分为知识+图,因此我们可以理解为:将所需的知识数据(结构化或非结构化数据)以图的形式展示出来,这个简单的过程也是一个知识图谱的构建过程。

2.知识图谱中的“知识”

说到知识,就意味着提炼出数据中有价值的内容。 我们每天都会接触到数据,比如系统产生的数据、客户数据,甚至一些非结构化的网络数据。

然而,数据不等于知识。 结构化数据其实更好,因为在存储之初就已经对要存储的数据进行了相应的设计,所以数据库中存储的数据基本上都是有价值的数据。

然而,与结构化数据相比,非结构化数据更为复杂。 当前分布在互联网上的知识往往以分散的、异构的、自治的形式存在,并且也存在冗余、噪声、不确定和不完整的情况。 特征、清洗无法解决这些问题,因此从这些知识出发,通常需要融合和验证步骤,将不同来源、不同结构的数据整合起来,以保证知识的一致性。

大量知识的收集和存储就成为知识库。

知识库建设过程:从大量数据中提取有价值的数据作为有效支撑,将知识内容整合到数据库中,建立数据库。

3、知识应用“地图”构建

知识图谱旨在描述现实世界中存在的各种实体或概念。 因此,当知识被组织并存储到数据库中时,相应的知识内容将被转换为实体()概念。 每个实体都会被标记一个唯一的ID,每个对象都会用属性值(-value)来描述实体的内在特征,而()则用来连接两个实体并描述它们之间的关系。

因此,通过以对应关系的形式存储无数的实体,知识图谱也可以构造成一个巨大的网络图。

上面提到的实体、关系和属性在存储之前都需要在RDF中进行结构化。 即需要提前定义一套标准,做好提取数据之前的准备工作。 既然是标准的,那么无论是提取结构化数据还是非结构化数据,内容都适用。

除了三元素的定义之外,知识图谱领域还有一个三元组的概念。

如下所示:

我们就来搜一下:“姚明的妻子是谁?” 举个例子。 对应的结果三元组规则为{实体:姚明,关系:配偶,实体:叶莉},

当我们改为搜索:“叶莉今年多大了?”时,对应的结果三元组规则为{实体:叶莉,属性:年龄,属性值:34},

4.总体架构及核心功能点

(1)实体提取

它是指从原始语料库中自动识别命名实体。 由于实体是知识图谱中最基本的元素,其提取的完整性、准确性、召回率等将直接影响知识库的质量。 因此,实体抽取是知识抽取中最基本、最关键的一步。

(2)实体对齐

实体对齐也称为实体匹配或实体解析。 主要用于消除异构数据中实体冲突、指向不清晰等不一致问题。 它可以从顶层创建大规模的统一知识库,帮助机器理解多源异构性。 数据形成高质量的知识。

(3)知识推理

知识推理是在现有知识库的基础上进一步挖掘隐性知识,从而丰富和扩展知识库。 在推理过程中,往往需要关联规则的支持。 由于实体、实体属性和关系的多样性,人们很难枚举所有的推理规则,一些较复杂的推理规则往往需要人工总结。

推理规则的挖掘主要依赖于实体和关系的丰富共现。 知识推理的对象可以是实体、实体的属性、实体之间的关系、本体库中概念的层次结构等。知识推理方法主要分为两类:基于逻辑的推理和基于图的推理。

(4)知识更新

根据知识图谱的逻辑结构,其更新主要包括模型层的更新和数据层的更新。 图式层的更新是指本体中元素的更新,包括概念的增加、修改和删除、概念属性的更新以及概念之间的上下级关系的更新。

其中,概念属性的更新操作将直接影响直接或间接属性的所有子概念和实体。 一般来说,模式层的增量更新方法消耗的资源较少,但大多数情况下是通过人工干预完成的,例如手动定义规则、手动处理冲突等。 因此,实施起来并不容易。

5.知识图谱应用

知识图谱提供了更有效的方式来表达、组织、管理和利用互联网上海量、异构、动态的大数据,使网络更加智能,更接近人类的认知思维。

目前,知识图谱已经应用于智能搜索、深度问答、社交网络以及一些垂直行业,成为支撑这些应用发展的动力源泉。

以下总结了知识图谱的一些应用场景:

希望你我能互相鼓励~

作者:穆寒,知识图谱产品经理,爱思考、爱分享,希望能和各位朋友交流经验~