（倒计时6天）❶业界领袖回溯60年AI历史，全球对话人工智能未来挑战

【新智慧介绍】图（GCN）是一种直接作用于图的卷积神经网络。 GCN 允许结构化数据的端到端学习，即输入可以是任意大小和形状的图。 本文介绍了GCN的最新进展，并讨论了各种方法的优缺点。 未来GCN如何扩展以解决特定类型的问题也值得期待，例如学习指令图或关系图，以及如何使用学习到的图来嵌入更多任务。

现实世界中许多重要的数据集都是以图或网络的形式呈现的，例如社交网络、知识图、蛋白质相互作用网络、万维网等。然而，直到最近，神经网络模型才得以推广到这些结构化数据集很少受到关注。

在过去的几年中，许多研究重新思考了任意结构图的神经网络泛化问题（Bruna et al., ICLR 2014; et al., 2015; et al., NIPS 2015; Li et al., ICLR 2016; et al., ICLR 2015; et al., NIPS 2015; et al., NIPS 2016; Kipf & , 2016），其中一些在过去使用基于核函数的方法、基于图的正则化技术或其他方法的领域取得了非常好的结果。

在本文中，我将简要概述该领域的最新进展，并指出各种方法的优点和缺点。 这些讨论集中在最近的两篇论文上：

以及评论文章：Graph 怎么样？ 本文讨论了这些类型模型的一些局限性。

图神经网络模型简介（上）

图卷积网络有多强大？

将 RNN 或 CNN 等成熟的神经模型推广到任意结构的图是一个具有挑战性的问题。 最近的一些论文介绍了特定于问题的架构（例如等人，NIPS 2015；Li 等人，ICLR 2016；Jain 等人，CVPR 2016），还有一些论文利用谱图理论（Bruna 等人，ICLR 2014；等人） al., 2015）图卷积为多层神经网络模型定义参数化滤波器，类似于熟悉的“经典”CNN。

最近的研究重点是弥合快速启发式算法和速度较慢但更规则的频谱划分方法之间的差距。 (NIPS 2016) 使用神经网络模型学习的自由参数多项式模拟谱域中的​​平滑滤波。 他们在常规区域（例如 MNIST）中获得了令人信服的结果，这与简单 2D CNN 模型的结果非常接近。

Kipf & (2016)的研究采用了类似的方法，从图卷积框架出发，引入了最简单的方法，在很多情况下可以显着加快训练时间并提高预测精度，并在许多基准图集上取得了优异的结果。 良好的分类效果。

图卷积神经网络（GCN）定义

目前，大多数图神经网络模型都有一个比较通用的通用框架。 我将这些模型称为图卷积网络（GCN）； 卷积，因为滤波器参数通常在图中的所有位置（或其子集中，参见等人 NIPS 2015）共享。

对于这些模型，目标是学习图的信号/特征函数 G = (V, E)，其输入如下：

然后生成一个节点层的输出Z（N×F特征矩阵，F是每个节点的输出特征数量）。 图级输出可以引入一些池化操作（参见：eg et al., NIPS 2015）。

每个神经网络层都可以写成非线性函数：

H(0) = X 且 H(L) = Z（或在层级输出的情况下为 z），其中 L 表示层数。 模型之间唯一的区别在于如何选择f(··,·)的参数设置。

图卷积和图卷积神经网络

例如，让我们看一下以下非常简单的层次优化传播定律：

W(l)是神经网络第l层的权重矩阵，σ(⋅)是类似ReLU的非线性激活函数。 这个模型虽然很简单，但是已经很强大了。

但我们首先要明白这个简单模型的两个局限性：A的扩散意味着对于每个节点，我们需要将所有相邻节点的所有特征向量相加，而不是节点本身（除非A上有自定义特征）图）电路）。 我们可以强制图执行自循环：将 A 添加到单位矩阵。

第二个主要限制是A通常没有被归一化，因此A的扩散将完全改变特征向量的规模。 对A进行标准化可以解决这个问题，例如对所有列进行标准化，即D−1A，其中D是对角节点度矩阵。 将D−1A乘以与相邻节点特征匹配的平均值。实际中采用对称归一化，即

这不仅仅是相邻节点的平均值，动态会更有趣。 结合这两个技巧，我们最终得到了 Kipf & (2016) 论文中介绍的传播定律：

其中 I 是单位矩阵，是对角节点的度矩阵。

总结

关于这个主题的研究才刚刚开始。 过去几个月已经看到了令人兴奋的结果，但我们可能只是触及了这些类型努力的表面。 图神经网络将如何应用于解决特定类型的问题，例如学习指令图或关系图，以及如何利用学习到的图来嵌入更多任务等。这里就不一一列举了，期待看到更多的人对不久的将来的应用程序和扩展感兴趣。