图神经网络 | (2) 图神经网络(Graph Neural Networks,GNN)综述

原文地址

本篇文章是对论文“Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. 2019.”的翻译与笔记。论文链接

目录

1. 什么是图神经网络？

2. 有哪些图神经网络？

3. 图卷积网络(Graph Convolution Networks,GCN)

4. 图注意力网络(Graph Attention Networks)

5. Graph Autoencoders

6. Graph Generative Networks

7. Graph Spatial -Temporal Networks

8. 图神经网络的应用

1. 什么是图神经网络？

在过去的几年中，神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务，如目标检测、机器翻译和语音识别，曾经严重依赖手工的特征工程来提取信息特征集，最近被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。在许多领域中，深度学习的成功部分归因于快速发展的计算资源（如GPU）和大量训练数据的可用性，部分归因于深度学习从欧氏空间数据中提取潜在表示的有效性。

尽管深度学习在欧氏空间中的数据方面取得了巨大的成功，但在许多实际的应用场景中的数据是从非欧式空间生成的，同样需要进行有效的分析。例如，在电子商务中，一个基于图的学习系统能够利用用户和产品之间的交互来做出非常准确的推荐。图数据的复杂性对现有的机器学习算法提出了重大挑战，这是因为图数据是不规则的。每个图都有一个大小可变的无序节点，图中的每个节点都有不同数量的相邻节点，导致一些重要的操作（例如卷积）在图像上很容易计算，但不再适合直接用于图域。此外，现有机器学习算法的一个核心假设是实例彼此独立（独立同分布，i.i.d.）。然而，对于图数据来说，情况并非如此，图中的每个实例（节点）通过一些复杂的链接信息与其他实例（邻居）相关，这些信息可用于捕获实例之间的相互依赖关系。

近年来，人们对深度学习方法在图数据上的扩展越来越感兴趣。在深度学习的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构，由此一个新的研究热点——“图神经网络（Graph Neural Networks，GNN）”应运而生，本篇文章主要对图神经网络的研究现状进行简单的概述。

需要注意的是，图神经网络的研究与图嵌入（对图嵌入不了解的读者可以参考我的这篇文章《图嵌入综述》）或网络嵌入密切相关，图嵌入或网络嵌入是数据挖掘和机器学习界日益关注的另一个课题。图嵌入旨在通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量空间(低维稠密向量)，以便使用简单的机器学习算法（例如，支持向量机分类）进行处理。许多图嵌入算法通常是无监督的算法，它们可以大致可以划分为三个类别，即矩阵分解、随机游走和深度学习方法。同时图嵌入的深度学习方法也属于图神经网络，包括基于图自动编码器的算法（如DNGR和SDNE）和无监督训练的图卷积神经网络（如GraphSage）。下图描述了图嵌入和图神经网络在本文中的区别。

图嵌入综述

2. 有哪些图神经网络？

在本文中，我们将图神经网络划分为五大类别，分别是：图卷积网络（Graph Convolution Networks，GCN）、 图注意力网络（Graph Attention Networks）、图自编码器（ Graph Autoencoders）、图生成网络（ Graph Generative Networks） 和图时空网络（Graph Spatial-temporal Networks）。

符号定义：

3. 图卷积网络(Graph Convolution Networks,GCN)

图卷积网络将卷积运算从传统数据（例如图像,结构化数据）推广到图数据（非结构化数据）。其核心思想是学习一个函数映射 ,通过该映射图中的节点可以聚合它自己的特征(向量)与它邻居的特征()来生成节点 的新表示。图卷积网络是许多复杂图神经网络模型的基础，包括基于自动编码器的模型、生成模型和时空网络等。下图直观地展示了图神经网络学习节点表示的步骤。

GCN方法又可以分为两大类，基于频谱（spectral-based）和基于空间（spatial-based）。基于频谱的方法从图信号处理的角度引入滤波器来定义图卷积，其中图卷积操作被解释为从图信号中去除噪声。基于空间的方法将图卷积表示为从邻域聚合特征信息，当图卷积网络的算法在节点层次运行时，图池化模块可以与图卷积层交错，将图粗化为高级子结构。如下图所示，这种架构设计可用于提取图的各级表示和执行图分类任务。

在下面，我们分别简单介绍了基于频谱的GCN和基于空间的GCN。

• Spectral-based Graph Convolutional Networks