【GNN报告】 北京大学张牧涵:谱图神经网络有多强大?

发布时间:2022-08-18 18:43

目录

1、简介

2、谱图神经网络有多强大?

背景

 核心模块JacobiConv

 实验

 结论

3、小结

4、参考


1、简介

报告嘉宾:张牧涵(北京大学)

【GNN报告】 北京大学张牧涵:谱图神经网络有多强大?_第1张图片

报告题目:谱图神经网络有多强大

报告摘要:

谱图神经网络(Spectral GNN)是一种基于图信号滤波器的图神经网络,广泛应用于节点任务。大量知名的GNN可以归入谱GNN,比如ChebyNet、GCN、和BernNet,但是对谱GNN表达能力的分析一直相对欠缺。我们首先将谱GNN简化为线性GNN(Linear GNN),并证明了Linear GNN在温和条件下可以产生任意一维输出,间接给出了谱GNN的万能逼近定理。我们随后建立了谱GNN表达能力和Weisfeiler-Lehman Test之间的联系,后者常用于刻画消息传递图神经网络的表达能力。最后,我们分析了基选择的问题并提出了一种新的谱GNN-JacobiConv。JacobiConv使用Jacobi Basis,且仅使用线性层就达到了SOTA的性能。

参考文献:

Xiyuan Wang, Muhan Zhang, How Powerful are Spectral Graph Neural Networks,ICML 2022

https://arxiv.org/abs/2205.11172v2

Code: https://github.com/GraphPKU/JacobiConv

报告人简介:

张牧涵博士,北京大学人工智能研究院、智能学院助理教授,北京通用人工智能研究院研究员,国家优青(海外)项目获得者,北京大学博雅青年学者。2015年本科毕业于上海交通大学IEEE试点班,2019年于美国圣路易斯华盛顿大学获得计算机科学博士学位,2019-2021年期间曾担任Facebook AI研究科学家。在ICML,NeurIPS,ICLR,AAAI,KDD 等机器学习顶级会议发表论文15篇(其中一作11篇,通讯4篇)。入选清华大学AMiner评选的AI2000人工智能最具影响力学者。作为图神经网络的早期研究者,提出了多种经典算法,包括图分类的Sortpooling算法、链路预测的SEAL算法、矩阵补全的IGMC算法等,成果被多次写入图深度学习标准库。担任NeurIPS 2022 领域主席、ICML 2022领域主席、 IEEE BigData 2021副主席,并常年担任 NeurIPS、ICML、ICLR、AAAI、IJCAI和 JMLR、TPAMI、TNNLS、TKDE、TSP、AOAS、JAIR等顶级会议和期刊的审稿人。

2、谱图神经网络有多强大?

背景

【GNN报告】 北京大学张牧涵:谱图神经网络有多强大?_第2张图片

λ(频率)刻画了节点之间的变化程度 

0对应的那4个节点都是相同的值,代表是低通的

其他三个变化剧烈

【GNN报告】 北京大学张牧涵:谱图神经网络有多强大?_第3张图片

 对某个节点特征进行可视化和数据分析

【GNN报告】 北京大学张牧涵:谱图神经网络有多强大?_第4张图片 GCN就是一个低通滤波器,GPRGNN是一个科学系的滤波器(g是离散的)【GNN报告】 北京大学张牧涵:谱图神经网络有多强大?_第5张图片

 【GNN报告】 北京大学张牧涵:谱图神经网络有多强大?_第6张图片

理论有3个条件,对于第一个条件使用多个单独的滤波器

  • 输出单维的
  • 不能有多个相同的特征值
  • 原始图信号需要包含所有频域分量

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号