1. 论文介绍
论文题目：Investigating Transfer Learning in Graph Neural Networks
论文领域：图神经网络，迁移学习
论文地址：https://arxiv.org/abs/2202.00740
论文代码： 无
论文背景：
2. 论文摘要
图神经网络（GNN）在深度学习模型的成功基础上，将其扩展应用于图空间。迁移学习在传统深度学习问题上已被证明非常成功：能够更快的训练和提升表现。尽管 GNN 及其应用场景越来越受关注，但关于其可转移性的研究却很少。本研究证明迁移学习在 GNNs 中有效，并描述了源任务和 GNN 选择如何影响学习可推广知识的能力。我们在节点分类和图分类的背景下，使用真实世界和合成数据进行实验。为此，我们还提供了一种通用的迁移学习实验方法，并提出了一种用于生成合成图分类任务的新算法。我们比较了 GCN、GraphSAGE 和 GIN 在合成和现实世界数据集中的表现。我们的结果通过实证证明，具有归纳作的 GNN 传递能力在统计学上显著提升。此外，我们表明源任务与目标任务之间社区结构的相似性支持了统计学上显著的转移改进，超越仅使用节点属性。
3. 相关介绍
3.1 迁移学习
对于神经网络的任务或输入数据的性质发生改变，网络必须从头重新训练。这种训练不同于人类，人类会重复利用过去的知识并将其应用于新的情境和任务，能够在学习环境之外重用知识的能力为迁移学习。
通过重复使用之前训练好的网络权重，可以通过神经网络实现传输。转移的权重可以作为训练网络的起点，也可以作为目标任务的固定特征。
衡量迁移学习的指标：
- 迁移比率（Transfer ratio）：迁移学习器和基础学习器的总累计表现之比
- 跳跃启动比率（Jumpstart）：迁移学习对基础学习者的初始性能的提升比率
- 渐近表现（Asymptotic performance）：目标任务中最终学习器的表现的提升
3.2 论文贡献
1） 本文提供了方法论和额外的指标用来实证评估GNN的迁移学习
2） 提供了一种新颖的方法，用于创建具有群落结构的综合图分类任务
3） 评估了多个流行GNN在真实和合成数据集上的可转移性，结果证明了利用GNN可以实现可用的迁移，并某些模型利用源任务中存在的强社区结构特征从而实现有效的迁移。
4. 评估过程
4.1 合成数据
对于有意义的分类，单一类内的实例应该是相似的。同一类节点密集连通的图称为强群落结构。
模块的定义为
Intranertia 比率是另一种考虑节点属性值的社区结构度量
4.2 合成方法
使用DANCer： 一种具有社区结构动态属性网格的生成器，生成器通过微操作（局部操作如移除节点）和宏操作（社区结构级别如拆分社区）来生成包含社区结构的图。
优势：兼顾了结构和属性同调，模拟了优先依附的现象（节点更可能与附近或者高度连接的节点的连接）
4.3 真实世界数据
使用 OGB 的真实引用网络进行多个迁移学习实验，并用合成数据补充实验。
4.4 分类
节点分类实验
在节点分类中，现实世界数据集上的实验证明了，当源图和目标图相似时，转移效果最佳。
图分类实验
进行了真实世界数据和合成数据的实验，为了评估数据集是否含有图级具有社区结构的图，提出社区结构概念从节点扩展到图级别的结构和属性。模块性将节点度数视为确定节点群落结构的重要特性。
4.5 合成方法
合成数据以实现图分类任务的新方法
- 创建一个随机N类分类问题，样本X和标签为y
- 对每一个标签yi，生成多个图，并将他们的节点属性设置为相关标签
- 可更换分配给部分图表的标签，以削弱社区结构
- 可用噪声替换节点属性，以削弱属性社区结构
节点分类的数据集
节点分类任务
表3 展示了我们实验中使用真实世界和合成数据集的源和目标任务。我们评估 Arxiv 和 MAG 源分裂向目标MAG分裂的转移情况。最后，为了探讨属性对节点分类任务的重要性，我们对Arxiv 和 MAG 源图的节点属性进行了破坏。为了损害属性，我们将属性替换为高斯分布随机噪声，均值为0，标准差为1。
5. 实验设置
节点分类问题
我们会先用 BBBP 和 HIV 源分裂预训练 GNN，然后在目标任务HIV 目标分裂上进行评估。还评估了在源数据集上预训练且节点属性受损时的传输性能：即节点属性被高斯分布随机噪声取代，平均值为 0 ，标准差为 1 。
统计证据表明，节点分类的转移确实发生在所有指标和 GNNs 中。我们证明，GCN 和 GIN 利用结构信息而非归因信息来实现正的转移比和渐近性能;GraphSAGE 的 Jumpstart 也同样如此。
GIN 主要利用强模块化进行转移——而 GraphSAGE 则可以同时利用模块化和 Intraertia 实现 Jumpstart——以支持我们的真实数据发现。
图分类问题
大量统计证据支持，GCN 和 GraphSAGE 在所有考虑的指标中均可进行图分类转移。我们也可以否定转移仅由节点属性之外的图结构所致的假设。
有大量证据表明 GraphSAGE 和 GIN 利用惯性中的强属性来实现迁移。这些结果支持了我们关于 GraphSAGE 的实际发现。
6. 总结
迁移学习在图神经网络上的标准化处理，使用了三指标来评估，考虑了节点分类和图分类。
7. 个人感悟
结合两个领域的内容，得到了四个结论，有论述过程和实证过程。