微信网站开发与网站实质区别,备案号怎么查询,wordpress手机验证免插件,网页美工薪酬范围图神经网络简史、简介1.图神经网络简史2.图神经网络--学习过程3.图神经网络--理论基础4.图神经网络的局限5.GNN,RNN,GGNN6.小结阅读笔记#xff1a;从图(Graph)到图卷积(Graph Convolution)#xff1a;漫谈图神经网络模型 (一)(https://www.cnblogs.com/SivilTaram/p/graph_n…
图神经网络简史、简介1.图神经网络简史2.图神经网络--学习过程3.图神经网络--理论基础4.图神经网络的局限5.GNN,RNN,GGNN6.小结阅读笔记从图(Graph)到图卷积(Graph Convolution)漫谈图神经网络模型 (一)(https://www.cnblogs.com/SivilTaram/p/graph_neural_network_1.html)该文详细写明了设涉及的参考材料是一个很棒的综述性材料。本文仅作为阅读该系列文章的笔记详情请参考原文。GNN侧重于时序展开GCN是空间序展开
1.图神经网络简史
2005年–图神经网络的概念被提出2009年–Franco博士在论文[1]《The graph neural network model》阐明了图神经网络的理论基础。早期的GNN用于诸如依据分子结构对物质进行分类等问题。2013年–Bruna首次提出基于频域和基于空域的卷积神经网络[2]。其后基于空域卷积的研究偏多基于频域的工作相对较少。2014年–引发了图表示学习的研究热潮(DeepWalk知识图谱的分布式表示)。
2.图神经网络–学习过程
没有明白如何测试哪些东西是可学习的 基本思想就是建模一张图最核心的部分希望可以通过后续的例子来说明如何建模一张图通过信息的传播使整张图达到收敛在其基础上再进行预测。
学习目标1–利用状态更新函数f获取每个结点的图感知的隐藏状态。 学习目标2–利用输出函数g来适应下游任务例如分类。
状态更新函数f用来不断更新结点的隐藏状态。其输入是该结点的特征、邻居结点的隐藏状态、邻居结点的隐藏状态、边的特征。f使用神经网络建模用另据结点的额隐藏状态来更新当前结点的状态直至隐藏状态的变化幅度很小。
输出函数g其输入是某一个结点的特征和隐藏状态得到下游任务的输出例如分类任务。
loss与f,g学习以社交网络为例在整张图中并不是每个结点都有监督信号。有监督信号的结点参与loss的计算迭代的依次得loss对关于隐状态的hv0,hv1,...,hvTh^0_v,h^1_v,...,h^T_vhv0,hv1,...,hvT的梯度用于更新模型参数(f,g的权重吧)(具体操作还是跑代码能明白的清楚些) AP 算法。
3.图神经网络–理论基础
Franco博士图神经网络的理论基础是不动点理论专指巴拿赫不动点定理。只要状态更新函数f是一个压缩映射每个结点的任意初始化的隐状态都能够收敛至一个固定点的即不动点。如何保证这个不动点就是我们想要的点呢
压缩映射对于原空间中的任意两个点x,yx,yx,y经过f映射后分别变成f(x),f(y)f(x),f(y)f(x),f(y)。如果满足d(f(x),f(y))≤cd(x,y),0≤c≤1d(f(x),f(y))\leq cd(x,y),0\leq c\leq 1d(f(x),f(y))≤cd(x,y),0≤c≤1那么f即构成一个压缩映射。 即经f变换后的新空间比原空间要小原空间被压缩了。不断进行压缩操作最终就会把原空间中的所有点映射到一个点上。压缩轨迹应该不私想象中那么平滑
保证神经网络是一个压缩映射限制f对h偏导数矩阵的大小采用雅可比矩阵惩罚项的实现。
4.图神经网络的局限
本阶段图神经网络的局限性
边的特性无法学习基于不动点的收敛会导致结点之间的隐藏状态存在较多的信息共享从而导致状态太过于光滑并且属于结点自身的信息匮乏。
5.GNN,RNN,GGNN
GNN隐状态的时序迭代更新方式与RNN非常类似两者的区别
GNN依据不动点理论沿时间展开长度是动态的RNN沿时间展开的长度就是序列本身的长度。GNN用AP算法反向传播RNN用BPTT优化
GGNN可学习的边权不依赖于不动点定理使用GRU更新法则状态更新若干步利用BPTT算法反向传播得到边权和GRU的参数。
6.小结
之后会介绍图卷积神经网络拜托了基于循环的方法开始走向多层神经网络。
[1]. The graph neural network model, https://persagen.com/files/misc/scarselli2009graph.pdf [2]. Spectral networks and locally connected networks on graphs, https://arxiv.org/abs/1312.6203
