西安做网站公司必达,深圳龙岗网站建设公司哪家好,网站建设多语种自动翻译插件,网络规划设计师如何复习论文笔记整理#xff1a;杨帆#xff0c;浙江大学计算机学院。动机现有的用于图结构的预训练方法要么只关注node-level#xff0c;导致在图表示空间没有区分度#xff0c;要么只关注graph-level#xff0c;导致在节点表示空间没有区分度。一种优质的节点表示应该保证不仅在… 论文笔记整理杨帆浙江大学计算机学院。 动机现有的用于图结构的预训练方法要么只关注node-level导致在图表示空间没有区分度要么只关注graph-level导致在节点表示空间没有区分度。一种优质的节点表示应该保证不仅在节点层面有良好的区分度而且由这些节点表示生成的图的表示在全图层面也有良好的区分度所以预训练过程应同时考虑到node-level和graph-level。 模型本文提出的模型主要包括node-level预训练和graph-level预训练两部分其中node-level预训练包括context prediction和attribute masking两种实现方法。 Node-level pre-trainingContext prediction该方法定义了Neighborhood和Context graph两个概念利用两个GNN分别对每个节点的Neighborhood和Context graph进行编码然后通过负采样技术训练一个二分类器判断一个Neighborhood表示和一个Context graph表示是否对应相同的节点以此聚合周围节点的属性信息和邻近的图结构信息。Attribute masking该方法首先随机选取某些节点的属性将其MASK把原始属性用特殊的标识符替换掉然后使用GNN对节点编码生成节点表示最后通过线性模型预测被MASK的属性值。 2. Graph-level pre-training 首先将节点的表示聚合起来得到图的表示然后在图上进行多个二分类任务的联合训练。 实验数据集数据集包括生物和化学两个领域生物领域的任务是蛋白质功能预测化学领域的任务是分子属性预测。实验结果ROC-AUC performance Negative transfer加入graph-level预训练后可以很好地防止Negative transfer使用预训练效果反而差于不使用预训练的效果的出现。 c. 收敛性采用本文中的预训练策略能够有效加快收敛速度。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
