Masanao Ochi, profile picture
Uploaded byMasanao Ochi
PPTX, PDF4,916 views

【論文紹介】How Powerful are Graph Neural Networks?

最近のGNNの隣接ノード情報の集約方法や一層パーセプトロンによる積層の限界を指摘した論文．

Engineering◦
Related topics:
Deep Learning•

Embed presentation

Downloaded 38 times
How Powerful are Graph Neural Networks? 2019-07-05 @ ダイキンアレス青谷 紹介 大知 正直（東京大学） Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka
とても重要な論文だと思いました ● ICLR(International Conference on Learning Representations：表現学習に関 するトップ会議) 2019のオーラルペーパー ○ Open Review のため，丸見え．投稿してボコボコにされて不採択になると業界内でちょっと 有名になってしまったりする恥ずかしいシステム ● 投稿数1449 papers, 採択率36%, 口頭発表はうち24件 ● 本論文は口頭発表 ０．論文の諸元 ● スタンフォード大CS学部准教授 ● 大規模ネットワークに関する研究が専門 ● 主観 ○ 機械学習手法とそれを用いた分析に関する論文をバランスよく出している ○ 先進的な論文が他から出る→即数学的な整理をして若干スマートな論文を出版 しフォロー，その分野の第一人者になる傾向 ○ SNAPというネットワーク分析ライブラリに取り込み業界標準化を行うJure Leskovec ※ 第３著者は有名人
GNN, GCN全般の表現力が足りない件について分析した ● 問題意識 ○ GNN,GCNの手法群の精度が頭打ちなのはなぜなのか ● 分析方法&結果 ○ GNN, GCNの表現力をWeisfeiler-Lehman Testというグラフの同型性の判別方法 との類似性を元に分析 ○ GNN, GCNのアーキテクチャを集約(Aggregate)，結合(Combine)，読み出し (Readout)の３つの部分に分け，特にAggregationの部分での差を多重集合 (Multiset)という概念でこれまでのGNN系のAggregation手法を分類，分析を行っ た ○ 分析の結果，最も表現力の高いSummationによるAggregationを行うGIN(Graph Isomorphism Network)という手法を提案し，SOTAを達成 ● 結論 ○ 隣接ノードの集約を行うアーキテクチャの決着をつけ，その先の手法の開拓の必 要性を示した 1. 概要
Graph Convolutional Network的な手法，多すぎ・・・ ２. 背景 Zhang, Ziwei & Cui, Peng & Zhu, Wenwu. (2018). Deep Learning on Graphs: A Survey.
GNN, GCNの手法がたくさん提案されている状況だが精度が頭打ち感 ● RNN系：Yujia Li, Daniel Tarlow, Gated graph sequence neural networks: ICLR2016 ● CNN系： ○ William L Hamilton, Rex Ying, and Jure Leskovec., Inductive representation learning on large graphs: NIPS2017 ○ Thomas N Kipf and Max Welling. Semi- supervised classification with graph convolutional networks: ICLR2017 ● Attention系：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks: ICLR2018 ● 無理やりDeepにしてみたよ系：Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, and Stefanie Jegelka. Representation learning on graphs with jumping knowledge networks. ICML2018 2. 背景 Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, and Stefanie Jegelka. Representation learning on graphs with jumping knowledge networks. ICML2018 R-GCN GAT JK-Net
Graph Neural NetworkはDeepにしても全然精度があがらない 2. 背景 Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional networks." arXiv preprint arXiv:1609.02907 (2016).
理論解析をして次のブレイクスルーの可能性を示そう ● それぞれの手法の問題点 ○ それぞれが適当なタスクでSOTAを主張している ○ ほとんどのGNNが経験からの直感，ヒューリスティクス，試行錯誤であみだされ たもの ○ GNNの持つ特性，制限に対する理論的な理解，表現能力に対する数理的な解析が ほとんどされていない ● 本論文では ○ GNNの表現力分析に関する理論的フレームワークを提案 ■ Weisfeiler-Lehman Testというグラフ同型判別に関する方法を元にしている ○ グラフの構造と各GNNの表現力の限界について明らかにする 2. 背景
● 対象とするタスク ○ ノード分類 ■ ノードにつけられたラベルを予測するタスク ○ グラフ分類 ■ グラフが複数ある状態でグラフにつけられたラベルを予測するタスク ● Graph Neural Networkの定式化 ○ 集約 ○ 結合 ○ 読み出し 3. 準備 ※読み出しは複数グラフの識別の場合に用いる
● Aggregate, Combineによる各手法の分類 ○ GraphSAGE ○ GCN 3. 準備
● Weisfeiler-Lehman test ○ グラフ同型問題を判定する手法の１つ 3. 準備 グラフ同型判別問題の例 そこそこの精度多重集合(multiset): 重複有りの集合
WLtestはGCNに似てる ● Weisfeiler-Lehman test a. ラベル付きのノードを想定 （なければ数字をふる） b. 隣接ノードのラベルを集め ，ソート c. ラベル群を並べる d. 新しいラベルをふる e. ラベルごとに各グラフのノ ード数を特徴ベクトル化， 内積で比較 3. 準備
● 左のグラフに対し ● WLtestに用いるサブツリーを構築（真ん中） ● GNNのaggregationがWLtestと同等の性能を示す場合，すべてのノードに対 し異なる分散表現を獲得できるはず ● この考え方を元に最も表現力のあるAggregationのしくみを考えていく 4. 提案するフレームワーク
5. 強いGNNの構築 ● 最強のGNNとは ○ 異なるグラフ構造を持つ全てのグラフを空間上の異なる点に写像するもの ● 単純化すると，どの構造の異なる２つのG1,G2においても異なるベクトル空間への写 像を行うことができる，ということ ● GNNの各層において，集約f,結合Φにおいて，それぞれ単射されていれば良い ● 最終的なグラフの読み出し層においても単射されていなければならない
5. Graph Isomorphism Network(GIN)の提案 ● 最強のGNNとは ○ 異なるグラフ構造を持つ全てのグラフを空間上の異なる点に写像するもの ● 単純化すると，どの構造の異なる２つのG1,G2においても異なるベクトル空間への写 像を行うことができる，ということ ● GNNの各層において，集約f,結合Φにおいて，それぞれ単射されていれば良い ● 最終的なグラフの読み出し層においても単射されていなければならない ● Aggregation&Combination ● Readout GIN
● GINでMLPを用いる理由 ○ 1layerのPerceptronだとΣX1=ΣX2の ような場合，同一座標へ写像してし まうため ○ 他の多くのGCN系の手法（GCN， GraphSAGE）では1layerの Perceptronを用いている 5. 強く無いGNNの分析 ● 1layer Perceptronの例(GraphSage)
総和によるaggregationが最も表現力が高い ● Aggregationの分析 5. 強く無いGNNの分析 ただしMean Aggregatorはノードラベルが非常に多様な場合は強い
総和によるaggregationが最も表現力が高い ● まとめ ○ 表現力はSumが最高 ○ Mean Aggregationはノードが多様なほど表現力がSumと同等になる ○ Max Pooling Aggregationは外れ値に強くグラフの概形（Skelton）を掴むのに有効という報告 がされている 5. 強く無いGNNの分析
● Datasets: ○ 9 graph classification benchmarks: ■ 4 bioinformatics datasets (MUTAG, PTC, NCI1, PROTEINS) ● Node ラベル：元素やアミノ酸などの分類 ■ 5 social network datasets (COLLAB, IMDB-BINARY, IMDB-MULTI, REDDIT- BINARY and REDDIT-MULTI5K) ● Nodeラベル：REDDIT：すべて同じラベル，その他：ノードの次数をワンホット ベクトルとしてラベリング ● Models & Configuration ○ GINのパラメータを振ったもの(5GNN layer, 2 MLP layer for each GNN layer) ■ εを学習するか0で固定するか ■ MLPをSLPにするか ■ Aggregationをsum,mean,max-poolingにするか ○ BaseLine ■ 最近報告されている手法の結果を論文で報告されている値から取ってきたもの 6. 実験
訓練データではGIN-e, GIN-0がWLtestレベルの精度を示した 6. 結果
テストデータでもかなり良い結果を示している 6. 結果
● GIN：ソーシャル・ネットワークで強い ○ ノード数が多い→Sum aggregationが有効に働きやすい ○ GIN-eよりもGIN-0が良い結果な場合が多いのはモデルの単純さが学習効率をよくしているの ではないか 6. 結果
● GNNはせいぜいWLtestと同程度のグラフ判別能力しか持たない ● 設定した条件のもとではWLtestと同等の能力を発揮することができる ● GCNやGraphSAGEでは区別できないようなグラフ構造を特定し，そうした 構造も特定できるようなGNNベースのモデルを提案した ● GINモデルを開発し，それがWLtestと同等の表現力を有することを示した 今後 ● 単なる隣接ノードの情報を集めていく方法は限界で，より抽象的なレベルで の改善が求められる まとめ
【論文紹介】How Powerful are Graph Neural Networks?

More Related Content

PPTX
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
bySSII
 
PDF
グラフニューラルネットワークとグラフ組合せ問題
byjoisino
 
PPTX
[DL輪読会]Graph R-CNN for Scene Graph Generation
byDeep Learning JP
 
PDF
グラフデータ分析 入門編
by順也 山口
 
PPTX
Graph convolution (スペクトルアプローチ)
byyukihiro domae
 
PDF
第10回 配信講義 計算科学技術特論A（2021）
byRCCSRENKEI
 
PDF
[論文解説]KGAT:Knowledge Graph Attention Network for Recommendation
byssuser3e398d
 
PDF
(2020.10) 分子のグラフ表現と機械学習: Graph Neural Networks (GNNs) とは？
byIchigaku Takigawa
 
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
bySSII
 
グラフニューラルネットワークとグラフ組合せ問題
byjoisino
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
byDeep Learning JP
 
グラフデータ分析 入門編
by順也 山口
 
Graph convolution (スペクトルアプローチ)
byyukihiro domae
 
第10回 配信講義 計算科学技術特論A（2021）
byRCCSRENKEI
 
[論文解説]KGAT:Knowledge Graph Attention Network for Recommendation
byssuser3e398d
 
(2020.10) 分子のグラフ表現と機械学習: Graph Neural Networks (GNNs) とは？
byIchigaku Takigawa
 

What's hot

PPTX
Graph Neural Networks
bytm1966
 
PPTX
深層学習の数理
byTaiji Suzuki
 
PPTX
【DL輪読会】時系列予測 Transfomers の精度向上手法
byDeep Learning JP
 
PPTX
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
PDF
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
PDF
合成経路探索 -論文まとめ- （PFN中郷孝祐）
byPreferred Networks
 
PDF
Neural networks for Graph Data NeurIPS2018読み会@PFN
byemakryo
 
PDF
【メタサーベイ】数式ドリブン教師あり学習
bycvpaper. challenge
 
PDF
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
bytmtm otm
 
PPTX
強化学習 DQNからPPOまで
byharmonylab
 
PPTX
[DL輪読会]Neural Ordinary Differential Equations
byDeep Learning JP
 
PDF
最近のDeep Learning (NLP) 界隈におけるAttention事情
byYuta Kikuchi
 
PPTX
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
byTakuji Tahara
 
PDF
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
PDF
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
bySSII
 
PDF
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
PPTX
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
byRyuichiKanoh
 
PDF
実装レベルで学ぶVQVAE
byぱんいち すみもと
 
PDF
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
PDF
機械学習 入門
byHayato Maki
 
Graph Neural Networks
bytm1966
 
深層学習の数理
byTaiji Suzuki
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
byDeep Learning JP
 
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
合成経路探索 -論文まとめ- （PFN中郷孝祐）
byPreferred Networks
 
Neural networks for Graph Data NeurIPS2018読み会@PFN
byemakryo
 
【メタサーベイ】数式ドリブン教師あり学習
bycvpaper. challenge
 
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
bytmtm otm
 
強化学習 DQNからPPOまで
byharmonylab
 
[DL輪読会]Neural Ordinary Differential Equations
byDeep Learning JP
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
byYuta Kikuchi
 
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
byTakuji Tahara
 
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
bySSII
 
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
byRyuichiKanoh
 
実装レベルで学ぶVQVAE
byぱんいち すみもと
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
機械学習 入門
byHayato Maki
 

Similar to 【論文紹介】How Powerful are Graph Neural Networks?

PDF
[DL輪読会]Relational inductive biases, deep learning, and graph networks
byDeep Learning JP
 
PPTX
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
byDeep Learning JP
 
PDF
Graph Attention Network
byTakahiro Kubo
 
PPTX
[DL輪読会]Learning convolutional neural networks for graphs
byDeep Learning JP
 
PPTX
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
byyukihiro domae
 
PDF
【論文紹介】 Spatial Temporal Graph Convolutional Networks for Skeleton-Based Acti...
byddnpaa
 
PPTX
SakataMoriLab GNN勉強会第一回資料
byttt_miura
 
PDF
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
byDeep Learning JP
 
PPTX
Combinatorial optimization with graph convolutional networks and guided ver20...
byShuntaro Ohno
 
PDF
第64回情報科学談話会(岡﨑 直観 准教授)
bygsis gsis
 
PDF
Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介
byMasayoshi Kondo
 
PPTX
Combinatorial optimization with graph convolutional networks and guided
byShuntaro Ohno
 
PDF
20220125_neurips_sharing_vqgnn
byssuser9156f1
 
PDF
Graph nuralnetwork@2021
byembedded samurai
 
PDF
Graph-Neural-Recommendation-for-Social-Recommendation
byShumpeiKikuta
 
PPTX
Graph conv
byTakuyaKobayashi12
 
PDF
ICLR2020InfoGraph
byembedded samurai
 
PDF
Graph Convolutional Networks for Classification with a Structured LebalSpace
byKazusa Taketoshi
 
PPTX
20190509 gnn public
byJiro Nishitoba
 
PDF
論文紹介 Star-Transformer (NAACL 2019)
by広樹 本間
 
[DL輪読会]Relational inductive biases, deep learning, and graph networks
byDeep Learning JP
 
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
byDeep Learning JP
 
Graph Attention Network
byTakahiro Kubo
 
[DL輪読会]Learning convolutional neural networks for graphs
byDeep Learning JP
 
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
byyukihiro domae
 
【論文紹介】 Spatial Temporal Graph Convolutional Networks for Skeleton-Based Acti...
byddnpaa
 
SakataMoriLab GNN勉強会第一回資料
byttt_miura
 
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
byDeep Learning JP
 
Combinatorial optimization with graph convolutional networks and guided ver20...
byShuntaro Ohno
 
第64回情報科学談話会(岡﨑 直観 准教授)
bygsis gsis
 
Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介
byMasayoshi Kondo
 
Combinatorial optimization with graph convolutional networks and guided
byShuntaro Ohno
 
20220125_neurips_sharing_vqgnn
byssuser9156f1
 
Graph nuralnetwork@2021
byembedded samurai
 
Graph-Neural-Recommendation-for-Social-Recommendation
byShumpeiKikuta
 
Graph conv
byTakuyaKobayashi12
 
ICLR2020InfoGraph
byembedded samurai
 
Graph Convolutional Networks for Classification with a Structured LebalSpace
byKazusa Taketoshi
 
20190509 gnn public
byJiro Nishitoba
 
論文紹介 Star-Transformer (NAACL 2019)
by広樹 本間
 

【論文紹介】How Powerful are Graph Neural Networks?

  • 1.
    How Powerful areGraph Neural Networks? 2019-07-05 @ ダイキンアレス青谷 紹介 大知 正直（東京大学） Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka
  • 2.
    とても重要な論文だと思いました ● ICLR(International Conferenceon Learning Representations：表現学習に関 するトップ会議) 2019のオーラルペーパー ○ Open Review のため，丸見え．投稿してボコボコにされて不採択になると業界内でちょっと 有名になってしまったりする恥ずかしいシステム ● 投稿数1449 papers, 採択率36%, 口頭発表はうち24件 ● 本論文は口頭発表 ０．論文の諸元 ● スタンフォード大CS学部准教授 ● 大規模ネットワークに関する研究が専門 ● 主観 ○ 機械学習手法とそれを用いた分析に関する論文をバランスよく出している ○ 先進的な論文が他から出る→即数学的な整理をして若干スマートな論文を出版 しフォロー，その分野の第一人者になる傾向 ○ SNAPというネットワーク分析ライブラリに取り込み業界標準化を行うJure Leskovec ※ 第３著者は有名人
  • 3.
    GNN, GCN全般の表現力が足りない件について分析した ● 問題意識 ○GNN,GCNの手法群の精度が頭打ちなのはなぜなのか ● 分析方法&結果 ○ GNN, GCNの表現力をWeisfeiler-Lehman Testというグラフの同型性の判別方法 との類似性を元に分析 ○ GNN, GCNのアーキテクチャを集約(Aggregate)，結合(Combine)，読み出し (Readout)の３つの部分に分け，特にAggregationの部分での差を多重集合 (Multiset)という概念でこれまでのGNN系のAggregation手法を分類，分析を行っ た ○ 分析の結果，最も表現力の高いSummationによるAggregationを行うGIN(Graph Isomorphism Network)という手法を提案し，SOTAを達成 ● 結論 ○ 隣接ノードの集約を行うアーキテクチャの決着をつけ，その先の手法の開拓の必 要性を示した 1. 概要
  • 4.
    Graph Convolutional Network的な手法，多すぎ・・・ ２.背景 Zhang, Ziwei & Cui, Peng & Zhu, Wenwu. (2018). Deep Learning on Graphs: A Survey.
  • 5.
    GNN, GCNの手法がたくさん提案されている状況だが精度が頭打ち感 ● RNN系：YujiaLi, Daniel Tarlow, Gated graph sequence neural networks: ICLR2016 ● CNN系： ○ William L Hamilton, Rex Ying, and Jure Leskovec., Inductive representation learning on large graphs: NIPS2017 ○ Thomas N Kipf and Max Welling. Semi- supervised classification with graph convolutional networks: ICLR2017 ● Attention系：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks: ICLR2018 ● 無理やりDeepにしてみたよ系：Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, and Stefanie Jegelka. Representation learning on graphs with jumping knowledge networks. ICML2018 2. 背景 Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, and Stefanie Jegelka. Representation learning on graphs with jumping knowledge networks. ICML2018 R-GCN GAT JK-Net
  • 6.
    Graph Neural NetworkはDeepにしても全然精度があがらない 2.背景 Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional networks." arXiv preprint arXiv:1609.02907 (2016).
  • 7.
    理論解析をして次のブレイクスルーの可能性を示そう ● それぞれの手法の問題点 ○ それぞれが適当なタスクでSOTAを主張している ○ほとんどのGNNが経験からの直感，ヒューリスティクス，試行錯誤であみだされ たもの ○ GNNの持つ特性，制限に対する理論的な理解，表現能力に対する数理的な解析が ほとんどされていない ● 本論文では ○ GNNの表現力分析に関する理論的フレームワークを提案 ■ Weisfeiler-Lehman Testというグラフ同型判別に関する方法を元にしている ○ グラフの構造と各GNNの表現力の限界について明らかにする 2. 背景
  • 8.
    ● 対象とするタスク ○ ノード分類 ■ノードにつけられたラベルを予測するタスク ○ グラフ分類 ■ グラフが複数ある状態でグラフにつけられたラベルを予測するタスク ● Graph Neural Networkの定式化 ○ 集約 ○ 結合 ○ 読み出し 3. 準備 ※読み出しは複数グラフの識別の場合に用いる
  • 9.
  • 10.
    ● Weisfeiler-Lehman test ○グラフ同型問題を判定する手法の１つ 3. 準備 グラフ同型判別問題の例 そこそこの精度多重集合(multiset): 重複有りの集合
  • 11.
    WLtestはGCNに似てる ● Weisfeiler-Lehman test a.ラベル付きのノードを想定 （なければ数字をふる） b. 隣接ノードのラベルを集め ，ソート c. ラベル群を並べる d. 新しいラベルをふる e. ラベルごとに各グラフのノ ード数を特徴ベクトル化， 内積で比較 3. 準備
  • 12.
    ● 左のグラフに対し ● WLtestに用いるサブツリーを構築（真ん中） ●GNNのaggregationがWLtestと同等の性能を示す場合，すべてのノードに対 し異なる分散表現を獲得できるはず ● この考え方を元に最も表現力のあるAggregationのしくみを考えていく 4. 提案するフレームワーク
  • 13.
    5. 強いGNNの構築 ● 最強のGNNとは ○異なるグラフ構造を持つ全てのグラフを空間上の異なる点に写像するもの ● 単純化すると，どの構造の異なる２つのG1,G2においても異なるベクトル空間への写 像を行うことができる，ということ ● GNNの各層において，集約f,結合Φにおいて，それぞれ単射されていれば良い ● 最終的なグラフの読み出し層においても単射されていなければならない
  • 14.
    5. Graph IsomorphismNetwork(GIN)の提案 ● 最強のGNNとは ○ 異なるグラフ構造を持つ全てのグラフを空間上の異なる点に写像するもの ● 単純化すると，どの構造の異なる２つのG1,G2においても異なるベクトル空間への写 像を行うことができる，ということ ● GNNの各層において，集約f,結合Φにおいて，それぞれ単射されていれば良い ● 最終的なグラフの読み出し層においても単射されていなければならない ● Aggregation&Combination ● Readout GIN
  • 15.
    ● GINでMLPを用いる理由 ○ 1layerのPerceptronだとΣX1=ΣX2の ような場合，同一座標へ写像してし まうため ○他の多くのGCN系の手法（GCN， GraphSAGE）では1layerの Perceptronを用いている 5. 強く無いGNNの分析 ● 1layer Perceptronの例(GraphSage)
  • 16.
  • 17.
    総和によるaggregationが最も表現力が高い ● まとめ ○ 表現力はSumが最高 ○Mean Aggregationはノードが多様なほど表現力がSumと同等になる ○ Max Pooling Aggregationは外れ値に強くグラフの概形（Skelton）を掴むのに有効という報告 がされている 5. 強く無いGNNの分析
  • 18.
    ● Datasets: ○ 9graph classification benchmarks: ■ 4 bioinformatics datasets (MUTAG, PTC, NCI1, PROTEINS) ● Node ラベル：元素やアミノ酸などの分類 ■ 5 social network datasets (COLLAB, IMDB-BINARY, IMDB-MULTI, REDDIT- BINARY and REDDIT-MULTI5K) ● Nodeラベル：REDDIT：すべて同じラベル，その他：ノードの次数をワンホット ベクトルとしてラベリング ● Models & Configuration ○ GINのパラメータを振ったもの(5GNN layer, 2 MLP layer for each GNN layer) ■ εを学習するか0で固定するか ■ MLPをSLPにするか ■ Aggregationをsum,mean,max-poolingにするか ○ BaseLine ■ 最近報告されている手法の結果を論文で報告されている値から取ってきたもの 6. 実験
  • 19.
  • 20.
  • 21.
    ● GIN：ソーシャル・ネットワークで強い ○ ノード数が多い→Sumaggregationが有効に働きやすい ○ GIN-eよりもGIN-0が良い結果な場合が多いのはモデルの単純さが学習効率をよくしているの ではないか 6. 結果
  • 22.
    ● GNNはせいぜいWLtestと同程度のグラフ判別能力しか持たない ● 設定した条件のもとではWLtestと同等の能力を発揮することができる ●GCNやGraphSAGEでは区別できないようなグラフ構造を特定し，そうした 構造も特定できるようなGNNベースのモデルを提案した ● GINモデルを開発し，それがWLtestと同等の表現力を有することを示した 今後 ● 単なる隣接ノードの情報を集めていく方法は限界で，より抽象的なレベルで の改善が求められる まとめ