Graphmae - - lecture rapide des documents

target:

C'est,L'auteur pense quegenerative SSLDans des domaines tels queNLPEt d'autres domaines ont été utilisés avec maturité（BERT,GPT）. Mais,Ingraph- Oui.,La plupart du temps.contrastive SSLAu lieu degenerative SSL. Parce que,generative SSLDes problèmes subsistent en ce qui concerne:：(1)reconstruction objective, (2)training robustness, and (3)error metric. Alors...,J'ai proposé：a masked graph autoencoder GraphMAE.

Bref,C'est： RelancegraphÀ l'intérieur.generative SSL.

En résumé,L'ensemble de l'article s'articule autour des quatre points suivants:：

 

（J'ai l'impression,Cet article peut être considéré comme,InGAEDans le cadre de la pensée globale,Il a ajouté quelques petits exercices utilestrick.Ils peuvent en fait être utilisés dans leurs propres modèles.）

Ces dernières années,Apprentissage autoréglementé（SSL）A été largement étudié. Particulièrement générative Ssl Un grand succès dans le traitement du langage naturel et d'autres domaines ,Par exemple:BERTEtGPTLargement utilisé.Malgré tout, L'apprentissage comparatif entre l'expansion des données structurelles fortement dépendantes et les stratégies de formation complexes a toujours été graphique. SSLL'approche dominante de, Et le dessin est généré SSLProgrès accomplis, En particulier le codage graphique （graphautoencoders,GAE）, Le potentiel dans d'autres domaines n'a pas encore été atteint .Dans cet article, Nous avons identifié et étudié GAE Questions ayant des incidences négatives sur le développement , Y compris ses objectifs de reconstruction 、 Robustesse de la formation et mesure des erreurs . Nous proposons un encodeur automatique masqué Graphmae, Il peut atténuer ces problèmes , Utilisé pour l'apprentissage des cartes d'auto - surveillance générées . Et reconstruire la structure , Nous recommandons de mettre l'accent sur la reconstruction des caractéristiques , Utiliser à la fois la stratégie de masquage et l'erreur cosinus d'échelle , C'est bon pour l'entraînement robuste des graphiques . Nous ciblons trois tâches d'apprentissage graphiques différentes ,In21 Des expériences approfondies ont été menées sur des ensembles de données communs .Les résultats montrent que,Graphmae—— Un encodeur automatique graphique simple , Grâce à notre conception méticuleuse , Produire continuellement des performances supérieures aux comparaisons et produire des niveaux de référence à jour . Cette étude fournit une compréhension de l'encodeur automatique graphique , Et démontre le potentiel graphique de l'apprentissage auto - supervisé génératif .