Comment comprendre le mécanisme de la mémoire et de l'attention dans l'apprentissage profond? Cette thèse de doctorat de 212 pages de Deakin vous donne une réponse.

Liens vers les articles

L'intelligence a besoin de mémoire.Aucun souvenir.,L'homme ne peut accomplir toutes sortes de tâches importantes,Comme lire un roman、Jouer à des jeux ou résoudre des problèmes de maths.L'objectif ultime de l'apprentissage automatique est de développer des systèmes intelligents d'apprentissage et d'action automatisés comme les humains,La construction de la mémoire de la machine est donc inévitable.Les réseaux neuronaux artificiels relient les unités de calcul par des poids,Modéliser les neurones et les synapses du cerveau,Il s'agit d'un algorithme d'apprentissage automatique typique semblable à une structure de mémoire.Leurs descendants ont des techniques de modélisation plus sophistiquées(C'est - à - dire l'apprentissage profond),Il a été appliqué avec succès à de nombreux problèmes pratiques,Et a prouvé l'importance de la mémoire dans le processus d'apprentissage du système machine.Ces dernières années,La recherche sur la modélisation de la mémoire dans l'apprentissage profond se concentre principalement sur la structure de la mémoire externe,Inspiré par le modèle Turing computationnel et le système neuronal biologique.Les mécanismes d'attention sont créés pour soutenir les opérations d'acquisition et de conservation de la mémoire externe.Malgré l'absence de base théorique,Ces méthodes ont montré l'espoir d'aider les systèmes de machines à atteindre un niveau d'intelligence plus élevé.Le but de cet article est d'améliorer la connaissance de la mémoire et de l'attention dans l'apprentissage profond.Ses contributions comprennent: (i) Présenter une collection de classifications de mémoire,(ii)Construction d'un nouveau réseau neuronal d'amélioration de la mémoire supportant plusieurs unités de contrôle et de mémoire(MANN), (iii)Introduction de la variabilité par la génération séquentielle de la mémoire dans le modèle,(iv) Trouver les meilleures opérations d'écriture dans les réseaux de mémoire basés sur les fentes pour maximiser la capacité de mémoire ;(v) Un nouveau type de mémoire externe via un réseau neuronal —— Mémoire de programme neuro - mémoire pour simuler une machine Turing universelle .

Table des matières：

1 Introduction

2 Taxonomy for Memory in RNNs 9

3 Memory-augmented Neural Networks 40

4 Memory Models for Multiple Processes 57

5 Variational Memory in Generative Models 89

6 Optimal Writing Memory 103

7 Neural Stored-Program Memory 120

8 Conclusions 134

Dans cet article, Nous présentons plusieurs types de mémoire des réseaux neuronaux , Surtout les réseaux neuronaux récursifs (RNNs). Nous mettons l'accent sur la mémoire comme RNN Le concept de stockage externe ,Parmi euxrnn Peut apprendre à lire et à écrire la mémoire externe , Pour soutenir sa mémoire de travail (No2Chapitre). Nous avons passé en revue l'entraînement à la résolution RNN Progrès difficiles , Comme les mécanismes de contrôle des portes et d'attention , Particulièrement basé sur la fente MANN, C'est le contenu principal du nouveau modèle présenté au chapitre 3 de cet article . Notre contribution principale est de quatre ordres .Tout d'abord,, NousMANN En tant que modèle multi - processus Multi - points de vue pour traiter des problèmes complexes ,Par exemple:sequence-to-sequence Mapping and Multi - perspective Sequence Learning (Chapitre IV).Nous étendons encoreMANNs .Exigences relatives à la variabilité et à la cohérence des données de session générées par le modèle en tant que séquences discrètes (No5Chapitre). Nous expliquons aussi que la dernière chose en mémoire , .Nous avons introduit une nouvelle catégorie de MANN, Il suit le principe de stockage du programme stocké , Différentes fonctions peuvent être exécutées en changeant le programme du Contrôleur .