Formation Deep Learning et réseaux de neurones : l’état de l’art

1 – Introduction

Quelles sont les applications du Deep Learning ?

• Le deep learning dans la vie courante.
• Le traitement automatique d’images, de textes et de sons.
• Les systèmes de recommandation.
• La robotique et les jeux de stratégie.
• la génération et la compression de données.

Quelles sont les contraintes du Deep Learning ?

• Deep learning et big data.
• Les ressources informatiques nécessaires.
• L’intelligibilité et la robustesse des prédictions face au piratage.

Qu’est-ce que le Deep Learning ?

• Histoire du Deep Learning : petites et grandes révolutions.
• Les acteurs du Deep Learning.
• Qu’est-ce que l’hypothèse hiérarchique ?
• Quelle est la différence entre deep et Machine Learning ?

2 – Le neurone artificiel

Qu’est-ce qu’un neurone artificiel ?

• Le neurone biologique comme source d’inspiration.
• Le problème de la classification binaire.
• Formulation mathématique du problème : minimisation d’une fonction de coût.
• Unicité de la solution : comprendre les difficultés de l’apprentissage.

Comment fonctionne la phase d’apprentissage ?

• La descente de gradient.
• Les différentes familles de descente de gradient.

Comment évaluer la performance d’un modèle prédictif ?

• Métriques de performance en régression et classification.
• Méthodologie : jeu d’entraînement, et jeu de test.

Quel est l’impact du compromis biais-variance sur le choix d’un modèle ?

• Biais et variance des algorithmes, le diagnostic indispensable.
• Le choix de la capacité d’un modèle.
• Big Data : influence du volume données sur le compromis biais-variance.
• Méthodologie : le jeu de validation pour l’optimisation des paramètres.

3 – Le réseau de neurones

Pourquoi un seul neurone ne suffit pas ?

• L’affaire XOR et sa résolution avec 2 neurones.
• Les fonctions d’activations et le problème des gradients.
• Le perceptron multi-couches et l’architecture hiérarchique.
• Apprentissage : algorithme de rétro-propagation.

Comment éviter le sur-apprentissage ?

• Pénalisation et suppression neuronale.
• L’augmentation du jeu de données.

Comment accélérer l’apprentissage ?

• Le nécessaire pré-traitement des données.
• Les différentes familles de descente de gradient.
• Optimisation automatique des hyper-paramètres : autoML et algorithmes génétiques.

Comment gérer un projet de Deep Learning ?

• La nécessité d’une référence humaine.
• Comment diagnostiquer le compromis biais-variance ?
• Utiliser des architectures existantes.
• L’analyse des erreurs et les itérations de modélisation.

Quels sont les outils de développement du Deep Learning ?

• Les incontournables : tensorflow, keras, pytorch, theano, lasagne.
• La prolifération des outils : MXNet, ONNX, Caffe, DarkNet.

4 – Réseaux de neurones convolutifs et traitement automatique d’images

Les bases de la vision par ordinateur

• Qu’est-ce qu’une image ?
• La détection de bords par convolution.
• Les différents types de convolution : stride, padding, convolution 3D.
• Traitement automatique des sons.
• Quelques applications : la détection de masques, de distanciation sociale, la colorisation d’images noir et blanc.

Les réseaux de neurones convolutifs

• Les couches convolutives et les couches de pooling.
• Apprentissage : la rétro-propagation convolutive.
• Les architectures qui ont marqué l’histoire : AlexNet, VGG, ResNet, inceptions networks, capsule networks.

Comment détecter des objets sur des images ?

• Métriques de performance en détection d’objets.
• YOLO : You Only Look Once.
• Labellisation des données.
• Post-traitement : suppression des non maxima.

Comment transformer une photo en peinture de Picasso ?

• L’apprentissage par transfert.
• Génération d’image : descente de gradient par rapport aux pixels.
• Piratage des réseaux de neurones : les exemples antagonistes..

5 – Réseaux de neurones récurrents et traitement automatique du langage

Les bases du traitement du langage

• Comment représenter un texte dans un ordinateur ?
• Qu’est-ce qu’un modèle linguistique ?
• Classification, traduction, imitation : les différentes manières de traiter une séquence.
• Traitement automatique des sons et des vidéos.

Les réseaux de neurones récurrents

• Qu’est-ce qu’une architecture récurrente ?
• Les différentes cellules neuronales : GRU et LSTM.
• Apprentissage : la rétro-propagation dans le temps.
• Les réseaux récurrents bidirectionnels et le mécanisme d’attention.
• Les réseaux récurrents profonds.

Traduction automatique.

• Traduction supervisée, comment ça marche ?
• Métriques de performance en traduction automatique, le BLEU score.

6 – Apprentissage profond non supervisé

Les auto-encodeurs

• L’architecture en entonnoir et la compression d’information.
• Comment pirater une vidéo ? Deep fake, falsification et anonymisation.

Comment obtenir une représentation sémantique des mots ?

• Comment représenter des mots pour capter leurs sens ?
• Les plongements lexicaux : Word2Vec, FastText et GloVe.

Comment générer des nouvelles données ?

• Comment interpoler ou extrapoler des images : l’exemple des applications de vieillisement/rajeunissement.
• Les auto-encodeurs variationnels.
• Le système générateur-discriminateur et les réseaux antagonistes génératifs (GANs)
• Applications : la traduction non supervisée, le transfert de maquillage, la génération de personnes, la création artistique, la restauration d’images, les effets spéciaux.

7 – L’avenir du Deep Learning

Le Deep Learning dans l’actualité

• Un sujet politique et juridique à l’heure du Covid-19.
• Le Deep Learning dans les réseaux sociaux et les smartphones.
• Le Deep Learning dans le grand débat national.
• Le Deep Learning et l’enjeu géopolitique de la 5G.
• Les crises économiques et l’impact sur la reproduction des inégalités.
• La manipulation de masse et la notion de vérité.
• Le piratage des intelligences artificielles.

Le Deep Learning et la sobriété numérique

• La dualité de l’IA dans la poursuite des objectifs de développement durable
• La croissance verte des infrastructures
• La croissance supra-exponentielle de la demande énergétique liée au deep learning
• Mesurer son impact environnemental lié à l’intelligence artificielle
• Réduire son impact environnemental lié à l’intelligence artificielle

Les applications les plus prometteuses

• L’amélioration des diagnostics de santé.
• La révolution des transports autonomes.
• Les assistants vocaux.
• La traduction automatique.
• L’émergence de nouvelles formes d’art.