Deep Learning et réseaux de neurones : l'état de l'art

A l’ère du tout numérique, le Deep Learning est souvent comparé à l’invention de l’électricité en termes d’impact technologique et sociétal. Croissance exponentielle des flux de données, progrès technologiques sans précédent et démocratisation des techniques en accès libre forment un terreau fertile pour les entreprises et les particuliers.

Comment le Deep Learning a repoussé les limites du traitement de données au cours de la dernière décennie.

A la confluence des mathématiques et de l’informatique, le Deep Learning est propulsé par le progrès scientifique et technologique. Ses applications sont aussi diverses que la voiture autonome, la robotique, la synthèse automatique de texte ou encore la génération d’œuvres d’art. Le Deep Learning a surpassé au début des années 2010 l’ensemble des méthodes traditionnelles dans le traitement des données non structurées, en particulier les images, les textes et les sons. C’est également le moteur de croissance le plus performant des géants du web. C’est pourquoi la démocratisation récente du Deep Learning représente un levier de transformation fabuleux pour les entreprises du monde entier.

La formation sera agrémentée de nombreux exemples concrets, avec des démonstrations en direct sur des jeux de données réels.

Introduction

Quelles sont les applications du Deep Learning ?

• Le traitement automatique d’images, de textes et de sons.
• Les systèmes de recommandation.
• La robotique et les jeux de stratégie.
• la génération et la compression de données.

Quelles sont les contraintes du Deep Learning ?

• Le volume de données et Les infrastructures informatiques.
• Le temps de développement et le «  bag of tricks  »
• L’intelligibilité et la robustesse des prédictions face au piratage.

Qu’est-ce que le Deep Learning ?

• Histoire du Deep Learning.
• Les acteurs du Deep Learning.
• Votre cerveau est-il plus gros qu’un réseau de neurones ?
• Qu’est-ce que l’hypothèse hiérarchique ?
• Quelle est la différence entre deep et Machine Learning ?

Le neurone artificiel

Qu’est-ce qu’un neurone artificiel ?

• Le problème de la classification binaire.
• Le neurone biologique comme source d’inspiration.
• Formulation mathématique du problème : minimisation d’une fonction de coût.
• Unicité de la solution : comprendre les difficultés de l’apprentissage.

Comment fonctionne la phase d’apprentissage ?

• La descente de gradient.
• Les différentes familles de descente de gradient.

Comment évaluer la performance d’un modèle prédictif ?

• Métriques de performance en régression et classification.
• Méthodologie : jeu d’entraînement, et jeu de test.

Quel est l’impact du compromis biais-variance sur le choix d’un modèle ?

• Biais et variance des algorithmes, le diagnostic indispensable.
• Le choix de la capacité d’un modèle.
• Big Data : influence du volume données sur le compromis biais-variance.
• La régularisation des modèles prédictifs.
• Méthodologie : le jeu de validation pour l’optimisation des paramètres.

Le réseau de neurones

Pourquoi un seul neurone ne suffit pas ?

• L’affaire XOR et sa résolution avec 2 neurones.
• Les fonctions d’activations et le problème des gradients.
• Le perceptron multi-couches et l’architecture hiérarchique.
• Apprentissage : algorithme de rétro-propagation.

Comment éviter le sur-apprentissage ?

• Le nécessaire prétraitement des données.
• Pénalisation et suppression neuronale.
• L’augmentation du jeu de données.

Comment accélérer l’apprentissage ?

• L’initialisation des poids.
• Les algorithmes de descente de gradient.
• Optimisation automatique des hyper-paramètres : autoML et algorithmes génétiques.

Comment gérer un projet de Deep Learning ?

• La nécessité d’une référence humaine.
• Utiliser des architectures existantes.
• Définir une métrique de performance pertinente.
• L’analyse des erreurs et les itérations de modélisation.

Quels sont les outils de développement du Deep Learning ?

• Les incontournables : tensorflow, keras, pytorch, theano, lasagne.
• La prolifération des outils : MXNet, ONNX, Caffe, DarkNet.

Réseaux de neurones convolutifs et traitement automatique d’images

Les bases de la vision par ordinateur

• Qu’est-ce qu’une image ?
• La détection de bords par convolution.
• Les différents types de convolution : stride, padding, convolution 3D.
• Traitement automatique des sons.

Les réseaux de neurones convolutifs

• Les couches convolutives et les couches de pooling.
• Apprentissage : la rétro-propagation convolutive.
• Les architectures qui ont marqué l’histoire : AlexNet, VGG, ResNet, inceptions networks, capsule networks.

Comment détecter des objets sur des images ?

• Métriques de performance en détection d’objets.
• Découpage en grille.
• Labellisation des données.
• Post-traitement : suppression des non maxima.

Comment transformer une photo en peinture de Picasso ?

• L’apprentissage par transfert.
• Fonction de coût image et fonction de coût de style.
• Génération d’image : descente de gradient par rapport aux pixels.

Réseaux de neurones récurrents et traitement automatique du langage

Les bases du traitement du langage

• Comment représenter un texte dans un ordinateur ?
• Qu’est-ce qu’un modèle de langage ?
• Classification, traduction, imitation : les différentes manières de traiter une séquence.
• Traitement automatique des sons.

Les réseaux de neurones récurrents

• Qu’est-ce qu’une architecture récurrente ?
• Les différentes cellules neuronales : GRU et LSTM.
• Apprentissage : la rétro-propagation dans le temps.
• Les réseaux récurrents bidirectionnels et le mécanisme d’attention.
• Les réseaux récurrents profonds.

Traduction automatique.

• Traduction supervisée, comment ça marche ?
• Métriques de performance en traduction automatique, le BLEU score.
• Générer les phrases les plus probables avec la méthode beam search.

Apprentissage profond non supervisé

Les auto-encodeurs

• L’architecture en entonnoir et la compression d’information.
• Applications : détection d’anomalies et contrôle qualité.
• Comment pirater une vidéo ? Deep fake, falsification et anonymisation.

Comment obtenir une représentation sémantique des mots ?

• Les plongements lexicaux : Word2Vec, FastText et GloVe.
• Représentation sous forme de graphe : la synthèse automatique de texte avec TextRank
• Application aux systèmes de recommandation.

Comment générer des nouvelles données ?

• Le système générateur-discriminateur et les réseaux antagonistes génératifs (GANs)
• Les problèmes d’apprentissage : convergence et génération biaisée
• Applications : la traduction non supervisée, le transfert de maquillage, la génération de personnes, la création artistique, la restauration d’images, les effets spéciaux.

L’avenir du Deep Learning

Le Deep Learning dans l’actualité

• Le Deep Learning dans les réseaux sociaux.
• Le Deep Learning dans les smartphones
• Le Deep Learning dans le grand débat national.
• Le Deep Learning et l’enjeu géopolitique de la 5G.
• L’art et la propriété intellectuelle artificielle.

Les applications les plus prometteuses

• L’amélioration des diagnostics de santé.
• La révolution des transports autonomes.
• Les assistants vocaux.
• La traduction automatique.

Les dangers

• Les enjeux de cyber-sécurité et le piratage des réseaux de neurones.
• La consommation énergétique des réseaux.
• Le conditions de travail de la labellisation.
• L’oligopole des géants du web et le conflit avec les pouvoirs régaliens.