Deep Learning et réseaux
de neurones : l'état de l'art

Concepts, modèles mathématiques et statistiques, outils
Sommaire

LE MOT DE L’INTERVENANT

Ce séminaire, illustré par de très nombreux exemples et des...

Ce séminaire, illustré par de très nombreux exemples et des démonstrations pédagogiques sur des jeux de données réels, propose une approche didactique du Deep Learning. Je vous donnerai les clés de compréhension et les points d’attention et de précaution pour une mise en œuvre efficace dans l’entreprise. Ce séminaire est destiné aux DSI, managers, chefs de projets, maîtres d’ouvrage, responsables marketing, DBA, etc. qui veulent comprendre ce que ce domaine peut apporter, pouvoir challenger leurs équipes de Data Science et utiliser le Deep Learning dans la conduite de leurs projets d’innovation digitale.

Grégoire MARTINON
Docteur en astrophysique, Grégoire Martinon est consultant Data Scientist. Il s’est notamment spécialisé dans la détection de fraude et l’application de méthodes de Deep Learning pour la vidéo-protection. Il dirige également des travaux de recherche et développement sur le cycle de vie des modèles en production.
Lire la suite Cacher le texte

     NOUVEAU

Séminaire en distanciel    Disponible en distanciel

Prochaine session : 16-17 NOVEMBRE 2020


A l’ère du tout numérique, le Deep Learning est souvent comparé à l’invention de l’électricité en termes d’impact technologique et sociétal. Croissance exponentielle des flux de données, progrès technologiques sans précédent et démocratisation des techniques en accès libre forment un terreau fertile pour les entreprises et les particuliers.

Comment le Deep Learning a repoussé les limites du traitement de données au cours de la dernière décennie.

A la confluence des mathématiques et de l’informatique, le Deep Learning est propulsé par le progrès scientifique et technologique. Ses applications sont aussi diverses que la voiture autonome, la robotique, la synthèse automatique de texte ou encore la génération d’œuvres d’art. Le Deep Learning a surpassé au début des années 2010 l’ensemble des méthodes traditionnelles dans le traitement des données non structurées, en particulier les images, les textes et les sons. C’est également le moteur de croissance le plus performant des géants du Web. C’est pourquoi la démocratisation récente du Deep Learning représente un levier de transformation fabuleux pour les entreprises du monde entier.

La formation sera agrémentée de nombreux exemples concrets, avec des démonstrations en direct sur des jeux de données réels.



Introduction


Quelles sont les applications du Deep Learning ?

  • Le deep learning dans la vie courante.
  • Le traitement automatique d’images, de textes et de sons.
  • Les systèmes de recommandation.
  • La robotique et les jeux de stratégie.
  • la génération et la compression de données.

Quelles sont les contraintes du Deep Learning ?

  • Deep learning et big data.
  • L’intelligibilité et la robustesse des prédictions face au piratage.

Qu’est-ce que le Deep Learning ?

  • Histoire du Deep Learning : petites et grandes révolutions.
  • Les acteurs du Deep Learning.
  • Qu’est-ce que l’hypothèse hiérarchique ?
  • Quelle est la différence entre deep et Machine Learning ?

Le neurone artificiel


Qu’est-ce qu’un neurone artificiel ?

  • Le neurone biologique comme source d’inspiration.
  • Le problème de la classification binaire.
  • Formulation mathématique du problème : minimisation d’une fonction de coût.
  • Unicité de la solution : comprendre les difficultés de l’apprentissage.

Comment fonctionne la phase d’apprentissage ?

  • La descente de gradient.
  • Les différentes familles de descente de gradient.

Comment évaluer la performance d’un modèle prédictif ?

  • Métriques de performance en régression et classification.
  • Méthodologie : jeu d’entraînement, et jeu de test.

Quel est l’impact du compromis biais-variance sur le choix d’un modèle ?

  • Biais et variance des algorithmes, le diagnostic indispensable.
  • Le choix de la capacité d’un modèle.
  • Big Data : influence du volume données sur le compromis biais-variance.
  • Méthodologie : le jeu de validation pour l’optimisation des paramètres.

Le réseau de neurones


Pourquoi un seul neurone ne suffit pas ?

  • L’affaire XOR et sa résolution avec 2 neurones.
  • Les fonctions d’activations et le problème des gradients.
  • Le perceptron multi-couches et l’architecture hiérarchique.
  • Apprentissage : algorithme de rétro-propagation.

Comment éviter le sur-apprentissage ?

  • Pénalisation et suppression neuronale.
  • L’augmentation du jeu de données.

Comment accélérer l’apprentissage ?

  • Le nécessaire pré-traitement des données.
  • Les différentes familles de descente de gradient.
  • Optimisation automatique des hyper-paramètres : autoML et algorithmes génétiques.

Comment gérer un projet de Deep Learning ?

  • La nécessité d’une référence humaine.
  • Comment diagnostiquer le compromis biais-variance ?
  • Utiliser des architectures existantes..
  • L’analyse des erreurs et les itérations de modélisation.

Quels sont les outils de développement du Deep Learning ?

  • Les incontournables : tensorflow, keras, pytorch, theano, lasagne.
  • La prolifération des outils : MXNet, ONNX, Caffe, DarkNet.

Réseaux de neurones convolutifs et traitement automatique d’images


Les bases de la vision par ordinateur

  • Qu’est-ce qu’une image ?
  • La détection de bords par convolution.
  • Les différents types de convolution : stride, padding, convolution 3D.
  • Traitement automatique des sons.
  • Quelques applications : la détection de masques, de distanciation sociale, la colorisation d’images noir et blanc.

Les réseaux de neurones convolutifs

  • Les couches convolutives et les couches de pooling.
  • Apprentissage : la rétro-propagation convolutive.
  • Les architectures qui ont marqué l’histoire : AlexNet, VGG, ResNet, inceptions networks, capsule networks.

Comment détecter des objets sur des images ?

  • Métriques de performance en détection d’objets.
  • YOLO : You Only Look Once.
  • Labellisation des données.
  • Post-traitement : suppression des non maxima.

Comment transformer une photo en peinture de Picasso ?

  • L’apprentissage par transfert.
  • Génération d’image : descente de gradient par rapport aux pixels.
  • Piratage des réseaux de neurones : les exemples antagonistes..

Réseaux de neurones récurrents et traitement automatique du langage


Les bases du traitement du langage

  • Comment représenter un texte dans un ordinateur ?
  • Qu’est-ce qu’un modèle linguistique ?
  • Classification, traduction, imitation : les différentes manières de traiter une séquence.
  • Traitement automatique des sons et des vidéos.

Les réseaux de neurones récurrents

  • Qu’est-ce qu’une architecture récurrente ?
  • Les différentes cellules neuronales : GRU et LSTM.
  • Apprentissage : la rétro-propagation dans le temps.
  • Les réseaux récurrents bidirectionnels et le mécanisme d’attention.
  • Les réseaux récurrents profonds.

Traduction automatique.

  • Traduction supervisée, comment ça marche ?
  • Métriques de performance en traduction automatique, le BLEU score.
  • Générer les phrases les plus probables avec la méthode beam search.

Apprentissage profond non supervisé


Les auto-encodeurs

  • L’architecture en entonnoir et la compression d’information.
  • Applications : détection d’anomalies et contrôle qualité.
  • Comment pirater une vidéo ? Deep fake, falsification et anonymisation.

Comment obtenir une représentation sémantique des mots ?

  • Comment représenter des mots pour capter leurs sens ?
  • Les plongements lexicaux : Word2Vec, FastText et GloVe.
  • Représentation sous forme de graphe : la synthèse automatique de texte avec TextRank.

Comment générer des nouvelles données ?

  • Comment interpoler ou extrapoler des images : l’exemple des applications de vieillisement/rajeunissement.
  • Les auto-encodeurs variationnels.
  • Le système générateur-discriminateur et les réseaux antagonistes génératifs (GANs)
  • Applications : la traduction non supervisée, le transfert de maquillage, la génération de personnes, la création artistique, la restauration d’images, les effets spéciaux.

L’avenir du Deep Learning


Le Deep Learning dans l’actualité

  • Un sujet politique et juridique à l’heure du Covid-19.
  • Le Deep Learning dans les réseaux sociaux et les smartphones.
  • Le Deep Learning dans le grand débat national.
  • Le Deep Learning et l’enjeu géopolitique de la 5G.
  • Les crises économiques et l’impact sur la reproduction des inégalités.
  • La manipulation de masse et la notion de vérité.
  • Le piratage des intelligences artificielles.

Les applications les plus prometteuses

  • L’amélioration des diagnostics de santé.
  • La révolution des transports autonomes.
  • Les assistants vocaux.
  • La traduction automatique.
  • L’émergence de nouvelles formes d’art.