Licence Creative Commons Soutenance de thèse Luc giffon: Approximations parcimonieuses et méthodes à noyaux pour la compression de modèles d'apprentissage (version longue) [18 décembre 2020]

 Description

L'explosion de la puissance de calcul ainsi que la collecte massive de données ont conduit à l'actuel âge d'or de la recherche en intelligence artificielle. Cette surabondance de ressources a favorisé la conception d'algorithmes certes impressionnants du point de vue applicatif, mais aussi excessivement demandant en terme de données d'apprentissage et/ou de puissance calculatoire. Cette thèse a pour objectif d'étudier et de valider expérimentalement les bénéfices, en terme de quantité de calcul et de données nécessaires, que peuvent apporter les méthodes à noyaux et les méthodes d'approximation parcimonieuses à des algorithmes d'apprentissage existants. Les réseaux de neurones convolutifs ont révolutionné le traitement de données structurées telles que les images ou le texte. Cependant, les nouvelles architectures neuronales, toujours plus performantes, contiennent toujours plus de paramètres à régler, ce qui nécessite un très grand volume de données. %Autre exemple: les forêts aléatoires sont simples à mettre en oeuvre et habituellement assez efficaces mais peuvent impliquer l'exécution de centaines voire de milliers d'arbres de décision. \`A l'inverse, les méthodes à noyaux, basées sur l'utilisation de fonctions dites <<noyaux>>, sont moins performantes en pratique que les réseaux neuronaux mais demandent peu de données. On peut donc naturellement se demander s'il est possible de combiner ces techniques pour garder le meilleur des deux mondes. Dans une première partie de cette thèse, nous proposons un nouveau type d'architecture neuronale qui fait intervenir une fonction noyau afin d'en réduire le nombre de paramètres à apprendre, ce qui permet de la rendre robuste au sur-apprentissage dans un régime où peu de données annotées sont disponibles. La puissance de calcul nécessaire pour faire tourner les algorithmes d'apprentissage récents est étroitement liée à la <<complexité>> de ces algorithmes. Une approche possible à la réduction de cette complexité est l'utilisation d'approximations parcimonieuses. Dans une seconde partie de cette thèse, nous cherchons à réduire la complexité des modèles d'apprentissage existants en y incluant des approximations parcimonieuses. D'abord, nous proposons un algorithme alternatif à l'algorithme des K-moyennes qui permet d'en accélérer la phase d'inférence grâce à l'expression des centroides sous forme d'un produit de matrices parcimonieuses. En plus des garanties de convergence de l'algorithme proposé, nous apportons une validation expérimentale de la qualité des centroides ainsi exprimés et de leur bénéfice en terme de coût calculatoire. Ensuite, nous explorons la compression de réseaux neuronaux par le remplacement des matrices qui le constituent avec des décomposition parcimonieuses. Enfin, nous détournons l'algorithme d'approximation parcimonieuse \glsfirst{omp} pour faire une sélection pondérée des arbres de décision d'une forêt aléatoire, nous analysons l'effet des poids obtenus et proposons par ailleurs une alternative non-négative de la méthode qui surpasse toutes les autres techniques de sélection d'arbres considérées sur un large panel de jeux de données.

 Informations

  • Ajouté par :

  • Mis à jour le :

    20 décembre 2020 15:07
  • Durée :

    02:56:18
  • Nombre de vues :

    28
  • Type :

  • Langue principale :

    Français
  • Public :

    Doctorat
  • Discipline(s) :

 Téléchargements

Fichiers vidéos :

Fichier audio :

 Intégrer/Partager

Réseaux sociaux

 Options
Cocher cette case pour lancer la lecture automatiquement.
Cocher cette case pour lire la vidéo en boucle.
Cocher la case pour indiquer le début de lecture souhaité.
 Intégrer dans une page web
 Partager le lien
qrcode