Creative Commons license Soutenance de thèse Luc giffon: Approximations parcimonieuses et méthodes à noyaux pour la compression de modèles d'apprentissage (version longue) [Dec. 18, 2020]

 Summary

L'explosion de la puissance de calcul ainsi que la collecte massive de données ont conduit à l'actuel âge d'or de la recherche en intelligence artificielle. Cette surabondance de ressources a favorisé la conception d'algorithmes certes impressionnants du point de vue applicatif, mais aussi excessivement demandant en terme de données d'apprentissage et/ou de puissance calculatoire. Cette thèse a pour objectif d'étudier et de valider expérimentalement les bénéfices, en terme de quantité de calcul et de données nécessaires, que peuvent apporter les méthodes à noyaux et les méthodes d'approximation parcimonieuses à des algorithmes d'apprentissage existants. Les réseaux de neurones convolutifs ont révolutionné le traitement de données structurées telles que les images ou le texte. Cependant, les nouvelles architectures neuronales, toujours plus performantes, contiennent toujours plus de paramètres à régler, ce qui nécessite un très grand volume de données. %Autre exemple: les forêts aléatoires sont simples à mettre en oeuvre et habituellement assez efficaces mais peuvent impliquer l'exécution de centaines voire de milliers d'arbres de décision. \`A l'inverse, les méthodes à noyaux, basées sur l'utilisation de fonctions dites <<noyaux>>, sont moins performantes en pratique que les réseaux neuronaux mais demandent peu de données. On peut donc naturellement se demander s'il est possible de combiner ces techniques pour garder le meilleur des deux mondes. Dans une première partie de cette thèse, nous proposons un nouveau type d'architecture neuronale qui fait intervenir une fonction noyau afin d'en réduire le nombre de paramètres à apprendre, ce qui permet de la rendre robuste au sur-apprentissage dans un régime où peu de données annotées sont disponibles. La puissance de calcul nécessaire pour faire tourner les algorithmes d'apprentissage récents est étroitement liée à la <<complexité>> de ces algorithmes. Une approche possible à la réduction de cette complexité est l'utilisation d'approximations parcimonieuses. Dans une seconde partie de cette thèse, nous cherchons à réduire la complexité des modèles d'apprentissage existants en y incluant des approximations parcimonieuses. D'abord, nous proposons un algorithme alternatif à l'algorithme des K-moyennes qui permet d'en accélérer la phase d'inférence grâce à l'expression des centroides sous forme d'un produit de matrices parcimonieuses. En plus des garanties de convergence de l'algorithme proposé, nous apportons une validation expérimentale de la qualité des centroides ainsi exprimés et de leur bénéfice en terme de coût calculatoire. Ensuite, nous explorons la compression de réseaux neuronaux par le remplacement des matrices qui le constituent avec des décomposition parcimonieuses. Enfin, nous détournons l'algorithme d'approximation parcimonieuse \glsfirst{omp} pour faire une sélection pondérée des arbres de décision d'une forêt aléatoire, nous analysons l'effet des poids obtenus et proposons par ailleurs une alternative non-négative de la méthode qui surpasse toutes les autres techniques de sélection d'arbres considérées sur un large panel de jeux de données.

 Infos

  • Added by:

  • Updated on:

    Dec. 20, 2020, 3:07 p.m.
  • Duration:

    02:56:18
  • Number of views:

    18
  • Type:

  • Main language:

    French
  • Audience:

    Doctorate
  • Discipline(s):

 Downloads

Video file(s):

Audio file:

 Embed/Share

Social Networks

 Options
Check the box to autoplay the video.
Check the box to loop the video.
Check the box to indicate the beginning of playing desired.
 Embed in a web page
 Share the link
qrcode