Évaluation d'un apprentissage et méthodes d'optimisation

Description du cours

Les paradigmes d’apprentissage à partir des données –apprentissage supervisé, non-supervisé– sont considérés dans un cadre d’optimisation. Cette angle d’étude donne un cadre de lecture général aux tâches d’apprentissage, faisant clairement la distinction entre l’entraı̂nement des modèles et leur test. Concrètement, dans un premier temps, les principales mesures de qualité sont passées en revue de manière pratique, à travers la résolution de problèmes d’apprentissage. Dans un second temps, l’apprentissage supervisé et le clustering sont formulés sous la forme d’optimisations, procurant un cadre de lecture comparative des algorithmes proposés pour les résoudre. Ce cours présente aussi les fondements sur les méthodes d’optimisation, en abordant à la fois les problèmes sans contraintes et ceux sous contraintes. Une attention particulière est portée à l’optimisation continue, avec l’étude des méthodes classiques de résolution telles que la descente de gradient. Sur le plan théorique, le cours met en avant l’apport des dérivées d’ordre 1 et 2 pour caractériser la nature des points stationnaires : minima, maxima, points selles, ainsi que la notion de convexité qui est également approfondie pour son rôle sur l’unicité de solutions optimales. L’objectif est de fournir à l’étudiant les outils analytiques et algorithmiques nécessaires pour comprendre, modéliser, implémenter et résoudre efficacement différents problèmes d’optimisation rencontrés en apprentissage automatique et en sciences des données.