Traitement Automatique des Langues

Description du cours

Dans ce module, nous abordons l’étude du langage naturel au niveau de la phrase selon les trois approches historiques du TAL : structuraliste, statistique et connexionniste. Ainsi, nous abordons les différentes méthodes d’analyses morpho-syntaxique, syntaxique, et sémantique. Selon l’approche structuraliste, nous présentons les grammaires de constituants et les grammaires de dépendances. Les étiqueteurs morphosyntaxiques sont ensuite introduits selon l’approche statistique avec les modèles de Markov cachés. Les modèles du langage au niveau mot sont présentés selon l’approche statistique et l’approche connexionniste à partir des architectures de réseaux récurrents (LSTM, BiLSTM) et des transformeurs. Pour finir, les modèles fondation pré-entraı̂nés sont introduits (BERT, GPT), qui sont à la base de Large Language Models. Lors des travaux pratiques, nous travaillons sur la classification de textes en comparant les approches statistiques et les approches neuronales avec initialisation par plongements lexicaux (e.g. word2vec, GloVe, FastText). Nous implémentons ensuite les techniques d’affinage sur différentes variantes du modèle fondation BERT. En particulier, nous nous plaçons dans le cadre d’un apprentissage multiclasses ou multilabels.

Modalités d'évaluation

Session 1 :

• Contrôle continu (CC1) : le contrôle continu consiste en la réalisation de deux mini-projets et d’une présentation d’un article scientifique par groupes de 4 étudiants.
• Contrôle terminal (CT1) : le contrôle terminal consiste en un devoir sur table d’une durée de 2h (tous les supports de cours sont autorisés).
• Note finale : la note finale est calculée de la façon suivante : 31 × CC1 + 32 × CT 1.

Session 2 :

• Contrôle terminal (CT2) : le contrôle terminal consiste en un devoir sur table d’une durée de 2h (tous les supports de cours sont autorisés).
• Note finale : la note finale est calculée de la façon suivante : 13 × CC1 + 32 × CT 2.