Traitement Automatique des Langues

Description du cours

Dans ce module, nous abordons l’étude du langage naturel au niveau de la phrase selon les trois approches historiques du TAL : structuraliste, statistique et connexionniste. Ainsi, nous abordons les différentes méthodes d’analyses morpho-syntaxique, syntaxique, et sémantique. Selon l’approche structuraliste, nous présentons les grammaires de constituants et les grammaires de dépendances. Les étiqueteurs morphosyntaxiques sont ensuite introduits selon l’approche statistique avec les modèles de Markov cachés. Les modèles du langage au niveau mot sont présentés selon l’approche statistique et l’approche connexionniste à partir des architectures de réseaux récurrents (LSTM, BiLSTM) et des transformeurs. Pour finir, les modèles fondation pré-entraı̂nés sont introduits (BERT, GPT), qui sont à la base de Large Language Models. Lors des travaux pratiques, nous travaillons sur la classification de textes en comparant les approches statistiques et les approches neuronales avec initialisation par plongements lexicaux (e.g. word2vec, GloVe, FastText). Nous implémentons ensuite les techniques d’affinage sur différentes variantes du modèle fondation BERT. En particulier, nous nous plaçons dans le cadre d’un apprentissage multiclasses ou multilabels.