Traitement automatique des langues avancé

Description du cours

Dans ce module, nous abordons l’étude du langage naturel au niveau du texte selon les approches statistique et connexionniste. Ainsi, nous abordons les tâches historiques de TAL, à savoir le résumé de texte et la traduction automatique, en apportant un focus sur la cohérence textuelle. Nous abordons ensuite les techniques basées sur l’apprentissage profond pour traiter les textes longs (LongFormer). Nous abordons aussi la génération de textes par modèles de type encodeur-décodeur et décodeur seul. La notion d’émergence inhérente aux LLMs est introduite ainsi que l’apprentissage par renforcement humain, et les techniques d’ingénierie de prompt sont présentées. La génération augmentée par recherche (RAG) et les techniques efficientes d’affinage des LLMs (Prefix Tuning, LoRA) sont introduites. Finalement, certaines applications du TAL sont présentées comme la recherche d’information, les interfaces langagières ou le TAL appliqué à la santé mentale. Lors des travaux pratiques, nous travaillons sur la génération de textes à partir de modèles encodeur-décodeur ou décodeur seul. En particulier, nous implémentons des techniques d’affinage efficientes sur différents LLMs (e.g. mBART, T5, Mistral, Llama, DeepSeek).