Traitement de la langue naturelle
[INGI2263]
[30h + 15h] 5 crédits
Ce cours n'est pas dispensé en 2007-2008
Enseignants : Pierre Dupont(coord.), Cédrick Fairon
Langue d'enseignement : Français
Niveau : Second cycle
Objectifs (en termes de compétences)
- décrire les concepts de base de la modélisation du langage naturel
- maîtriser la méthodologie propre à la constitution de ressources linguistiques (corpus, dictionnaires, réseaux sémantiques, etc)
- et faire un choix argumenté entre différentes ressources disponibles
- appliquer à bon escient des techniques de modélisation statistique du langage naturel
- développer des applications de l'ingénierie linguistique
Objet de l'activité (principaux thèmes à aborder)
- Méthodologie de constitution de corpus en ingénierie linguistique
- Ressources linguistiques
- Etiquetage en partie du discours
- Détection de collocations
- Modélisation statistique de la langue (N-grams et modèles de Markov cachés)
- Algorithmes d'analyse robuste, grammaires hors-contexte probabilistes
- Applications de l'ingénierie linguistique telles que
- la correction orthographique ou grammaticale,
- l'indexation automatique de documents ou la catégorisation de textes
Résumé : Contenu et Méthodes
- Rappels mathématiques : langages formels, tests statistiques et éléments de la théorie de l'information
- Méthodologie de constitution de corpus
- Analyse de corpus : formatage, tokenization, morphologie, marquage des données
- Collocations: test de Pearson, ratios de vraisemblance, information mutuelle
- N-grams : estimation par maximum de vraisemblance et lissage
- Modèles de Markov Cachés : définitions, algorithmes de Baum-Welch et de Viterbi
- Etiquetage en parties du discours
- Grammaires hors-contexte probabilistes : estimation des paramètres et algorithmes d'analyse, utilisation de treebanks
- Applications : correcteurs, outils d'indexation ou de catégorisation de documents
Autres informations (Pré-requis, Evaluation, Support, ...)
INGI2132 Langages et traducteurs
Avoir suivi les cours suivants constituent un plus sans être indispensables :
INGI2261 Intelligence artificielle : représentation et raisonnement
INGI2262 Machine Learning
FLTR2620 Traitement automatique du langage naturel
Ouvrages de référence :
- Foundations of Statistical Natural Language Processing, C. Manning and H. Schütze, MIT Press, 1999.
- Speech and language processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition, D. Jurafsky and J. Martin, Prentice-Hall, 2000.
- The Oxford Handbook of Computational Linguistics, Ruslan Mitkov (Editor), Oxford University Press, 2003.
- Ingénierie des langues. Sous la dir. de J.M. Pierrel, Hermes Science Publications, 2000.