Machine Learning : classification and evaluation [ LINGI2262 ]

 Slides obligatoires, disponibles sur :

Http://www.icampus.ucl.ac.be/claroline/course/index.php?cid=INGI2262

et plus généralement tous les documents (énoncés des mini-projets) disponibles sur le même site.

Connaissances de base en probabilité, statistique et algorithmique (telles que visées par les cours  BIR 1202, BIR1304 et SINF1121)

• Apprentissage par recherche, par biais inductif
• Combinaisons de décisions
• Minimisation d'une fonction de perte, descente de gradient
• Evaluation des performances
• Apprentissage par mémorisation de prototypes
• Apprentissage probabiliste
• Classification non supervisée

Les étudiants ayant suivi avec fruit ce cours seront capables de

• comprendre et appliquer des techniques standard pour construire des programmes informatiques qui s'améliorent automatiquement avec l'expérience, en particulier pour les problèmes de classification
• évaluer la qualité d'un modèle appris pour une tâche donnée
• évaluer les performances relatives de plusieurs algorithmes d'apprentissage
• justifier de l'utilisation d'un algorithme d'apprentissage particulier en prennant en compte la nature des données, le problème d'apprentissage et une mesure de performance pertinente
• utiliser, adapter et étendre des  logiciels d'apprentissage
  

Les étudiants auront développé des compétences méthodologiques et opérationnelles.  En particulier, ils auront développé leur capacité à :

• exploiter la documentation technique pour faire un usage efficace d'un package préexistant,
• communiquer des résultats de test sous forme synthétique en utilisant par exemple des graphiques.

• 25 % des travaux (les 4 mini-projets)
• 75 % de l'examen final

Les mini-projets NE peuvent PAS être refaits en seconde session et les 25% sont donc déjà fixés à la fin de Q1.

• Cours magistral
• Travail écrit et / ou Miniprojet (2 étudiants / groupe, de 1 à 3 semaines)
• Séance de discussion sur la correction des travaux
  

• Apprentissage d'arbres de décision: ID3, C4.5, CART, Forêts aléatoires
• Discriminants linéaires: perceptrons, descente de gradient et minimasation des moindres carrés
• Hyperplans de marge maximale et séparateurs à vaste marge
• Probabilités et statistiques en apprentissage automatique
• Évaluation des performances: tests d'hypothèses, comparaisons d'algorithmes d'apprentissage, analyse ROC
• Classificateurs gaussiens, discriminants de Fisher
• Apprentissage bayésien: maximum de vraisemblance, maximum a posteriori, classifieur optimal, classifieur bayésien naïf
• Apprentissage par mémorisation de prototypes: k plus proches voisins, algorithme LVQ
• Algorithmes de classification non supervisée

Le matériel obligatoire pour ce cours est défini comme l'ensemble des documents et des diapositives disponibles sur le site icampus, ainsi que les communications orales et des exposés donnés au cours chaque semaine. Une copie des diapositives est le seul matériel qui peut être consulté lors de l'examen final.

Livres recommandés

• Christopher Bishop, Pattern recognition and machine learning.
• Richard O. Duda, Peter E. Hart, et David G. Stork, Pattern Classification
• Trevor Hastie, Robert Tibshirani, et Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction
• Thomas Mitchell, Machine Learning
• I.H. Witten et Eibe Frank, Data Mining: Practical Machine Learning Tools And Techniques