Dans ce module, nous allons plonger dans les aspects fondamentaux de l'apprentissage automatique en mettant l'accent sur l'importance des données, en particulier dans les applications d'apprentissage profond. Nous commencerons par souligner à quel point les grands ensembles de données sont essentiels pour former efficacement les modèles d'apprentissage profond, car ils permettent aux modèles de capturer et d'apprendre à partir de modèles complexes, améliorant ainsi leurs performances globales. En outre, nous explorerons l'intersection de la disponibilité des données, de la puissance de calcul et de la capacité des modèles, en soulignant comment ces éléments interagissent pour affiner la précision et l'efficacité des modèles. En outre, le module couvrira les avancées informatiques au-delà de la loi de Moore et leur impact sur l'apprentissage automatique, en illustrant comment le matériel moderne comme les CPU, les GPU et les TPU améliorent les capacités de calcul essentielles à l'entraînement de modèles sophistiqués. Nous approfondirons également les lois de mise à l'échelle dans le Deep learning, en discutant des résultats empiriques qui montrent comment les performances des modèles s'améliorent de manière prévisible avec l'augmentation de la taille des ensembles de données et de la complexité des modèles, bien qu'avec des rendements décroissants. Pour fournir une base théorique plus profonde, nous examinerons la théorie de Vapnik-Chervonenkis (VC), qui offre un aperçu de la façon dont les courbes d'apprentissage et la complexité du modèle sont liées à la capacité d'un modèle à généraliser à partir des données d'entraînement. Cette discussion s'étendra aux applications pratiques et aux limitations théoriques, aidant à cadrer les défis de l'apprentissage automatique en termes de suffisance des données, d'ajustement des modèles et d'équilibre entre le biais et la variance. À la fin de ce module, les étudiants auront une compréhension approfondie de l'interaction dynamique entre ces facteurs et de leurs implications pour la pratique et la recherche en apprentissage automatique.

Dans ce module, nous allons explorer l'apprentissage par transfert et son rôle dans l'apprentissage automatique efficace en termes de données, où les modèles exploitent les connaissances des tâches précédentes pour améliorer les performances sur de nouvelles tâches connexes. Nous aborderons également les différents types d'Apprentissage par transfert, y compris les méthodes transductives, inductives et non supervisées, chacune répondant à des défis et des applications différents. Nous discuterons de certaines étapes pratiques pour la mise en œuvre de l'apprentissage par transfert, telles que la sélection et le réglage fin de modèles pré-entraînés, afin de réduire la dépendance à l'égard des grands ensembles de données. Nous examinerons également les simulations basées sur les données et la physique pour l'augmentation des données, en soulignant leur utilisation pour améliorer l'entraînement dans des conditions contraignantes. Enfin, nous passerons en revue les principaux articles sur les techniques d'apprentissage par transfert afin de remédier à la pénurie de données et d'améliorer les performances des modèles.

Dans ce module, vous explorerez le concept d'adaptation au domaine, un aspect clé de l'apprentissage par transfert transductif. L'adaptation au domaine vous aide à former des modèles performants dans un domaine cible, même si la distribution des données diffère de celle du domaine source. Vous découvrirez les défis liés au changement de domaine et à la rareté des données étiquetées, ainsi que leur impact sur les performances des modèles. Nous couvrirons les différents types d'adaptation de domaine, y compris les approches non supervisées, semi-supervisées et supervisées. Vous plongerez également dans des techniques telles que Deep Domain Confusion (DDC), qui intègre la perte de confusion de domaine dans les réseaux neurones pour créer des caractéristiques invariantes par rapport au domaine. En outre, vous découvrirez des méthodes avancées telles que les réseaux neurones orientés domaine (DANN), l'alignement des corrélations (CORAL) et les réseaux d'adaptation en profondeur (DAN) qui s'appuient sur la DDC pour améliorer l'adaptation au domaine en alignant les distributions de caractéristiques et en capturant les dépendances complexes à travers les couches du réseau.

Dans ce module, nous allons explorer la supervision faible, une technique pour former des modèles d'apprentissage automatique avec des étiquettes limitées, bruyantes ou imprécises. Vous découvrirez les différents types de supervision faible et les raisons pour lesquelles ils sont essentiels dans les domaines de petites données. Nous couvrirons des techniques telles que l'apprentissage semi-supervisé, l'apprentissage auto-supervisé et l'apprentissage actif, ainsi que des méthodes avancées telles que l'ensembliste temporel et l'approche de l'enseignant moyen. En outre, vous découvrirez l'apprentissage profond bayésien et les stratégies d'apprentissage actif pour améliorer l'efficacité de la formation. Enfin, vous verrez des applications du monde réel dans des domaines tels que l'imagerie médicale, le NLP, la détection des fraudes, la conduite autonome et la biologie.

Dans ce module, vous découvrirez comment l'Apprentissage zéro coup (ZSL) permet aux modèles de reconnaître de nouvelles catégories sans avoir vu d'exemples de ces catégories au cours de la formation. Pour ce faire, on exploite les descriptions sémantiques intermédiaires, telles que les attributs, partagées entre les classes vues et non vues. Vous découvrirez également l'importance de la régularisation pour éviter le surajustement et améliorer la généralisation, ainsi que la façon dont les modèles génératifs tels que les GAN et les VAE améliorent le ZSL en synthétisant des données de classes inédites. En outre, nous examinerons l'Apprentissage zéro coup généralisé (GZSL), qui teste les modèles sur les classes vues et non vues, rendant la tâche plus difficile et plus réaliste. À la fin de ce module, vous aurez une solide compréhension de la façon dont ZSL et ses extensions peuvent être appliquées à diverses tâches d'apprentissage automatique.

Ce module se concentre sur l'Apprentissage en quelques coups (FSL), un paradigme critique de l'apprentissage automatique qui permet aux modèles de classer de nouveaux exemples avec seulement un petit nombre d'instances étiquetées. Contrairement aux modèles d'apprentissage profond traditionnels qui nécessitent de grandes quantités de données étiquetées, le FSL imite la capacité humaine à généraliser à partir d'exemples limités, ce qui le rend très utile pour des tâches telles que la classification d'images, la détection d'objets et le traitement du langage naturel (NLP). Le cours présente les réseaux de correspondance, une approche d'apprentissage basée sur des métriques conçue pour résoudre les problèmes d'apprentissage à partir d'une seule fois en apprenant une fonction de similarité qui met en correspondance de nouveaux exemples avec des instances étiquetées déjà vues. Les étudiants acquerront une compréhension approfondie de la façon dont les approches du plus proche voisin, les fonctions d'intégration différentiables et les mécanismes d'attention aident à optimiser les modèles d'apprentissage en quelques coups. À travers des discussions, des formulations théoriques et des applications du monde réel, ce cours permet aux étudiants d'acquérir des connaissances pratiques sur la manière dont l'IA peut fonctionner efficacement dans des environnements où les données sont rares.