Dans ce cours, vous apprendrez à résoudre des problèmes avec des espaces d'état larges, de haute dimension et potentiellement infinis. Vous verrez que l'estimation des fonctions de valeur peut être considérée comme un problème d'apprentissage supervisé - l'approximation de fonction - vous permettant de construire des agents qui équilibrent soigneusement la généralisation et la discrimination afin de maximiser la récompense. Nous commencerons ce voyage en étudiant comment nos méthodes d'évaluation ou de prédiction des politiques, comme Monte Carlo et TD, peuvent être étendues au cadre de l'approximation des fonctions. Vous apprendrez les techniques de construction de caractéristiques pour le RL, et l'apprentissage de représentation via les réseaux neuronaux et le backprop. Nous conclurons ce cours par une plongée en profondeur dans les méthodes de gradient de politique, un moyen d'apprendre des politiques directement sans apprendre une fonction de valeur. Dans ce cours, vous résoudrez deux tâches de contrôle d'état continu et étudierez les avantages des méthodes de gradient de politique dans un environnement d'action continue.

Prérequis : Ce cours s'appuie fortement sur les fondamentaux des cours 1 et 2, et les apprenants doivent les avoir suivis avant de commencer ce cours. Les apprenants doivent également être à l'aise avec les probabilités et les attentes, l'algèbre linéaire de base, le calcul de base, Python 3.0 (au moins 1 an), et l'implémentation d'algorithmes à partir de pseudocodes. A la fin de ce cours, vous serez capable de : -Comprendre comment utiliser des approches d'apprentissage supervisé pour approximer des fonctions de valeur -Comprendre les objectifs de prédiction (estimation de valeur) sous approximation de fonction -Implémenter des TD avec approximation de fonction (agrégation d'état), comprendre les objectifs de la prédiction (estimation de la valeur) dans le cadre de l'approximation de fonction -Mettre en œuvre la TD avec l'approximation de fonction (agrégation d'états), dans un environnement avec un espace d'états infini (espace d'états continu)Contraster les formulations de problèmes actualisés pour le contrôle avec une formulation de problème de récompense moyenne -Implémenter Sarsa attendu et Q-learning avec approximation de fonction sur une tâche de contrôle d'état continu -Comprendre les objectifs pour estimer directement les politiques (objectifs de gradient de politique) -Implémenter une méthode de gradient de politique (appelée Actor-Critic) sur un environnement d'état discret