Utiliser l'encodage-décodage, la causalité et l'auto-attention pour traduire mécaniquement des phrases complètes, résumer un texte et répondre à des questions.
Compétences que vous acquerrez
Catégorie : Apprentissage automatique appliqué
Apprentissage automatique appliqué
Catégorie : Évaluation du modèle
Évaluation du modèle
Catégorie : Réseaux neuronaux récurrents (RNN)
Réseaux neuronaux récurrents (RNN)
Catégorie : Apprentissage par transfert
Apprentissage par transfert
Catégorie : Traitement du langage naturel
Traitement du langage naturel
Catégorie : Mise au point
Mise au point
Outils que vous découvrirez
Catégorie : Keras (bibliothèque de réseaux neuronaux)
Keras (bibliothèque de réseaux neuronaux)
Détails à connaître
Certificat partageable
Ajouter à votre profil LinkedIn
Évaluations
3 devoirs
Enseigné en Anglais
91%
of learners achieved a positive career outcome
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.
Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable
Il y a 3 modules dans ce cours
Dans le cours 4 de la spécialisation en traitement naturel du langage, vous allez : a) Traduire des phrases anglaises complètes en portugais en utilisant un modèle d'attention codeur-décodeur, b) Construire un modèle Transformer pour résumer du texte, c) Utiliser les modèles T5 et BERT pour effectuer des réponses aux questions. À la fin de cette spécialisation, vous aurez conçu des applications NLP qui effectuent des réponses aux questions et des analyses de sentiments, et créé des outils pour traduire des langues et résumer du texte ! Les apprenants devraient avoir une connaissance pratique de l'apprentissage automatique, de Python intermédiaire, y compris une expérience avec un cadre d'apprentissage en profondeur (par exemple, TensorFlow, TensorFlow, Keras), ainsi que la maîtrise du calcul, de l'algèbre linéaire et des statistiques. Veuillez vous assurer que vous avez suivi le cours 3 - Traitement du langage naturel avec modèles de séquences - avant de commencer ce cours. Cette spécialisation est conçue et enseignée par deux experts en NLP, apprentissage automatique et apprentissage profond. Younes Bensouda Mourri est un instructeur en IA à l'Université de Stanford qui a également contribué à la construction de la spécialisation Deep learning. Łukasz Kaiser est un Staff Research Scientist chez Google Brain et le coauteur de Tensorflow, des bibliothèques Tensor2Tensor et Trax, et du document Transformer.
Découvrez certaines des lacunes d'un modèle seq2seq traditionnel et comment les résoudre en ajoutant un mécanisme d'attention, puis construisez un modèle de traduction automatique neuronale avec attention qui traduit des phrases anglaises en allemand.
Inclus
15 vidéos5 lectures1 devoir1 devoir de programmation3 laboratoires non notés
Afficher les informations sur le contenu du module
15 vidéos•Total 88 minutes
Cours 4 Introduction•3 minutes
Introduction à la semaine•1 minute
Seq2seq•6 minutes
Modèle Seq2seq avec attention•6 minutes
Requêtes, clés, valeurs et attention•6 minutes
Mise en place de la traduction automatique•2 minutes
Forçage de l'enseignant•2 minutes
Modèle NMT avec attention•4 minutes
Score BLEU•5 minutes
ROUGE-N Score•5 minutes
Échantillonnage et décodage•4 minutes
Recherche de faisceaux•7 minutes
Risque minimum de Bayes•3 minutes
Conclusion de la semaine•1 minute
Andrew Ng avec Oren Etzioni•35 minutes
5 lectures•Total 28 minutes
Informations sur seq2seq•10 minutes
Ressource de contenu•10 minutes
Rejoignez le forum DeepLearning.IA pour poser des questions, obtenir du soutien ou partager des idées étonnantes !•2 minutes
Notes de cours W1•1 minute
(Facultatif) Téléchargement de votre ordinateur portable, Téléchargement de votre espace de travail et Actualisation de votre espace de travail•5 minutes
1 devoir•Total 30 minutes
Traduction automatique neuronale•30 minutes
1 devoir de programmation•Total 180 minutes
NMT avec attention (Tensorflow)•180 minutes
3 laboratoires non notés•Total 90 minutes
Laboratoire non gradué : Attention de base•30 minutes
Laboratoire non noté : Attention au produit de points échelonné•30 minutes
Laboratoire non classé : Score BLEU•30 minutes
Résumés de textes
Semaine 2•8 heures à terminer
Détails du module
Comparez les RNN et autres modèles séquentiels à l'architecture Transformer plus moderne, puis créez un outil qui génère des résumés de texte.
Inclus
10 vidéos6 lectures1 devoir1 devoir de programmation3 laboratoires non notés
Afficher les informations sur le contenu du module
10 vidéos•Total 39 minutes
Introduction à la semaine•1 minute
Transformers vs RNNs•3 minutes
Vue d'ensemble des transformateurs•5 minutes
Applications des transformateurs•7 minutes
Attention à l'échelle et au produit en points•4 minutes
L'auto-attention masquée•3 minutes
Attention à plusieurs têtes•6 minutes
Décodeur de transformateur•5 minutes
Transformer Summarizer•4 minutes
Conclusion de la semaine•1 minute
6 lectures•Total 51 minutes
Transformers vs RNNs•10 minutes
Applications des transformateurs•10 minutes
Attention à plusieurs têtes•10 minutes
Décodeur de transformateur•10 minutes
Ressource de contenu•10 minutes
Notes de cours W2•1 minute
1 devoir•Total 30 minutes
Résumés de textes•30 minutes
1 devoir de programmation•Total 180 minutes
Transformer Summarizer•180 minutes
3 laboratoires non notés•Total 180 minutes
Attention•60 minutes
Masquage•60 minutes
Codage positionnel•60 minutes
Réponse aux questions
Semaine 3•11 heures à terminer
Détails du module
Explorez l'apprentissage par transfert avec des modèles de pointe tels que T5 et BERT, puis construisez un modèle capable de répondre à des questions.
Inclus
16 vidéos15 lectures1 devoir1 devoir de programmation3 laboratoires non notés
Afficher les informations sur le contenu du module
16 vidéos•Total 98 minutes
Introduction à la semaine•1 minute
Vue d'ensemble de la semaine 3•7 minutes
L'apprentissage par transfert dans la PNL•6 minutes
ELMo, GPT, BERT, T5•8 minutes
Représentations de codeurs bidirectionnels à partir de transformateurs (BERT)•5 minutes
Objectif de l'ORET•3 minutes
Réglage fin de BERT•2 minutes
Transformateur : T5•4 minutes
Stratégie de formation multitâche•6 minutes
Benchmark GLUE•2 minutes
Introduction au visage de l'étreinte•3 minutes
Visage de l'étreinte I•4 minutes
Visage étreint II•3 minutes
Visage de l'étreinte III•5 minutes
Conclusion de la semaine•0 minutes
Andrew Ng avec Quoc Le•41 minutes
15 lectures•Total 136 minutes
Vue d'ensemble de la semaine 3•10 minutes
L'apprentissage par transfert dans la PNL•10 minutes
ELMo, GPT, BERT, T5•10 minutes
Représentations de codeurs bidirectionnels à partir de transformateurs (BERT)•10 minutes
Objectif de l'ORET•10 minutes
Réglage fin de BERT•10 minutes
Transformateur T5•10 minutes
Stratégie de formation multitâche•10 minutes
Benchmark GLUE•10 minutes
Bienvenue sur Hugging Face 🤗•10 minutes
Ressource de contenu•10 minutes
Notes de cours W3•1 minute
Remerciements•10 minutes
Références•10 minutes
(Facultatif) Possibilité d'encadrer d'autres apprenants•5 minutes
1 devoir•Total 30 minutes
Réponse aux questions•30 minutes
1 devoir de programmation•Total 180 minutes
Réponse aux questions•180 minutes
3 laboratoires non notés•Total 240 minutes
SentencePiece et BPE•120 minutes
Réponse aux questions avec HuggingFace - Utilisation d'un modèle de base•60 minutes
Réponse aux questions avec HuggingFace 2 - Mise au point d'un modèle•60 minutes
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Instructeurs
Évaluations de l’enseignant
Évaluations de l’enseignant
Nous avons demandé à tous les étudiants de fournir des commentaires sur nos enseignants au sujet de la qualité de leur pédagogie.
DeepLearning.AI est une société de technologie éducative qui développe une communauté mondiale de talents en matière d'IA.
Les expériences éducatives de DeepLearning.AI, menées par des experts, fournissent aux praticiens de l'IA et aux professionnels non techniques les outils nécessaires pour passer des bases fondamentales aux applications avancées, leur permettant ainsi de construire un avenir propulsé par l'IA.
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Avis des étudiants
4.4
1 093 avis
5 stars
68,61 %
4 stars
14,32 %
3 stars
8,30 %
2 stars
4,65 %
1 star
4,10 %
Affichage de 3 sur 1093
N
ND
5·
Révisé le 23 sept. 2021
It's a great way to get started with state-of-the-art NLP techniques, following the recommended papers is extremely useful.
R
RJ
4·
Révisé le 28 sept. 2020
Not up to expectations. Needs more explanation on some topics. Some were difficult to understand, examples might have helped!!
J
JH
5·
Révisé le 4 oct. 2020
Can the instructors make maybe a video explaining the ungraded lab? That will be useful. Other students find it difficult to understand both LSH attention layer ungraded lab. Thanks
Pour accéder aux supports de cours, aux devoirs et pour obtenir un certificat, vous devez acheter l'expérience de certificat lorsque vous vous inscrivez à un cours. Vous pouvez essayer un essai gratuit ou demander une aide financière. Le cours peut proposer l'option "Cours complet, pas de certificat". Cette option vous permet de consulter tous les supports de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cela signifie également que vous ne pourrez pas acheter un certificat d'expérience.
Qu'est-ce que je recevrai si je souscris à cette Specializations ?
Lorsque vous vous inscrivez au cours, vous avez accès à tous les cours de la spécialisation et vous obtenez un certificat lorsque vous terminez le travail. Votre certificat électronique sera ajouté à votre page Réalisations - de là, vous pouvez imprimer votre certificat ou l'ajouter à votre profil LinkedIn.
Une aide financière est-elle disponible ?
Oui, pour certains programmes de formation, vous pouvez demander une aide financière ou une bourse si vous n'avez pas les moyens de payer les frais d'inscription. Si une aide financière ou une bourse est disponible pour votre programme de formation, vous trouverez un lien pour postuler sur la page de description.