Gen AI Dev- Implement Evaluation Systems for Generative AI

La Fête du Travail commence avec plus de 70 $ d'économies sur Coursera Plus. Bénéficiez de 40 % de réduction pendant 3 mois.

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.

Gen AI Dev- Implement Evaluation Systems for Generative AI

Ce cours fait partie de Spécialisation "AWS Generative AI Developer Advanced"

Instructeur : AWS Instructor

Inclus avec En savoir plus

5 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Avancées

Expérience recommandée

1 heure à compléter

Planning flexible

Apprenez à votre propre rythme

5 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Avancées

Expérience recommandée

1 heure à compléter

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Assess generative AI outputs using metrics for relevance, factual accuracy, consistency, and fluency
Design quality assurance processes integrating continuous evaluation workflows and regression testing
Apply testing methods including A/B testing and multi-model comparison for output quality

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Récemment mis à jour !

septembre 2026

Évaluations

1 devoir

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation "AWS Generative AI Developer Advanced"

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 5 modules dans ce cours

Welcome to the fifth part of this learning plan centered around the role and responsibilities of a generative AI professional developer.In this part, you will learn critical skills for ensuring reliable generative AI outputs. You'll learn to build evaluation frameworks measuring relevance and accuracy, implement testing methodologies like A/B testing and multi-model comparison, and develop user-centered quality assurance processes. The curriculum covers troubleshooting techniques for AI-specific

Inclus

6 lectures

Inclus

16 lectures

16 lecturesTotal 17 minutes

Introduction1 minute
Key metrics for generative AI evaluation1 minute
Developing a framework based on a business use case1 minute
Introduction1 minute
Assessment systems for generative AI1 minute
RAG evaluation components1 minute
Implementing RAG evaluation1 minute
LLM-as-a-Judge implementation1 minute
Implementation best practices1 minute
Introduction1 minute
Amazon Bedrock model evaluations1 minute
A/B testing strategies1 minute
Multi-model evaluation1 minute
Amazon Nova model family evaluation2 minutes
Cost-performance analysis1 minute
Implementation best practices1 minute

Inclus

15 lectures

15 lecturesTotal 15 minutes

Introduction1 minute
Quality assurance for generative AI1 minute
Continuous evaluation workflows1 minute
Regression testing for model outputs1 minute
Automated quality gates for deployment1 minute
AI-specific output validation1 minute
Agent-specific quality validation1 minute
Implementation best practices1 minute
Introduction1 minute
Retrieval quality fundamentals1 minute
Relevance scoring techniques1 minute
Context matching verification1 minute
Measuring and optimizing retrieval latency1 minute
Monitoring and continuous improvement for retrieval systems1 minute
Use-case specific optimization strategies1 minute

Inclus

15 lectures

15 lecturesTotal 18 minutes

Introduction1 minute
Agent performance fundamentals1 minute
Measuring task completion rates1 minute
Multi-step workflow assessment for agent performance1 minute
Tool usage effectiveness evaluation1 minute
Strands Agents evaluation framework1 minute
Amazon Bedrock AgentCore evaluations3 minutes
Best practices for agent performance monitoring1 minute
Use case-specific performance frameworks1 minute
Introduction1 minute
Reporting systems fundamentals1 minute
Visualization tools and dashboard development1 minute
Automated reporting mechanisms1 minute
Model comparison visualizations2 minutes
Stakeholder-specific reporting frameworks1 minute

Inclus

4 lectures1 devoir

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

AWS Instructor

Amazon Web Services

196 Cours366 723 apprenants

Offert par

Amazon Web Services

En savoir plus sur Machine Learning

Amazon Web Services
Gen AI Dev- Agentic AI Solutions and Tool Integrations
Cours
Amazon Web Services
Gen AI Dev- Analyze Requirements & Design GenAI Solutions
Cours
Fractal Analytics
Generative AI - Your Personal Code Reviewer
Cours
Statut : Essai gratuit
SkillUp
GenAI-Assisted Development and Code Quality
Cours
Statut : Essai gratuit

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Profitez de plus de 10 000 programmes grâce à notre offre spéciale pour la Fête du Travail
Abonnez-vous à Coursera Plus
Commencez par réaliser des économies simples pour vos équipes qui travaillent dur
Économisez 30 % dès aujourd'hui

Foire Aux Questions

To access course materials, assignments, and earn a Certificate, you'll need to purchase the Certificate experience when you enroll in a course. Eligible learners may also have the option to start with a Free Trial. Some courses may also offer a Full Course, No Certificate option. This lets you access course materials, submit required assessments, and receive a final grade, but you won't be able to earn or purchase a Certificate.

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.