When will I have access to the lectures and assignments?

To access the course materials, assignments and to earn a Certificate, you will need to purchase the Certificate experience when you enroll in a course. You can try a Free Trial instead, or apply for Financial Aid. The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.

What will I get if I subscribe to this Specialization?

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.

Is financial aid available?

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Analyze Agent Performance: Build and Test

Économisez sur les compétences qui vous font briller avec 40 % de réduction sur 3 mois de Coursera Plus. Économisez maintenant

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.

Analyze Agent Performance: Build and Test

Ce cours fait partie de Spécialisation "Agentic AI Performance & Reliability"

Instructeur : LearningMate

Inclus avec

2 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

2 heures à compléter

Planning flexible

Apprenez à votre propre rythme

2 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

2 heures à compléter

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Aggregate agent performance data and apply statistical A/B tests to objectively measure and validate improvements in AI systems.

Compétences que vous acquerrez

Catégorie : Generative AI Agents
Catégorie : Descriptive Analytics
Catégorie : Business Intelligence
Catégorie : Statistical Methods
Catégorie : Event Monitoring
Catégorie : Key Performance Indicators (KPIs)
Catégorie : Data Analysis
Catégorie : Correlation Analysis
Catégorie : Data-Driven Decision-Making
Catégorie : Agentic systems
Catégorie : Statistical Inference
Catégorie : Statistical Analysis
Catégorie : Data Transformation
Catégorie : Statistical Hypothesis Testing
Catégorie : Performance Metric

Outils que vous découvrirez

Catégorie : AI Orchestration
Catégorie : LangChain
Catégorie : CrewAI
Catégorie : Agentic Workflows

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Récemment mis à jour !

décembre 2025

Évaluations

4 affectations¹

Noté par l'IA voir l'avis de non-responsabilité

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation "Agentic AI Performance & Reliability"

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 2 modules dans ce cours

Analyze Agent Performance: Build and Test is an intermediate course for data analysts, ML engineers, and developers tasked with optimizing AI systems. In a world where agentic AI is increasingly common, it is not enough to build an agent—you must prove its effectiveness. This course equips you with the data-driven skills to measure, monitor, and improve AI agents built with frameworks like LangChain, Autogen, and CrewAI.

You will learn to transform raw, noisy logs into actionable KPIs by applying data aggregation techniques with SQL and dbt. Through hands-on labs, you will design and execute controlled A/B experiments, comparing agent versions to identify meaningful improvements. You will master core statistical methods, including the Chi-square test, to determine whether your results are statistically significant or just random chance. You will be able to move beyond correlation to causation, making objective, evidence-based recommendations on deploying agent enhancements.

Détails du module

This module establishes the foundation for effective AI agent performance analysis. Learners will move beyond raw system logs to create structured, high-level metrics suitable for business intelligence and monitoring. The module focuses on applying data aggregation techniques with SQL and dbt to transform operational data into meaningful key performance indicators (KPIs) like conversation counts and latency.

Inclus

2 vidéos1 lecture2 devoirs

2 vidéosTotal 11 minutes

Defining Agent Success: From Vanity Metrics to Actionable KPIs6 minutes
The Modern Data Stack for AI6 minutes

1 lectureTotal 7 minutes

Advanced Time-Series Aggregation: Windows, Bucketing, and Operational Definitions7 minutes

2 devoirsTotal 30 minutes

Build an Agent Performance Data Model20 minutes
Knowledge Check: Data Transformation for Business Intelligence10 minutes

Module Description: This module equips learners with the skills to scientifically prove the effectiveness of changes to their AI agents. Learners will move from correlation to causation by designing and analyzing controlled A/B experiments. The module provides hands-on experience with statistical hypothesis testing, focusing on the Chi-square test to determine if observed performance improvements are statistically significant.

Inclus

3 vidéos1 lecture2 devoirs1 laboratoire non noté

3 vidéosTotal 16 minutes

Correlation is Not Causation5 minutes
Running a Chi-square Test5 minutes
Non-Parametric Tests6 minutes

1 lectureTotal 8 minutes

Principles of A/B Testing8 minutes

2 devoirsTotal 40 minutes

Agent Performance Analysis Report30 minutes
Knowledge Check: Statistical Significance in Agent Experiments10 minutes

1 laboratoire non notéTotal 25 minutes

Analyze a Controlled Experiment25 minutes

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.