Apprenez à construire des systèmes LLM de qualité production en utilisant AWS Bedrock, des chaînes d'outils d'inférence locale, et une évaluation systématique de la qualité. Vous explorerez la génération augmentée par récupération (RAG) sur AWS, la configuration des bases de connaissances Bedrock avec des sources de données S3 pour des réponses fondées sur des documents, et la construction d'applications Rust qui interagissent avec les API de modèles Bedrock. Le cours couvre les fondamentaux de la tokenisation, les architectures multi-modèles pour le routage des requêtes vers les modèles de base appropriés, et le flux de travail de l'agent de connaissance Bedrock, de l'ingestion de données à la génération de réponses. Vous compilerez llama.cpp avec des drapeaux d'optimisation spécifiques au matériel, travaillerez avec le format de fichier GGUF pour la distribution de modèles quantifiés, et déployerez Qwen 2.5 Coder en tant qu'assistant de codage local sur les instances GPU AWS. Le module local LLM toolchain démontre la loi d'Amdahl appliquée à la compilation parallèle, le débit provisionné par Bedrock pour la capacité de modèle dédiée, et l'évaluation rapide dans la console Bedrock. Vous utiliserez le gestionnaire de paquets UV pour la gestion des dépendances Python dans les projets LLM et explorerez Amazon Q Developer pour la génération de code et la documentation assistées par l'IA. Le cours couvre également SageMaker Canvas pour le développement ML sans code, y compris la préparation des ensembles de données et la formation AutoML. A l'issue de ce cours, vous serez en mesure de concevoir des pipelines RAG sur AWS, d'exécuter une inférence LLM locale optimisée avec llama.cpp, et d'évaluer les métriques de qualité LLM pour les déploiements de production.