Lernen Sie, KI-Systeme über lokale und Cloud-Umgebungen hinweg zu orchestrieren – durch praktische Übungen zur Infrastruktureinrichtung, Modellbereitstellung und Workflow-Integration. Sie erstellen eine Pyramide für das Prompt-Engineering, die von einfachen Prompts bis hin zu in Rust implementierten „Chain-of-Thought“-Schlussfolgerungen reicht, und bewerten anschließend sechs Entscheidungsfaktoren für die Wahl zwischen lokalen und Cloud-Modellen, darunter Latenz, Durchsatz, Kosten und Datenschutz. Der Kurs behandelt die lokale KI-Infrastruktur ausführlich: den Betrieb von Ollama mit benutzerdefinierten Modelfiles für aufgabenspezifische Assistenten, die Bereitstellung von llamafile für portable Inferenz ohne Abhängigkeiten, die Kompilierung von Rust Candle mit CUDA für GPU-beschleunigte lokale Inferenz sowie die Optimierung von lokalem RAG durch Caching-Strategien. Sie werden eine vollständige KI-Workstation konfigurieren, einschließlich tmux für die Sitzungsverwaltung, nvidia-smi und Zenith für die GPU-Überwachung sowie die NVIDIA-GPU-Optimierung. Das abschließende Modul behandelt Cloud-Workflows, darunter AWS-Spot-Instanzen für kosteneffiziente GPU-Rechenleistung, die Suche und den Download von Modellen über Hugging Face sowie die Integration von KI-Modellen aus GitHub. Nach Abschluss dieses Kurses sind Sie in der Lage, eine lokale KI-Infrastruktur einzurichten, Modelle sowohl in lokalen als auch in Cloud-Umgebungen bereitzustellen und Orchestrierungs-Workflows zu entwerfen, die Kosten, Datenschutz und Leistung in Einklang bringen.