Der Kurs „Understanding Open AI Workspaces“ richtet sich an Entwickler mit mittleren Kenntnissen im Bereich maschinelles Lernen und Python-Kenntnissen, die noch keine Erfahrung mit generativer KI haben und lernen möchten, wie man Open-Source-Großsprachenmodelle erstellt, anpasst, optimiert und bereitstellt.

Dieser Kurs vermittelt den Teilnehmern die Fähigkeiten, Umgebungen für die Entwicklung offener generativer KI einzurichten, zu konfigurieren und zu verwalten. Ausgehend von lokalen Installationen üben die Teilnehmer, große Sprachmodelle mithilfe von Ollama auf ihren eigenen Rechnern auszuführen, Techniken zur Leistungsoptimierung für Consumer-Hardware zu erkunden und externe Anwendungen über APIs zu integrieren. Anschließend werden Docker und Docker Compose vorgestellt, wobei die Teilnehmer durch containerisierte Umgebungen geführt werden, die Reproduzierbarkeit, Persistenz und Skalierbarkeit gewährleisten. Die Teilnehmer erstellen Multi-Container-Architekturen zur Trennung von Modellen und Diensten und lernen dabei den Umgang mit GPU-Passthrough und Speicheroptimierung. Abschließend behandelt der Kurs Google Colab für den cloudbasierten GPU-Zugriff, wobei die Teilnehmer kostenlose Ressourcen konfigurieren, den Speicher über Google Drive verwalten und die Leistung innerhalb der Sitzungsbeschränkungen überwachen. Am Ende des Kurses haben die Teilnehmer sowohl lokale als auch Cloud-Umgebungen eingerichtet, ihre Prozesse dokumentiert und die Fähigkeit erworben, den richtigen Arbeitsbereich für verschiedene KI-Workloads auszuwählen.