In Pretraining LLMs erforschen Sie den ersten Schritt des Trainings großer Sprachmodelle mit einer Technik, die Pretraining genannt wird. Sie lernen die wesentlichen Schritte des Pretrainings eines LLMs kennen, verstehen die damit verbundenen Kosten und entdecken, wie es kosteneffektiver sein kann, mit kleineren, bestehenden Open Source-Modellen zu beginnen. Beim Pretraining wird einem LLM beigebracht, das nächste Token anhand umfangreicher Textdatensätze vorherzusagen, was zu einem Basismodell führt, und dieses Basismodell erfordert eine weitere Feinabstimmung für optimale Leistung und Sicherheit. In diesem Kurs lernen Sie, ein Modell von Grund auf zu trainieren und auch ein bereits trainiertes Modell zu nehmen und den Trainingsprozess mit Ihren eigenen Daten fortzusetzen.

Im Detail: 1. Erkunden Sie Szenarien, in denen Pretraining die optimale Wahl für die Modellleistung ist. Vergleichen Sie die Texterzeugung in verschiedenen Versionen desselben Modells, um die Leistungsunterschiede zwischen Basis-, fein abgestimmten und spezialisierten vortrainierten Modellen zu verstehen. 2. Lernen Sie, wie Sie einen qualitativ hochwertigen Trainingsdatensatz aus Webtexten und vorhandenen Datensätzen erstellen, der für ein effektives Vortraining des Modells entscheidend ist. 3. Bereiten Sie Ihren bereinigten Datensatz für das Training vor. Lernen Sie, wie Sie Ihre Trainingsdaten für die Verwendung mit der Hugging Face-Bibliothek verpacken können. 4. Untersuchen Sie die Möglichkeiten, ein Modell für das Training zu konfigurieren und zu initialisieren, und sehen Sie, wie diese Entscheidungen die Geschwindigkeit des Pretrainings beeinflussen. 5. Lernen Sie, wie Sie einen Trainingslauf konfigurieren und ausführen, damit Sie Ihr eigenes Modell trainieren können. 6. Sie erfahren, wie Sie die Leistung Ihres trainierten Modells bewerten können und lernen gängige Evaluierungsstrategien für LLMs kennen, einschließlich wichtiger Benchmark-Aufgaben, die zum Vergleich der Leistung verschiedener Modelle verwendet werden. Nach diesem Kurs sind Sie in der Lage, ein Modell zu trainieren - von der Datenvorbereitung über die Modellkonfiguration bis hin zur Leistungsbewertung.