In Quantisierung in der Tiefe werden Sie Methoden zur Modellquantisierung entwickeln, um Modellgewichte auf ¼ ihrer ursprünglichen Größe zu schrumpfen, und Methoden anwenden, um die Leistung des komprimierten Modells zu erhalten. Die Fähigkeit, Ihre Modelle zu quantisieren, kann sie zugänglicher und auch schneller in der Inferenzzeit machen.

Implementieren und passen Sie die lineare Quantisierung von Grund auf an, so dass Sie den Kompromiss zwischen Platz und Leistung untersuchen können, und bauen Sie dann einen Allzweck-Quantisierer in PyTorch, der jedes Open Source-Modell quantisieren kann. Sie werden Techniken implementieren, um Modellgewichte von 32 Bit auf 8 Bit und sogar 2 Bit zu komprimieren. Nehmen Sie an diesem Kurs teil, um: 1. Erstellen und Anpassen von linearen Quantisierungsfunktionen, wobei Sie zwischen zwei "Modi" wählen können: asymmetrisch und symmetrisch; und drei Granularitäten: Quantisierung pro Intensor, pro Kanal und pro Gruppe. 2. Messen Sie den Quantisierungsfehler jeder dieser Optionen und wägen Sie dabei die Leistungs- und Platzvorteile jeder Option ab. 3. Erstellen Sie Ihren eigenen Quantisierer in PyTorch, um die dichten Schichten eines Open Source Modells von 32 Bit auf 8 Bit zu quantisieren. 4. Gehen Sie über 8 Bits hinaus und packen Sie vier 2-Bit-Gewichte in eine 8-Bit-Ganzzahl. Quantisierung in der Tiefe ermöglicht es Ihnen, Ihren eigenen linearen Quantisierer von Grund auf zu erstellen und anzupassen, und geht damit über die Standard-Open-Source-Bibliotheken wie PyTorch und Quanto hinaus, die im Kurzkurs Quantisierungsgrundlagen, ebenfalls von Hugging Face, behandelt werden. Dieser Kurs bietet Ihnen die Grundlage, um fortgeschrittenere Quantisierungsmethoden zu studieren, von denen einige am Ende des Kurses empfohlen werden.