Dans Quantization in Depth, vous construirez des méthodes de quantification de modèle pour réduire les poids du modèle à ¼ de leur taille originale, et vous appliquerez des méthodes pour maintenir la performance du modèle compressé. Votre capacité à quantifier vos modèles peut les rendre plus accessibles et plus rapides au moment de l'inférence.

Implémentez et personnalisez la quantification linéaire à partir de zéro afin d'étudier le compromis entre l'espace et la performance, puis construisez un quantificateur polyvalent dans PyTorch qui peut quantifier n'importe quel modèle Open Source. Vous mettrez en œuvre des techniques pour compresser les poids des modèles de 32 bits à 8 bits et même à 2 bits.Rejoignez ce cours pour : 1. Construire et personnaliser des fonctions de quantification linéaire, en choisissant entre deux "modes" : asymétrique et symétrique ; et trois granularités : quantification par tenseur, par canal et par groupe. 2. Mesurez l'erreur de quantification de chacune de ces options tout en équilibrant les compromis de performance et d'espace pour chaque option. 3. Construisez votre propre quantificateur dans PyTorch, pour quantifier les couches denses de n'importe quel modèle Open Source de 32 bits à 8 bits. 4. Allez au-delà de 8 bits, et emballez quatre poids de 2 bits dans un entier de 8 bits. Quantization in Depth vous permet de construire et de personnaliser votre propre quantificateur linéaire à partir de zéro, en allant au-delà des bibliothèques open source standard telles que PyTorch et Quanto, qui sont couvertes dans le cours de courte durée Quantization Fundamentals, également par Hugging Face. Ce cours vous donne les bases pour étudier des méthodes de quantification plus avancées, dont certaines sont recommandées à la fin de ce cours.