Beherrschen Sie fortgeschrittene Deep-Learning-Architekturen und effiziente Trainingstechniken unter Verwendung von PyTorch Lightning, timm, ConvNeXt, Vision Transformers, RoPE, SwiGLU, RMSNorm und Weights & Biases. Dieser Kurs vermittelt Ihnen die Fähigkeiten, moderne Backbones auf begrenzter GPU-Hardware für den praktischen Einsatz in der Produktion zu entwerfen, zu trainieren und zu benchmarken.

Modul 1 stellt moderne Backbone-Architekturen vor und verfolgt die Entwicklung von ResNets bis hin zu ConvNeXt und Vision Transformers, wobei Patch-Embeddings, Multi-Head-Self-Attention und Positionskodierungen behandelt werden. Modul 2 befasst sich eingehend mit Trainingsdynamiken und Stabilisierungstechniken, darunter RMSNorm, SwiGLU-Aktivierungen und Rotary Position Embeddings (RoPE) für ein stabiles, skalierbares Training. Modul 3 konzentriert sich auf effizientes Training auf begrenzten GPUs unter Verwendung von gemischter Genauigkeit (FP16/BF16), Gradientenakkumulation, effizienten Datenpipelines und verteiltem Training mit DDP/FSDP in Lightning. Modul 4 behandelt die Experimentverfolgung mit TensorBoard und W&B, die Profilierung von FLOPs und Durchsatz sowie ein praktisches „ViT vs. CNN Showdown“-Projekt mit Feinabstimmung in timm. Am Ende dieses Kurses werden Sie: - ConvNeXt- und Vision-Transformer-Backbones mit PyTorch Lightning und timm erstellen und feinabstimmen - RMSNorm, SwiGLU und RoPE anwenden, um das Training tiefer Transformer zu stabilisieren und zu skalieren - Gemischte Genauigkeit, Gradientenakkumulation und DDP/FSDP für effizientes Multi-GPU-Training implementieren - kontrollierte CNN-vs.-ViT-Experimente mit W&B-Tracking und PyTorch-Profiling entwerfen Haftungsausschluss: Dies ist eine unabhängige Bildungsressource, die von Board Infinity ausschließlich zu Informations- und Bildungszwecken erstellt wurde. Dieser Kurs steht in keiner Verbindung zu Unternehmen, Organisationen oder Zertifizierungsstellen und wird von diesen weder unterstützt, gesponsert noch offiziell in Verbindung gebracht, sofern nicht ausdrücklich anders angegeben. Die bereitgestellten Inhalte basieren auf Branchenwissen und Best Practices, stellen jedoch kein offizielles Schulungsmaterial für einen bestimmten Arbeitgeber oder ein Zertifizierungsprogramm dar. Alle genannten Firmennamen, Marken, Dienstleistungsmarken und Logos sind Eigentum ihrer jeweiligen Inhaber und werden ausschließlich zu Bildungszwecken sowie zu Identifikations- und Vergleichszwecken verwendet.