Das wichtigste Konzept für die Verwendung von GPUs zur Lösung komplexer und umfangreicher Probleme ist die Verwaltung von Threads. CUDA bietet zwei- und dreidimensionale logische Abstraktionen von Threads, Blöcken und Gittern. Die Studenten werden Programme entwickeln, die Threads, Blöcke und Grids nutzen, um große 2- bis 3-dimensionale Datensätze zu verarbeiten.

Um den Zugriff auf und die Änderung von Daten im physischen Speicher effektiv zu verwalten, müssen die Studenten Daten in den Mehrzweckspeicher der CPU (Host) und der GPU (Global) laden. Die Studenten erstellen Software, die Host-Speicher zuweist und in den globalen Speicher zur Verwendung durch Threads überträgt. Die Studenten lernen auch die Fähigkeiten und Geschwindigkeiten dieser Speichertypen kennen.

Um die Leistung von GPU-Software zu verbessern, müssen die Studenten veränderbaren (gemeinsamen) und statischen (konstanten) Speicher nutzen. Sie werden sie verwenden, um Masken auf alle Elemente eines Datensatzes anzuwenden, die Kommunikation zwischen Threads zu verwalten und für das Caching in komplexen Programmen zu verwenden.

In diesem Modul lernen die Teilnehmer die Vorteile und Einschränkungen des hyperlokalen Speichers der GPUs, den Registern, kennen. Auch wenn die Verwendung dieses Speichertyps für die Studenten selbstverständlich ist, erfordert die Erzielung des größten Leistungszuwachses, wie bei allen Speicherformen, ein durchdachtes Design der Software. Die Studenten werden Implementierungen von Algorithmen entwickeln, die jeden Speichertyp verwenden, und eine Leistungsanalyse erstellen.