Zum Inhalt

Slurm-Logo

Slurm GPU Cluster

Zugang zum Cluster

Der Cluster steht allen Forschenden und Professor:innen der TU Wien zur Verfügung. Studierende, die an ihrer Masterarbeit schreiben, können ihn ebenfalls nutzen. Ausnahmen sind möglich, müssen aber von einer Betreuungsperson bestätigt werden.

Um Zugang zu unserem Slurm-Cluster zu bekommen, schließ bitte diesen TUWEL-Kurs ab. Dort lernst du die Grundlagen der Arbeit mit unserem Cluster und mit Slurm im Allgemeinen:

dataLAB Cluster Essentials Passwort: dataLABW2025

Aufbewahrung von Daten und Accounts

Accounts, die sich ein Jahr lang nicht angemeldet haben, werden deaktiviert und ihre Daten in den Archivspeicher verschoben. Nach weiteren 3 Monaten Inaktivität werden der Account und seine Daten endgültig gelöscht. Betroffene Nutzer:innen werden über ihre hinterlegte E-Mail-Adresse über die Deaktivierung und Löschung ihres Accounts informiert.

Informationen zum Cluster

Cluster-Nodes

Compute-Nodes

Hostname CPU-Typ CPUs Cores/CPU Threads GPU-Typ Bus Anzahl GPU-Speicher IB
a-a100-o-1 AMD 2 32 2 a100 SXM4 8 80GB JA
a-a100-o-2 AMD 2 64 2 a100 SXM4 8 80GB JA
a-a100-os-3 AMD 2 64 2 a100s SXM4 8 40GB JA
a-a100-os-4 AMD 2 64 2 a100s SXM4 8 40GB JA
a-a100-q-5 AMD 2 64 2 a100 SXM4 4 80GB JA
a-a100-q-6 AMD 2 32 2 a100 SXM4 4 80GB JA
a-a100-qs-7 AMD 2 64 2 a100s SXM4 4 40GB JA
a-a100-qs-8 AMD 2 64 2 a100s SXM4 4 40GB JA
a-a40-o-1 AMD 2 24 2 a40 PCIe 4 8 48GB NEIN
a-l40s-o-1 AMD 2 32 2 L40S PCIe 5 8 48GB NEIN
a-l40s-o-2 AMD 2 32 2 L40S PCIe 5 8 48GB NEIN

DGX-Systeme

Hostname CPU-Typ CPUs Cores/CPU Threads GPU-Typ Bus Anzahl GPU-Speicher IB
dgx-h100-1 Intel 2 56 2 h100 SXM5 8 80GB JA
dgx-h100-2 Intel 2 56 2 h100 SXM5 8 80GB JA
dgx-h100-3 Intel 2 56 2 h100 SXM5 8 80GB JA

Virtuelle Maschinen

Hostname CPU-Typ CPUs Cores/CPU Threads GPU-Typ Bus Anzahl GPU-Speicher IB
ivm-a40-q-2 Intel 2 10 2 a40 PCIe 4 4 48GB NEIN
ivm-a40-q-3 Intel 2 10 2 a40 PCIe 4 4 48GB NEIN
avm-a40-o-4 AMD 2 40 1 a40 PCIe 4 8 48GB NEIN
avm-v100-d-5 AMD 2 8 1 v100 PCIe 4 2 32GB NEIN
avm-a100-qs-9 AMD 2 34 1 a100s PCIe 4 4 40GB NEIN
avm-a100-d-10 AMD 2 18 1 a100 PCIe 4 2 80GB NEIN

Speicher

Der Hauptspeicher ist Ceph, ein Netzwerk-Dateisystem, das /home und /share auf allen Servern bereitstellt.

  • /home für das Home-Verzeichnis der Nutzer:innen
  • Auf 250GB begrenzt
  • /share für Gruppenverzeichnisse zur Zusammenarbeit (für spezielle Gruppen und Berechtigungen melde dich bitte bei uns)
  • Kein Limit. Bitte vermeide doppelte Datensätze und leg sie stattdessen in einen der öffentlichen Ordner wie "/share/models".
  • /scratch ist ein lokaler NVMe-Speicher (RAID 0), den es nur auf den GPU-Nodes gibt. Auf den Head-Nodes ist er zusätzlich per NFS eingebunden.
  • Der Scratch-Speicher ist die schnellste Option. Leg alle Dateien, die während eines Jobs entstehen, dort ab und verschieb sie danach nach /home oder /share. Bei längeren Jobs kann es helfen, Datensätze vor dem Start in den Scratch-Speicher zu kopieren.
  • /archive ist ein HDD-basierter Ceph-Speicher für Dateien, die gerade nicht gebraucht werden. Bitte verschieb alle Dateien, die du aktuell nicht brauchst, dorthin.
  • Kein Limit. Bitte vermeide doppelte Datensätze und leg sie stattdessen in einen der öffentlichen Ordner wie "/share/models".

Partitionen (Queues)

  • GPU-v100: i-v100-o-1,i-v100-h-2,i-v100-q-[3-4]
  • GPU-a40: a-a40-o-1
  • GPU-a100: a-a100-o-[1-2],a-a100-q-[5-6]
  • GPU-a100s: a-a100-h-9,a-a100-os-[3-4],a-a100-qs-[7-8]

Standardparameter

Es gibt Standardparameter, die sich je nach Partition unterscheiden, zum Beispiel:

  • Höchstens 2 Nodes pro Job.
  • Die maximale Laufzeit eines Jobs beträgt 7 Tage.
  • Die Standardlaufzeit für jeden Job beträgt 24 Stunden. Um diesen Wert zu überschreiben, setz in deinem Skript die Option --time für das Zeitlimit, höchstens 168 Stunden.
  • Standardspeicher pro CPU, Standard-CPUs pro GPU und Standardspeicher pro GPU können je nach Partition variieren, du kannst sie aber in deinem Skript überschreiben.

Um die Parameter für dein Slurm-Bash-Skript leichter zu erstellen, kannst du diese Code-Generator-Plattform nutzen. Mehr Informationen findest du außerdem in den Man Pages zum Befehl sbatch.