[![Slurm-Logo](https://datalab.tuwien.ac.at/science/slurm/images/Slurm_logo.svg "Slurm-Dokumentation"){: style="height:150px"}](https://slurm.schedmd.com/documentation.html)

# Slurm GPU Cluster

## Zugang zum Cluster { #access-to-the-cluster }

Der Cluster steht allen Forschenden und Professor:innen der TU Wien zur Verfügung. Studierende, die an ihrer Masterarbeit schreiben, können ihn ebenfalls nutzen. Ausnahmen sind möglich, müssen aber von einer Betreuungsperson bestätigt werden.

Um Zugang zu unserem Slurm-Cluster zu bekommen, schließ bitte diesen TUWEL-Kurs ab. Dort lernst du die Grundlagen der Arbeit mit unserem Cluster und mit Slurm im Allgemeinen:

[dataLAB Cluster Essentials](https://tuwel.tuwien.ac.at/course/view.php?id=74282)
Passwort: dataLABW2025

## Aufbewahrung von Daten und Accounts { #data-and-user-retention }

Accounts, die sich ein Jahr lang nicht angemeldet haben, werden deaktiviert und ihre Daten in den Archivspeicher verschoben. Nach weiteren 3 Monaten Inaktivität werden der Account und seine Daten endgültig gelöscht. Betroffene Nutzer:innen werden über ihre hinterlegte E-Mail-Adresse über die Deaktivierung und Löschung ihres Accounts informiert.

## Informationen zum Cluster { #information-about-the-cluster }

### Cluster-Nodes { #cluster-nodes }

#### Compute-Nodes { #compute-nodes }

| Hostname | CPU-Typ | CPUs | Cores/CPU | Threads | GPU-Typ | Bus | Anzahl | GPU-Speicher | IB |
|----------|----------|------|-----------|---------|----------|-----|-------|---------|----|
| a-a100-o-1 | AMD | 2 | 32 | 2 | a100 | SXM4 | 8 | 80GB | JA |
| a-a100-o-2 | AMD | 2 | 64 | 2 | a100 | SXM4 | 8 | 80GB | JA |
| a-a100-os-3 | AMD | 2 | 64 | 2 | a100s | SXM4 | 8 | 40GB | JA |
| a-a100-os-4 | AMD | 2 | 64 | 2 | a100s | SXM4 | 8 | 40GB | JA |
| a-a100-q-5 | AMD | 2 | 64 | 2 | a100 | SXM4 | 4 | 80GB | JA |
| a-a100-q-6 | AMD | 2 | 32 | 2 | a100 | SXM4 | 4 | 80GB | JA |
| a-a100-qs-7 | AMD | 2 | 64 | 2 | a100s | SXM4 | 4 | 40GB | JA |
| a-a100-qs-8 | AMD | 2 | 64 | 2 | a100s | SXM4 | 4 | 40GB | JA |
| a-a40-o-1 | AMD | 2 | 24 | 2 | a40 | PCIe 4 | 8 | 48GB | NEIN |
| a-l40s-o-1 | AMD | 2 | 32 | 2 | L40S | PCIe 5 | 8 | 48GB | NEIN |
| a-l40s-o-2 | AMD | 2 | 32 | 2 | L40S | PCIe 5 | 8 | 48GB | NEIN |

#### DGX-Systeme { #dgx-systems }

| Hostname | CPU-Typ | CPUs | Cores/CPU | Threads | GPU-Typ | Bus | Anzahl | GPU-Speicher | IB |
|----------|----------|------|-----------|---------|----------|-----|-------|---------|----|
| dgx-h100-1 | Intel | 2 | 56 | 2 | h100 | SXM5 | 8 | 80GB | JA |
| dgx-h100-2 | Intel | 2 | 56 | 2 | h100 | SXM5 | 8 | 80GB | JA |
| dgx-h100-3 | Intel | 2 | 56 | 2 | h100 | SXM5 | 8 | 80GB | JA |

#### Virtuelle Maschinen { #virtual-machines }

| Hostname | CPU-Typ | CPUs | Cores/CPU | Threads | GPU-Typ | Bus | Anzahl | GPU-Speicher | IB |
|----------|----------|------|-----------|---------|----------|-----|-------|---------|----|
| ivm-a40-q-2 | Intel | 2 | 10 | 2 | a40 | PCIe 4 | 4 | 48GB | NEIN |
| ivm-a40-q-3 | Intel | 2 | 10 | 2 | a40 | PCIe 4 | 4 | 48GB | NEIN |
| avm-a40-o-4 | AMD | 2 | 40 | 1 | a40 | PCIe 4 | 8 | 48GB | NEIN |
| avm-v100-d-5 | AMD | 2 | 8 | 1 | v100 | PCIe 4 | 2 | 32GB | NEIN |
| avm-a100-qs-9 | AMD | 2 | 34 | 1 | a100s | PCIe 4 | 4 | 40GB | NEIN |
| avm-a100-d-10 | AMD | 2 | 18 | 1 | a100 | PCIe 4 | 2 | 80GB | NEIN |

### Speicher { #storage }

Der Hauptspeicher ist Ceph, ein Netzwerk-Dateisystem, das /home und /share auf allen Servern bereitstellt.

- /home für das Home-Verzeichnis der Nutzer:innen
  - Auf 250GB begrenzt
- /share für Gruppenverzeichnisse zur Zusammenarbeit (für spezielle Gruppen und Berechtigungen melde dich bitte bei uns)
  - Kein Limit. Bitte vermeide doppelte Datensätze und leg sie stattdessen in einen der öffentlichen Ordner wie "/share/models".
- /scratch ist ein lokaler NVMe-Speicher (RAID 0), den es nur auf den GPU-Nodes gibt. Auf den Head-Nodes ist er zusätzlich per NFS eingebunden.
  - Der Scratch-Speicher ist die schnellste Option. Leg alle Dateien, die während eines Jobs entstehen, dort ab und verschieb sie danach nach /home oder /share. Bei längeren Jobs kann es helfen, Datensätze vor dem Start in den Scratch-Speicher zu kopieren.
- /archive ist ein HDD-basierter Ceph-Speicher für Dateien, die gerade nicht gebraucht werden. Bitte verschieb alle Dateien, die du aktuell nicht brauchst, dorthin.
  - Kein Limit. Bitte vermeide doppelte Datensätze und leg sie stattdessen in einen der öffentlichen Ordner wie "/share/models".

### Partitionen (Queues) { #partitions-queues }

- GPU-v100: i-v100-o-1,i-v100-h-2,i-v100-q-[3-4]
- GPU-a40: a-a40-o-1
- GPU-a100: a-a100-o-[1-2],a-a100-q-[5-6]
- GPU-a100s: a-a100-h-9,a-a100-os-[3-4],a-a100-qs-[7-8]

### Standardparameter { #default-parameters }

Es gibt Standardparameter, die sich je nach Partition unterscheiden, zum Beispiel:

- Höchstens 2 Nodes pro Job.
- Die maximale Laufzeit eines Jobs beträgt 7 Tage.
- Die Standardlaufzeit für jeden Job beträgt 24 Stunden. Um diesen Wert zu überschreiben, setz in deinem Skript die Option --time für das Zeitlimit, höchstens 168 Stunden.
- Standardspeicher pro CPU, Standard-CPUs pro GPU und Standardspeicher pro GPU können je nach Partition variieren, du kannst sie aber in deinem Skript überschreiben.

Um die Parameter für dein Slurm-Bash-Skript leichter zu erstellen, kannst du diese [Code-Generator-Plattform](https://code-gen.datalab.tuwien.ac.at/) nutzen. Mehr Informationen findest du außerdem in den Man Pages zum Befehl sbatch.