AI Platform Monitoring¶

Dashboards¶
NVIDIA DCGM Dashboard¶
Zeigt GPU-Auslastung, Temperatur, Stromverbrauch, Speichernutzung und den allgemeinen Zustand der GPUs auf allen Nodes der KI-Plattform.
VLLM Dashboard¶
Zeigt die Performance der VLLM-Server, darunter Request-Durchsatz, Latenz, Last pro Modell und Ressourcennutzung der Server.