Zum Inhalt

AI Platform Monitoring

NVIDIA

Dashboards

NVIDIA DCGM Dashboard

GPU Metrics Dashboard

Zeigt GPU-Auslastung, Temperatur, Stromverbrauch, Speichernutzung und den allgemeinen Zustand der GPUs auf allen Nodes der KI-Plattform.

VLLM Dashboard

VLLM Server Dashboard

Zeigt die Performance der VLLM-Server, darunter Request-Durchsatz, Latenz, Last pro Modell und Ressourcennutzung der Server.