# AI Platform Monitoring

![NVIDIA](https://datalab.tuwien.ac.at/infrastructure/ai-platform-monitoring/assets/nvidia.png)

## Dashboards { #dashboards }

### NVIDIA DCGM Dashboard { #nvidia-dcgm-dashboard }
[GPU Metrics Dashboard](https://monitoring.ai.datalab.tuwien.ac.at/d/nvidia-dcgm-dashboard/better-nvidia-dcgm-dashboard?orgId=1&from=now-30m&to=now&timezone=browser&var-datasource=prometheus&var-host=$__all&var-gpu=$__all&refresh=5s)

Zeigt GPU-Auslastung, Temperatur, Stromverbrauch, Speichernutzung und den allgemeinen Zustand der GPUs auf allen Nodes
der KI-Plattform.

### VLLM Dashboard { #vllm-dashboard }
[VLLM Server Dashboard](https://monitoring.ai.datalab.tuwien.ac.at/d/750918278/vllm-dashboard?orgId=1&from=now-1h&to=now&timezone=browser&refresh=auto)

Zeigt die Performance der VLLM-Server, darunter Request-Durchsatz, Latenz, Last pro Modell und Ressourcennutzung der
Server.