# FAQ

<div class="faq"></div>

Kurze Antworten auf die häufigsten Fragen zu [Aqueduct](https://datalab.tuwien.ac.at/de/aiml/aqueduct/) und [Open WebUI](https://datalab.tuwien.ac.at/de/aiml/openwebui/). Jede
Antwort verlinkt die Seite mit den Details.

<div class="grid cards" markdown>

-   :material-account-key: __[Zugang](https://datalab.tuwien.ac.at/de/aiml/faq/#access)__

    ---

    Wer die Services nutzen kann, Zugang für Studierende, große Jobs

-   :material-brain: __[Modelle](https://datalab.tuwien.ac.at/de/aiml/faq/#models)__

    ---

    Verfügbare Modelle und wie lange sie bleiben

-   :material-api: __[Die API nutzen](https://datalab.tuwien.ac.at/de/aiml/faq/#using-the-api)__

    ---

    Rate Limits, Kontextfenster, Reasoning

-   :material-shield-lock: __[Daten und Datenschutz](https://datalab.tuwien.ac.at/de/aiml/faq/#data-and-privacy)__

    ---

    Hosting, gespeicherte Daten, was du eingeben darfst

-   :material-lifebuoy: __[Hilfe](https://datalab.tuwien.ac.at/de/aiml/faq/#help)__

    ---

    Langsame oder fehlerhafte Modelle, wo du fragen kannst

</div>

## Zugang { #access }

### Wer kann die KI-Services nutzen? { #who-can-use-the-ai-services }

**Alle Forschenden, Lehrenden und Mitarbeitenden der TU Wien.** Melde dich mit deinem TU Wien Account an, unter
[chat.ai.datalab.tuwien.ac.at](https://chat.ai.datalab.tuwien.ac.at/) (Chat) oder
[aqueduct.ai.datalab.tuwien.ac.at](https://aqueduct.ai.datalab.tuwien.ac.at/) (API-Keys).

Details: [Zugang](https://datalab.tuwien.ac.at/de/aiml/access/)
{ .faq-more }

### Ich bin Student:in. Wie bekomme ich Zugang? { #im-a-student-how-do-i-get-access }

**Beantrage den Zugang für deine Abschlussarbeit oder andere betreute Arbeiten** mit dem
[Antragsformular für Studierende](https://datalab.tuwien.ac.at/de/aiml/access/#students). Lies vorher,
[wie lange ein Modell verfügbar bleibt](https://datalab.tuwien.ac.at/de/aiml/faq/#how-long-does-a-model-stay-available), besonders wenn du die Modelle in deiner
Abschlussarbeit verwenden willst.

Details: [Zugang: Studierende](https://datalab.tuwien.ac.at/de/aiml/access/#students)
{ .faq-more }

### Ich brauche mehr Kapazität für einen großen Job. Was kann ich tun? { #i-need-more-capacity-for-a-large-job-what-can-i-do }

**Frag im [Matrix-Raum](https://matrix.to/#/#llm-service:tuwien.ac.at) nach einem Service-Account.** Service-Accounts
haben höhere Limits, und wir können große Jobs so einplanen, dass sie anderen Nutzer:innen keine Kapazität wegnehmen.

Details: [Zugang: Service-Accounts](https://datalab.tuwien.ac.at/de/aiml/access/#service-accounts)
{ .faq-more }

## Modelle { #models }

### Welche Modelle gibt es, und kann ich ein neues anfragen? { #which-models-are-available-and-can-i-request-a-new-one }

**Siehe [Verfügbare Modelle](https://datalab.tuwien.ac.at/de/aiml/aqueduct/models/)** für das aktuelle Angebot, Kontextlängen und Fähigkeiten. Vorschläge
für neue Modelle sind im [Matrix-Raum](https://matrix.to/#/#llm-service:tuwien.ac.at) jederzeit willkommen.

### Wie lange bleibt ein Modell verfügbar? { #how-long-does-a-model-stay-available }

**Meist 3–4 Monate, höchstens etwa 6 Monate.**

!!! warning "Modelle wechseln schnell"

    Aufgrund unserer Nutzer:innenbasis und unserer begrenzten Ressourcen können wir ausgemusterte Modelle nicht
    weiterbetreiben, und schon gar nicht für die 6–12 Monate, die eine Abschlussarbeit brauchen kann.

Was das für dich bedeutet:

- **Mach dich nicht von einem bestimmten Modell abhängig**, wenn es nicht sein muss. Schreib deinen Code und deine
  Prompts so, dass du zum nächsten Modell wechseln kannst.
- **Mach unsere Modelle nicht zum Forschungsgegenstand.** Nutze sie als Werkzeug, nicht als das, was du untersuchst.
  Wir können nicht garantieren, dass das Modell, mit dem du anfängst, noch verfügbar ist, wenn du fertig bist.
- **Wenn deine Arbeit von einem bestimmten Modell abhängt**, zum Beispiel deine Abschlussarbeit, melde dich gleich zu
  Beginn und rechtzeitig bei uns, damit wir gemeinsam vorausplanen können.
- **Experimentelle Modelle** können jederzeit entfernt werden und haben eventuell niedrigere Limits.

Neue Modelle und Außerbetriebnahmen kündigen wir rechtzeitig in den [Release Notes](https://datalab.tuwien.ac.at/de/aiml/aqueduct/release-notes/) und im
[Matrix-Raum](https://matrix.to/#/#llm-service:tuwien.ac.at) an.

## Die API nutzen { #using-the-api }

### Wie werden Rate Limits berechnet, und wann bekomme ich einen 429? { #how-are-rate-limits-calculated-and-when-do-i-get-a-429 }

**Pro API-Key, mit einem Minuten-, einem Stunden- und einem Tageslimit.** Überschreitest du eines, bekommst du eine
`429`-Antwort. Das Minutenlimit verhindert nur kurze Spitzen; nach dem Stunden- oder Tageslimit musst du warten, bis es
zurückgesetzt wird. Modelle mit einem **Limit-Multiplikator** (z. B. `2x Limits`) erlauben entsprechend mehr Requests.

Deine Limits siehst du auf der Seite **Teams** in der Aqueduct-Oberfläche, deine aktuelle Nutzung im Fenster
**API Keys**. Du brauchst mehr? Siehe
[Ich brauche mehr Kapazität für einen großen Job](https://datalab.tuwien.ac.at/de/aiml/faq/#i-need-more-capacity-for-a-large-job-what-can-i-do).

### Wie groß ist das Kontextfenster, und wie lang können Antworten sein? { #how-large-is-the-context-window-and-what-should-i-set-as-max-output-tokens }

**So groß wie pro Modell angegeben, inklusive Output; Antworten können standardmäßig bis zu 65536 Tokens lang sein.**
Wenn Antworten abgeschnitten werden, prüf die eigene `maxTokens`-Einstellung deines Clients.

Details: [Verfügbare Modelle: Kontext und Output-Tokens](https://datalab.tuwien.ac.at/de/aiml/aqueduct/models/#context-and-output-tokens)
{ .faq-more }

### Wie schalte ich Thinking (Reasoning) aus oder herunter? { #how-do-i-disable-thinkingreasoning-for-models }

**Setz `enable_thinking` oder `reasoning_effort` in `chat_template_kwargs`.** Wenn du
`aqueduct.UnsupportedParamsError` bekommst, unterstützt dein Client `reasoning_effort` nicht.

Details: [Verfügbare Modelle: Reasoning](https://datalab.tuwien.ac.at/de/aiml/aqueduct/models/#reasoning)
{ .faq-more }

## Daten und Datenschutz { #data-and-privacy }

### Wo laufen die Modelle? { #where-are-the-models-hosted }

**Auf Hardware der TU Wien.** Alle Modelle laufen on-premises, und deine Requests werden dort verarbeitet.

### Welche Daten werden gespeichert? { #what-data-is-stored }

**Deine Account- und Nutzungsdaten (z. B. Modell, Anzahl der Tokens, Zeitpunkte der Requests); Nutzungsdaten werden etwa
sieben Tage aufbewahrt.** Prompts und Antworten über die Chat Completions API werden nicht gespeichert. Antworten der
Responses API werden standardmäßig gespeichert; mit `"store": false` verhinderst du das. Hochgeladene Dateien, Batches
und Vector Stores werden nach höchstens 30 Tagen zur Löschung vorgemerkt.

Details: [Datenschutz: Speicherdauer](https://datalab.tuwien.ac.at/de/aiml/privacy/#retention)
{ .faq-more }

### Darf ich personenbezogene oder vertrauliche Daten eingeben? { #can-i-enter-personal-or-confidential-data }

**Es gelten die allgemeinen Regelungen der TU Wien.** Personenbezogene Daten Dritter nur, wenn es nötig und durch eine
Rechtsgrundlage gedeckt ist, und nie in der Websuche.

Details: [Datenschutz: Welche Daten Sie eingeben dürfen](https://datalab.tuwien.ac.at/de/aiml/privacy/#what-data-you-may-enter) und
[Nutzungsbedingungen: Rechtliche Vorgaben](https://datalab.tuwien.ac.at/de/aiml/terms/#legal-requirements)
{ .faq-more }

## Hilfe { #help }

### Ein Modell ist langsam, läuft in einen Timeout oder scheint kaputt. Was tun? { #why-is-a-model-not-responding-or-timing-out }

<span id="is-something-broken-where-should-i-report-it"></span><span id="is-there-a-monitoring-dashboard"></span>**Schau zuerst ins [Monitoring-Dashboard](https://monitoring.ai.datalab.tuwien.ac.at/d/750918278/vllm-dashboard).** Es
zeigt die aktuelle Auslastung der Inferenz-Server und ob ein Modell Requests in die Warteschlange stellt, überlastet ist
oder normal antwortet. Gelegentlich sind Modelle überlastet, was zu langen Warteschlangen und Timeouts führt.

Bekannte Probleme und Wartungsfenster kündigen wir im [Matrix-Raum](https://matrix.to/#/#llm-service:tuwien.ac.at) an,
oft gibt es dort schon einen Thread zu deinem Problem. Wenn nicht, eröffne einen mit dem Modellnamen, den
Request-Parametern und der genauen Fehlermeldung.

!!! question "Noch eine Frage?"

    Frag im [Matrix-Raum](https://matrix.to/#/#llm-service:tuwien.ac.at). Wenn sie öfter kommt, nehmen wir sie hier auf.