.svg){kind=icon}
.svg){kind=icon}
Was ist Latenz bei KI?
Latenz (englisch Latency) ist die Zeit zwischen dem Absenden einer Anfrage und dem Erhalt der Antwort. Bei KI-Anwendungen umfasst sie mehrere Komponenten: Netzwerk-Latenz, Verarbeitungszeit des Modells, Datenbank-Zugriffe (bei RAG), Antwort-Generierung und -Übertragung.
Typische Zeitbereiche: Sub-Sekunde (Klassifikation, Embeddings, Text-Extraktion), 1–5 Sekunden (Standard-LLM-Anfragen, RAG-Antworten), 5–30 Sekunden (komplexe Reasoning-Aufgaben, große Kontexte, KI-Agenten mit Tool-Nutzung), Minuten (Batch-Verarbeitung, tiefe Analyse-Workflows).
Einflussfaktoren: Modellgröße (kleinere Modelle antworten schneller), Kontextfenster (mehr Input, längere Verarbeitung), Infrastruktur (GPU-Verfügbarkeit, Region-Nähe), Anbieter-Auslastung (Peak-Zeiten sind langsamer), Netzwerk (bei On-Premises schneller als bei Cloud über Kontinente).
Für den Mittelstand ist Latenz-Design praktisch relevant: Welche Antwortzeit erwartet der Nutzer? Wie hoch ist die akzeptable Grenze? Antworten darauf steuern Modellwahl, Architektur, Anbieter und Kosten. Latenz ist damit ein Business-Entscheidung, nicht nur Technik.
Best Practices für niedrige Latenz
Diese sechs Prinzipien haben sich bewährt:
- Von Anfang messen: Latenz pro Komponente tracken — nicht nur Gesamt-Latenz.
- Streaming-first: Für interaktive Anwendungen immer streamen — gefühlte Latenz halbiert sich.
- Modell passend wählen: Nicht immer größer — kleiner ist oft schneller und ausreichend.
- Prompt-Länge kontrollieren: Kürzere Prompts sind schneller — jedes Token kostet Zeit.
- Caching einsetzen: Wiederkehrende Anfragen und Prompt-Teile cachen — deutliche Beschleunigung.
- SLA definieren: Klare Ziele für p50, p95, p99 Latenz — messbar und verhandelbar.
Häufige Fehler bei Latenz
Diese Fallstricke sehen wir häufig:
- Kein Streaming: Nutzer wartet 10 Sekunden auf komplette Antwort — mit Streaming würde er sofort etwas sehen.
- Größtes Modell ohne Not: GPT-4 für Aufgabe, die GPT-4o-mini löst — Faktor 5 langsamer.
- Ungefiltertes RAG: Zu viele Chunks im Kontext — jede Anfrage dauert länger als nötig.
- Falsche Region: Modell in USA, Nutzer in Deutschland — Netzwerk-Latenz addiert 100+ ms.
- Kein Monitoring: Latenz-Probleme werden erst durch Nutzerbeschwerden entdeckt — zu spät.
Time-to-First-Token vs. Total Latency vs. Throughput
Drei zentrale Latenz-Metriken:
- Time-to-First-Token (TTFT): Zeit bis erstes Token generiert wird. Entscheidend fürs Nutzererlebnis bei Streaming.
- Total Latency: Gesamtzeit bis komplette Antwort. Wichtig bei nicht-interaktiven Prozessen.
- Throughput: Wie viele Anfragen pro Sekunde. Relevant für Skalierung.
Latenz Ihrer KI-Anwendungen optimieren
In einem kostenlosen Erstgespräch analysieren wir Latenz-Engpässe Ihrer KI-Anwendungen und skizzieren einen Optimierungsplan — mit klaren Zielwerten.
Als KI-Partner für den Mittelstand bauen wir schnelle KI-Anwendungen mit sauberer Streaming-Architektur, passenden Modellen und aktivem Monitoring.
Was wir dazu anbieten
- KI-Beratung — Architektur- und Latenz-Optimierung.
- Inferenz im Glossar — was bei jeder Antwort passiert.
- Inferenz-Kosten im Glossar — Kosten und Latenz zusammen denken.
- KI-Monitoring im Glossar — Latenz laufend überwachen.
