Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI & Entwicklung
KI im Betrieb2026-11-17· Von Franz Senn

vLLM 0.34.0 nachgemessen: Das KV-Cache-Standardmaß ändert sich, unsere Lane bleibt dabei

vLLM 0.34.0 ist am 16. November 2026 um 23:22 UTC als Release erschienen. Die Änderung, die für den Betrieb einer eigenen Inferenz-Lane am meisten ins Gewicht hat, steht in einer einzigen Tabellenzeile: Der KV-Cache wird jetzt über den Speicher zugeteilt, der nach dem Warmup wirklich frei ist. Unsere Lane nutzt diese Automatik nicht, und zwar wegen ihrer eigenen Startparameter. Das haben wir am 17. November 2026 an vier Stellen nachgemessen.

Der extensible KV-Cache ist eine Speicherzuteilung in vLLM: Die Engine reserviert den Adressraum des KV-Caches vorab, belegt physischen Speicher aber erst nach Warmup und CUDA-Graph-Capture und bemisst den Cache am Speicher, der dann tatsächlich frei ist, statt an einer Schätzung. Seit 0.34.0 ist das auf CUDA und ROCm der Standard, und gpu_memory_utilization gilt ohne Angabe als 1.0 (PR 56492).

Kurz gefasst

  • 0.34.0 bringt zehn neue Modelle, den extensible KV-Cache als Standard, Model Runner V1 raus, die Blockgröße 64 als Standard und Räder sowie Bilder für CUDA 13.0.
  • An unserer produktiven Lane gemessen: Die Automatik greift bei uns nicht, weil wir das KV-Budget von Hand setzen. Die feste Größe verdeckt außerdem die Prozentangabe.
  • Der ReDoS-Fix im Sanitizer der Validierungsfehler ist erst in 0.34.0 enthalten. Am Quelltext der Tags gemessen fehlt er in 0.32.0 und in 0.33.0.
  • Unsere Basis trägt die neuen Abhängigkeitsuntergrenzen schon: huggingface_hub 2.2.0 und tokenizers 0.23.3, gemessen im laufenden Container.
  • Die Schlagzeitzahlen der Notizen gehören GB200, H200, MI355X und B200. Für unsere vier RTX 5090 taugen sie als Orientierung für die Richtung, mehr nicht.

Was 0.34.0 ändert

Die Release-Notes führen acht Punkte als Bruch auf, der achte entfernt die Modelle Keye-VL und Keye-VL-1.5. Die Tabelle zeigt die sieben, die Konfigurationen berühren. In der rechten Spalte steht unsere eigene Messung vom 17. November, jeweils am Container und am Quelltext des Tags.

ÄnderungPRBetrifft unsere Lane?
Extensible KV-Cache als Standard, gpu_memory_utilization ohne Angabe dann 1.0#56492Nein, weil --kv-cache-memory-bytes 7600000000 gesetzt ist
Model Runner V1 entfernt, VLLM_USE_V2_MODEL_RUNNER=0 scheitert beim Start#63373Nein, die Variable ist in unserer Konfiguration nicht gesetzt
Standard-Blockgröße 64, vorher 16#63231Ja, wir übergeben --block-size gar nicht
huggingface_hub >= 2.0.0, tokenizers >= 0.23.3, timm >= 1.0.30#64779Erfüllt, im Bild gemessen: 2.2.0 und 0.23.3
Räder und Bilder für ROCm 7.2 weg#61939Nein, unsere Lane hängt an CUDA
QuTLASS und fp_quant entfernt#65230Nein, kein fp_quant-Checkpoint im Einsatz
Marlin W4A8 entfernt, Neuansatz über --quantization humming#65542Nein, wir quantisieren Gewichte und KV-Pfad anders

Dazu kommen die neuen Standardwerte beim Install: PyPI liefert CUDA 13.0, das Standardbild heißt vllm/vllm-openai:v0.34.0. Nachgemessen über die Docker-API: Der Tag existiert, 11,3 GB, zwei Architekturen, zuletzt aktualisiert am 16. November um 22:23 UTC.

Extensible KV-Cache: Größe aus gemessenem freiem Speicher

Laut PR 56492 bringt der extensible KV-Cache auf GB200 4 bis 10 Prozent mehr Cache-Tokens, bei unserer Lane greift er nicht. Konkret: vLLM reserviert den Adressbereich des Caches über virtuelle Gerätespeicher-Adressen und legt die physischen Seiten erst nach dem Warmup an. Die Cache-Größe ergibt sich damit aus dem Speicher, der nach dem Einfangen der CUDA-Graphen frei ist, und aus der Schätzung, die vorher aus einer Profiler-Runde kam. Auf Papieren verspricht das mehr Cache und mehr Durchsatz für die meisten Modelle.

Wie 0.34.0 die Cache-Größe bestimmtAdressraumreservierenvirtuell, ohne SpeicherdahinterWarmup, Graphennur berührte Blöcke belegtFreien Speichermessennach Capture, mit ReserveSeiten einblendengleiche Adressen, Graphengültig
Vereinfachte Darstellung nach der Beschreibung von PR 56492. Die Schätzung vor dem Capture entfällt, wenn die Zuteilung greift. (Quelle: vLLM PR 56492)

Die Beschreibung des PR nennt als Gewinn 4 bis 10 Prozent mehr KV-Cache-Tokens auf GB200 (4,9 bis 11,3 GiB je Karte). Bei ausdrücklich gesetzten 0,92 fällt der Cache dort dagegen 1 bis 4 Prozent kleiner aus als bisher. Die Release-Notes nennen als Beispiel MiniMax-M3 auf H200 und warnen vor dem Preis: Die Zeit je Ausgabe-Token kann bei einigen H200-Modellen mit 128 gleichzeitigen Anfragen um 6 bis 18 Prozent steigen. Abschalten geht mit --no-enable-extensible-kv-cache.

KV-Cache MiniMax-M3 auf H200, Tausend Tokensvor 0.34.0433 · 433.000 Tokens0.34.0 Standard672 · 672.000 Tokens0700
Herstellerangabe auf H200, nicht von uns nachgemessen. (Quelle: vLLM v0.34.0 Release-Notes)

Im Konfigurationsmodul von v0.34.0 steht der Mechanismus an zwei Stellen, und beide betreffen unsere Lane. Erstens: kv_cache_memory_bytes ignoriert laut demselben Textfeld gpu_memory_utilization, sobald die Größe gesetzt ist. Zweitens: Der extensible KV-Cache ist aktiviert, wenn sie nicht anders angegeben wurde, es sei denn, kv_cache_memory_bytes ist gesetzt. Wir geben pro Karte 7.600.000.000 Byte vor, das sind 7,6 GB, umgerechnet 28,3 GiB über vier Karten. Damit bleibt bei uns die alte Schätzung aktiv und die neue Zuteilung aus.

Dazu passt die Warnung, die erst am 12. November gemerged wurde (PR 66704): Wer eine Prozentzahl oberhalb von 0,7 und unterhalb von 1,0 angibt und damit ein GiB oder mehr zurückhält, bekommt sie ins Protokoll. Die Release-Notes und die PR-Beschreibung nennen 0,8 als Grenze, im Quelltext von v0.34.0 und in der Doku steht 0,7. Wir rechnen mit dem Code. Unsere 0,92 würde auf 32.607 MiB je Karte gerechnet 2.555 MiB zurückhalten, also 2,5 GiB je Karte und 10,2 GiB über vier Karten (abgeleitet aus den gemessenen Kartengrößen). Da bei uns die feste Byte-Angabe die Prozentangabe verdeckt, läuft diese Rechnung ins Leere. Sie trifft die Lane, die ihre 0,92 aus einer älteren README übernommen hat und keine feste Größe setzt.

Wer die Automatik an sich will, muss das manuelle Budget streichen. Die Doku von 0.34.0 nennt als Rückfall auf die Schätzung unter anderem --no-enable-extensible-kv-cache, --kv-cache-memory-bytes und --num-gpu-blocks-override. Ein aus dem Startprotokoll übernommener Byte-Wert gilt nur für dieselbe GPU mit demselben anfangs freien Speicher; scheitert der Start nach einem Hardwarewechsel, soll man das Flag entfernen und neu profilieren lassen. Bei uns hängt am Streichen mehr: Unser Eigenbau legt über VLLM_PLE_CPU_OFFLOAD=1 und VLLM_PLE_FORCE_FP8=1 zusätzlichen Gerätespeicher an, und die Doku von 0.34.0 sagt ausdrücklich, dass man die Prozentangabe unten behalten soll, wenn etwas Speicher braucht, den vLLM nicht misst. Genau das ist unser Fall.

Prompt-Tokens nach Herkunft, Lane .180.3, Stand 17.11.2026Aus dem Prefix-Cache (76,4 Mio.)76.4Selbst gerechnet (13,0 Mio.)13084
Eigene Messung über die Metriken der laufenden Engine, Zählerstand seit dem Start am 16.11. um 11:40 UTC. Anteil gerechnet aus 89.416.791 Abfragen: 85,4 Prozent Cache-Treffer. (Quelle: Eigene Messung Senn-IT, 17.11.2026)

Die zwei Zahlen erzählen auch, wie diese Lane arbeitet. In gut 18 Stunden sind 89,4 Millionen Prompt-Tokens durchgelaufen, knapp 5 Millionen pro Stunde, bei 3.490 abgeschlossenen Anfragen. Das sind 25.621 Prompt-Tokens je Anfrage (abgeleitet), also lange Kontexte. Eine Cache-Trefferquote von 85,4 Prozent ist der Grund, warum diese Lane überhaupt interaktiv antworten kann. Genau dieser Cache hängt an der Blockgröße, die in 0.34.0 von 16 auf 64 springt. Ob 64 bei unserer Mischung aus langen Systemteilen und wechselnden Anteilen besser oder schlechter trifft, lässt sich aus den Notizen nicht ablesen. Das ist die Messung, die vor einem Upgrade auf der Standby-Karte läuft.

Am Quelltext der Tags gemessen

Für drei Fragen reicht die Lektüre der Notizen nicht. Also haben wir die gleichen Dateien an drei Tags verglichen, jeweils über die rohe Auslieferung von GitHub, am 17. November 2026.

Prüfpunktv0.32.0 (unsre Basis)v0.33.0v0.34.0
Atomare Gruppe (?> im Sanitizer der Validierungsfehlerfehltfehltvorhanden
extensible_kv_cache im Argumentmodul0 Fundstellen0 Fundstellen (nachgeprüft 19.11.)3 Fundstellen
nvfp4 als KV-Dtype im Konfigurationsmodul4 Fundstellen4 Fundstellen (nachgeprüft 19.11.)4 Fundstellen

Positivkontrolle zur Methode: Dieselbe Zählung in derselben Datei von 0.34.0 findet VLLM_KV_CACHE_LAYOUT dreimal und VLLM_ENABLE_CUDA_COMPATIBILITY viermal. Eine Null bei einem Begriff, der vorkommt, wäre also ein Zählfehler und kein Befund. Zwei Dinge hängen daran fest. Unser KV-Dtype nvfp4 steht auch in 0.34.0 im Konfigurationsmodul, der Weg darüber bleibt also offen. Und VLLM_USE_V2_MODEL_RUNNER kommt in envs.py von 0.34.0 gar nicht mehr vor, was zur Zeile über Model Runner V1 passt.

Unsere beiden PLE-Variablen kommen in envs.py von 0.34.0 ebensowenig vor. Die stehen dort seit dem Eigenbau, den wir in vLLM 0.32 mit MTP und nvfp4 beschrieben haben. Ein Upgrade heißt bei uns also: Patch auf den neuen Stand ziehen, dann messen. Die Basis unserer Lane ist ein offizielles Nightly-Bild, festgenagelt auf den Build-Commit 5df63a7, darüber liegen unsere Änderungen. Genau diese Stelle ist der Grund, warum wir bei eigenem Patch nicht von einer Version auf die nächste springen, ohne Vorlauf.

Ein Sicherheitsfix, der erst mit 0.34.0 ankommt

Die Notizen führen unter Sicherheit auch einen ReDoS-Fix im Sanitizer der Validierungsfehler (#52120, gemerged am 28. Oktober). Nach der PR-Beschreibung hielt eine 100 KB lange Eingabe mit Schrägstrich-Segmenten einen API-Worker mehr als 3 Sekunden je abgewiesener Anfrage beschäftigt; Angabe der PR-Autoren, ungeprüft. Die Merge-Zeit liegt vor dem Tag von 0.33.0, dessen Commit vom 31. Oktober stammt (PyPI am 2. November), man hätte den Fix also in 0.33.0 erwarten können. Am Quelltext gemessen ist er dort nicht, und die GitHub-Vergleichsschnittstelle erklärt es: Der Merge-Commit von #52120 und der des extensiblen KV-Caches (#56492) liegen nicht im Verlauf von v0.33.0, der Tag ist ein Zweig, der 159 beziehungsweise 471 Commits hinter dem Hauptzweig zurückliegt (Nachprüfung 19.11.). Die atomare Gruppe fehlt in v0.32.0 und in v0.33.0, in v0.34.0 ist sie da. Der Fix ist damit ein Beispiel dafür, dass die Merge-Zeit und der erste Stand, der die Änderung ausliefert, auseinanderliegen können.

Unsere Lane haben wir direkt angesehen. Im laufenden Container liegt die Funktion in vllm/entrypoints/serve/exception_handling/utils.py, der Rumpf enthält die vier Ersetzungen ohne Vorprüfung auf einen Punkt und ohne atomare Gruppe, also die unfixierte Fassung. Die im PR genannte Advisory-Nummer GHSA-f2g9-pmwr-xwc7 steht in der öffentlichen Advisory-Liste des Repos nicht drin, dort fanden sich 100 Einträge vom 20.11.2025 bis 09.11.2026, ein CVE-Eintrag ist daraus nicht ablesbar. Die benachbarte Advisory GHSA-m9fg-w9qh-67pc zum selben Sanitizer betrifft die Stände ab 0.14.0rc1 unterhalb von 0.31.0, unsre 0.32.0 liegt außerhalb dieser Spanne.

Für die Einschätzung, wie dringend das ist, haben wir den Endpunkt gemessen: Er bindet auf 0.0.0.0:8000, der Gesundheitspfad antwortet lokal mit 200, aus dem Netzbereich 181 kommt kein Durchkommen zustande (Messwert 000). Nach außen gibt es für diesen Host keinen Namen und keine Kanten-Route. Der Pfad läuft bei Anfragen, die vor der Einreihung in die Engine an der Validierung scheitern. Abgewiesene Anfragen zählt die Engine in ihren Metriken nicht; die Zähler für abgeschlossene Anfragen stehen auf 1.576 mit Stop und 1.914 mit Längenabbruch, bei null Fehlern und null Verdrängungen. Ein Firmennetz ohne offenen Inferenz-Endpunkt ist damit nicht in Eile, eine begründete Aktualisierung ist es trotzdem.

Die Herstellerzahlen und was sie für uns taugen

Alle Zahlen dieses Abschnitts sind Herstellerangaben aus den Release-Notes vom 16. November 2026 auf Hardware anderer Betreiber. Die Notizen melden bis 1,95-fachen Decode-Zugewinn (Schritt 5 auf GB200), 1,6-fachen Durchsatz (GLM-5.3-Flash) und 1,24 bis 1,40-fach schnellere erste Antwort bei langen Prompts (GLM-5.3). Dazu der über die Ebenen geteilte RoPE-Cache mit 11,5 GiB Einsparung je Karte und 14,5 Prozent mehr KV-Cache auf acht B200. Alles Herstellerangaben auf Hardware, die wir nicht besitzen.

Die Vergleichsachse ist die eigene Baseline: Geschwindigkeit und Cache-Größe des jetzigen Stands stehen in der Messreihe zu vLLM 0.32 mit MTP und NVFP4-KV-Cache auf vier RTX 5090. Ein Zahlensprung auf fremder Hardware ist damit kein Argument für ein Upgrade, er ist ein Argument dafür, die Messung selbst zu machen. Der Test, der zählt: Standby-Karte, eingefrorene Argumente, echter Traffic aus dem Gateway, gleiche Kontextmischung, dann Trefferquote, Zeit bis zur ersten Antwort und Token je Sekunde gegen den jetzigen Stand.

Offizielle vLLM-Sprechstunde vom August 2025 (Kanal Red Hat) zur Speicherverwaltung im KV-Cache. Der Stand ist älter als 0.34.0 und behandelt die hybride Zuteilung, nicht den extensiblen Cache.

Was die Versionierung erzählt

Neben der Technik fällt an diesem Release die Auslieferung auf. Auf PyPI stehen 0.32.0 vom 18. Oktober 2026, 0.33.0 vom 2. November 2026 und 0.34.0 vom 16. November 2026, dazwischen kein 0.33.1, die neueste Auslieferung ist 0.34.0. Der Docker-Tag v0.33.0 existiert, über die Docker-API gemessen mit Antwort 200. Die GitHub-Release-Seite zu v0.33.0 existiert nicht, die Schnittstelle antwortet dort mit 404, während sie zu v0.34.0 47.575 Bytes Notizen liefert.

Wer Release-Notes als Auslöser für eine Aktualisierung benutzt, hat für 0.33.0 schlicht keine Texte, obwohl das Bild und die Räder auslieferbar waren. Für einen Betrieb mit mehreren Lanes folgt daraus: Version und Build-Commit aus der Laufzeit abfragen, und nicht aus dem, was eine Nachrichtenseite gerade für aktuell hält.

Wie viele Prompt-Tokens ein Prefix-Cache im Eigenbetrieb spart, haben wir in vLLM Prefix-Caching im Eigenbetrieb gemessen, und im Hub KI im Betrieb stehen die weiteren Messungen an eigener Hardware. Wer eine Inferenz-Lane mit eigenen Karten aufbauen will, findet das Angebot unter Corporate LLM: eigene Modelle im Haus betreiben.

Weiterführende Quellen

Fragen?
Muss ich wegen des ReDoS-Fixes auf vLLM 0.34.0 aktualisieren?+

Der Pfad sitzt im Sanitizer der Validierungsfehler und ist bei uns nur im Netzbereich der KI-Hosts erreichbar, öffentlich hängt dort nichts. Für ein Firmennetz ohne offenen Inferenz-Endpunkt ist das kein Grund für eine Sonderschicht, wohl aber ein Grund, die nächste geplante Aktualisierung damit zu begründen. Gemessen: Die atomare Gruppe des Fixes fehlt im Quelltext von v0.32.0 und v0.33.0, in v0.34.0 ist sie vorhanden.

Was passiert mit gpu_memory_utilization, wenn ich eine feste KV-Größe angebe?+

Die feste Angabe gewinnt und verdeckt die Prozentangabe. Im Konfigurationsmodul von v0.34.0 steht, dass kv_cache_memory_bytes in diesem Fall gpu_memory_utilization ignoriert, und dass die extensible Zuteilung nicht aktiviert wird, wenn diese Größe gesetzt ist. Wer also sein KV-Budget von Hand angibt, behält das alte Verhalten und bekommt die neue Zuteilung nicht.

Wie schalte ich den extensible KV-Cache in vLLM 0.34.0 ab?+

Mit `--no-enable-extensible-kv-cache` und einer ausdrücklichen `--gpu-memory-utilization`, kehrt die alte Schätzung zurück. Laut der Doku von 0.34.0 fällt vLLM auch bei `--kv-cache-memory-bytes` und bei `--num-gpu-blocks-override` auf die Schätzung zurück. Dann bestimmt `gpu_memory_utilization` den Anteil am Gerätespeicher, bei der Schätzung gilt dafür der Standardwert 0.92.

Lohnt sich der Sprung von 0.32 auf 0.34 für eine 5090-Lane?+

Die Zahlen der Notizen stammen von GB200, H200, MI355X und B200, also von anderer Hardware als einer Lane mit vier RTX 5090. Ohne eigene Messung auf eigener Hardware ist das keine Entscheidungsgrundlage. Wir würden auf der Standby-Karte mit eingefrorenen Argumenten und echtem Traffic messen, bevor die produktive Lane ein neues Bild bekommt.