Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI-Hardware
Lokale KI und GPU-Hardware2026-11-18· Von Franz Senn

Ein Tag online, dann zurückgezogen: NVIDIAs QAD-Checkpoint von Qwen3.8-Flash-Next

Am Dienstag, dem 17. November 2026, hat NVIDIA unter dem eigenen Org-Account im Hugging-Face-Hub ein Archiv namens nvidia/Qwen3.8-Flash-Next-NVFP4-QAD aufgelistet: eine quantisierte und mit Quantization-Aware Distillation nachgeschärfte Variante von Qwen3.8-Flash-Next, dem Modell, das bei uns seit Oktober auf vier RTX 5090 läuft. Am Mittwochmorgen war das Archiv weg. Dateiliste und safetensors-Köpfe hatten wir um 06:15 UTC per HTTP-Range gelesen, gegen 06:30 UTC antwortete dieselbe Abfrage mit einem Fehler. Alle NVIDIA-Zahlen hier stehen deshalb unter einem Label: einmalige Momentaufnahme, am Original nicht wiederholbar.

Ein QAD-Checkpoint entsteht durch Quantization-Aware Distillation. Ein Studentenmodell rechnet während weniger Trainingsschritte mit fake-quantisierten Gewichten, ein eingefrorener Lehrer in BF16 liefert die Zielwerte. Beim NVIDIA-Checkpoint waren das 100 Optimizer-Updates bei 512 Sequenzen globaler Batchgröße, wie quantization_recipe.json im Archiv beschrieb. Weiter quantisiert wurden die gespeicherten Gewichte dadurch nicht.

Kurz gefasst

  • Das Archiv existierte: Zwei Dritt-Repacks vom 17.11., 17:35 und 19:18 UTC, verweisen per base_model auf die NVIDIA-Revision a874339c; ein Fachartikel nennt 129,7 GB und 100 Optimizer-Updates.
  • Am 18.11. gegen 06:30 UTC war das Repo weg: 401 auf Seite und API, aus der Hub-Suche verschwunden, vom Internet Archive nie gesnapshottet. Die September-Ausgabe liefert weiter 200.
  • Gelesen hatten wir bis dahin 129.780.932.631 Byte, das sind 120,87 GiB auf 36 shards mit 300.217 Tensoren; Routing-Experten und n-Gramm-Tabelle sind bei NVIDIA und in unserem Stand gleich groß.
  • Die Lizenzdatei im NVIDIA-Repo war beim Lesen bytegleich mit der Qwen-Upstream-Datei, 3.235 Byte; nachprüfbar ist das heute nicht mehr.
  • Gestartet haben wir den Checkpoint nicht, es war keine Karte frei. An der Produktionslane änderte sich nichts.

Der Ablauf, so weit er sich belegen lässt

Wortmarke von Qwen
Qwen3.8-Flash-Next: 48 Schichten, 512 Experten mit 10 aktiven je Token, 262.144 Token Kontext, dazu Vision-Encoder und n-Gramm-Einbettung; unsere Lane fährt 220.000 Token. (Quelle: Qwen / Alibaba Cloud, Wikimedia Commons, Apache 2.0)
  • 17.11., 09:32 UTC: Erstellungsdatum laut Hub-API, gelesen 18.11. gegen 06:15 UTC. Der Existenztag ist unabhängig belegt über zwei Dritt-Repacks von 17:35:51 und 19:18:26 UTC (Hub-API), deren Karten beide die volle NVIDIA-Revision a874339cdb171ace5f36c494b6d0d3e54fdb92be als Basis nennen.
  • 17.11.: Ein Fachartikel auf explainx.ai beschreibt rund 129,7 GB safetensors und 100 Optimizer-Updates, mit dem Hinweis, NVIDIA nenne den Genauigkeitsgewinn statistisch nicht belegt.
  • 18.11., 06:15 UTC: Eigene Messung, solange das Archiv offen ist: Dateiliste, alle 36 safetensors-Köpfe per HTTP-Range, dazu hf_quant_config.json, quantization_recipe.json und die Lizenzdatei.
  • 18.11., gegen 06:30 UTC: Dieselben Abfragen liefern 401, das Modell fehlt in der Hub-Suche. Positivkontrolle direkt daneben: Das September-Repo nvidia/Qwen3.8-Flash-Next-NVFP4 antwortet mit 200.
  • Stand 18.11., 10:25 UTC: weiterhin 401, und nie ein Snapshot im Internet Archive, die Availability-API liefert null Treffer.

Ob NVIDIA gelöscht oder auf privat gestellt hat, ist von außen nicht zu unterscheiden, NVIDIA sagt dazu nichts. Der Zeitpunkt des Umschaltens liegt zwischen 06:15 und 06:30 UTC, messbar ist er nicht.

Größen auf Platte: ein kleiner Schritt seit September

Checkpoint auf Platte in GiB, eigene Messung 18.11.2026Qwen-Original in BF16 (335,30)335.3NVIDIA NVFP4 vom 2.9. (123,62)123.62Unser Stand auf 4x 5090 (122,54)122.54NVIDIA NVFP4-QAD 17.11. (120,87)120.870369
Dateigrößen aus der Hub-Dateiliste bzw. den referenzierten shards, eigene Messung 18.11.2026. Der QAD-Balken stammt von 06:15 UTC, das Repo ist seither nicht erreichbar; die Gesamtgröße ist über zwei Dritt-Repacks und den explainx-Artikel korrobiert. Abstand QAD zu NVFP4: 2,3 Prozent, vom kleineren Stand gerechnet. (Quelle: Eigene Messung Senn-IT, 18.11.2026)

Gegenüber dem BF16-Original sind das 64,0 Prozent weniger Bytes, gegenüber NVIDIAs erstem NVFP4-Stand vom 2. September 2,75 GiB. QAD halbierte die Größe nicht erneut: Rezept und Distillation trafen nur die Precision kleinerer Blöcke, die Blöcke mit über 90 Prozent Anteil blieben unverändert.

Die Bauteiltabelle, mit ihrem Status

Bauteilunser Stand (GiB)NVIDIA QAD (GiB)Differenz
Routing-Experten63,2863,280,00
n-Gramm-Tabelle (PLE)47,7547,750,00
Gated-DeltaNet3,892,01-1,88
Einbettung und Ausgabekopf2,372,370,00
MTP-Modul1,492,51+1,02
sonstige Schichten1,311,310,00
Attention (QSA)1,110,57-0,54
Vision-Encoder0,840,840,00
geteilte Experten0,440,12-0,32
QSA-Indexer0,040,02-0,02
Summe Gewichte122,52120,78-1,74

Einheit GiB (1024^3), Messträger safetensors-Köpfe, Messzeit 18.11.2026 gegen 06:15 UTC. Die Summe 120,78 GiB sind die reinen Gewichte, in der Dateigröße 120,87 GiB stecken zusätzlich 98.161.565 Byte JSON-Köpfe. Bei uns sind es 131.579.038.666 Byte auf Platte, also 122,54 GiB, bei 122,52 GiB Zeilensumme. Auf Gewichtebene trennen die Stände 1,74 GiB, auf Dateiebene 1,67 GiB, der Unterschied liegt an den shard-Köpfen. Nach Datentyp enthält unser Stand 10,22 GiB in BF16, der QAD-Checkpoint noch 4,75 GiB, also 53,5 Prozent weniger; der Rest wandert in MXFP8 mit Blockgröße 32. Die QAD-Spalte ist eine Momentaufnahme vom 18.11., durch Drittquellen nur in der Gesamtgröße bestätigt.

Was die Vergleichslane meldet, weil sie weiterläuft

Alle folgenden Zahlen stehen im Start- und Laufzeitprotokoll unserer Maschine. Sie startet per docker run in /home/bitnami/v032-test/run_port4.sh über denselben safetensors-Index wie der NVIDIA-Stand, nur lokal: 53 shards, 122,54 GiB Gewichte. Der KV-Cache ist mit 7600000000 Byte gedeckelt, das sind 7,08 GiB und 1.351.242 Tokens, das 6,14-Fache des Kontexts. Die n-Gramm-Tabelle steht als weight_device=cpu, pinned=True drin, Prefix-Treffer bei rund 80 Prozent, null Verdrängungen.

VLLM_PLE_CPU_OFFLOAD=1 und VLLM_PLE_FORCE_FP8=1 stehen in Zeile 3 des Startskripts, dazu ein Fund: VLLM_PLE_CPU_OFFLOAD kommt im installierten Paket unserer Produktion in keiner Datei vor, die Positivkontrolle trifft VLLM_PLE_FORCE_FP8 und VLLM_KV_CACHE_LAYOUT, zwei von elf Dateien, das Boot-Protokoll meldet die Variable mit der Warnung "Unknown vLLM environment variable". Die n-Gramm-Tabelle liegt trotzdem im gepinnten Speicher, entschieden durch cpu_offload=True in engram.py. Der Schalter ist ein Blindgänger, entfernt haben wir ihn nicht, ein Eintrag für die nächste Wartungsrunde.

Rezept, Release-Stand und Lizenz, soweit nachprüfbar

Der Erzeugerstring in hf_quant_config.json lautete beim Lesen 0.46.0.dev281+g73d778422, eine Entwicklungsversion. Dazu die Release-Liste von Model Optimizer, gemessen am 18.11.: GA 0.46.0 vom 18. August, 0.46.1 vom 9. September, 0.47.0 vom 23. September, 0.48.0 vom 2. November, 0.47.1 vom 6. November, 0.49.0rc0 vom 16. November als Vorabversion. Die Dev-Version wurde vor dem GA 0.46.0 gebaut und steht in keiner öffentlichen Release-Liste; ein Nachbau aus den öffentlichen Ständen ist nicht vorgesehen, die Trainingsläufe liefen auf einem internen Stand.

Die Upstream-Karte nennt die Qwen Community License, mit Namenspflicht ab 100 Millionen monatlichen Nutzern und einer Sonderregel bei Vermietung des Modells als Dienst. Die QAD-Karte nannte beim Lesen dazu einen NVIDIA-Eigentumsvorbehalt für eigene Änderungen, ihre Lizenzdatei war bytegleich mit der Upstream-Datei, 3.235 Byte. Der September-Stand trägt bis heute keine Lizenzdatei, die API liefert dort einen Eintragsfehler; der Anbindungscode im vLLM-Repository läuft getrennt davon unter Apache 2.0. Bei externem Publikumsverkehr ist das mit dem eigenen Vertrag zu prüfen.

Was vom Vorfall bleibt

Belegen lässt nach dem 18.11. nur noch Existenz, Datum und Gesamtgröße, alles andere bleibt eine Momentaufnahme mit Zeitstempel. Drei Fragen beantwortet NVIDIA nicht: Das Rezept lief auf einer Dev-Version vor dem öffentlichen GA, die Effektaussage der Karte war nach eigenem Bekunden statistisch nicht belegt, und die Lizenzformulierung des Experiments war deckungsgleich mit dem September-Stand. Warum das Archiv nach weniger als 24 Stunden verschwand, bleibt offen.

Warum diese Geschichte? Weil sie die Messlatte zeigt, an der wir eigene Beiträge messen: Zahlen mit Messträger, Messzeit und Status, und ein Beitrag, der auch ohne erreichbare Quelle trägt. Wie wir auf dieser Maschine messen, zeigt die Messreihe zu vLLM 0.32 mit MTP und NVFP4, warum die n-Gramm-Tabelle bei uns im Arbeitsspeicher liegt, erklärt die Auslagerung der n-Gramm-Einbettung. Für Herstellerzahlen gilt: Vendor-Benchmarks gegen unabhängige Messwerte. Mehr aus dem Lane-Betrieb im Hub KI im Betrieb, Planung eigener Karten über die Beratung zu Corporate LLM.

Weiterführende Quellen

Fragen?
Warum führt Hugging Face das NVIDIA-Repo nicht mehr?+

Das kann ich nicht beantworten, NVIDIA sagt nichts dazu. Messbar ist: Das Repo existierte am 17.11.2026, zwei Dritt-Repos verweisen auf seine Revision a874339c. Am 18.11. gegen 06:30 UTC antwortete unsere Abfrage mit 401, die September-Ausgabe von NVFP4 bleibt weiter erreichbar. Löschen und auf privat stellen ist von außen nicht zu unterscheiden.

Was lässt sich ohne das Repo heute noch prüfen?+

Die Gesamtgröße von rund 129,8 GB und die 100 Optimizer-Updates, belegt durch zwei Dritt-Repacks und einen Fachartikel vom 17.11. Die Aufteilung nach Bauteilen, die Rezept-Datei und die Lizenz-Bytegleichheit sind seither nicht nachprüfbar. Alle Zahlen zu unserer eigenen Lane stehen im Startprotokoll der Maschine und bleiben dort messbar.

Ändert der Vorfall etwas an unserer Produktionslane?+

Nein. Wir haben keinen der beiden NVIDIA-Checkpoints gestartet, es war keine Karte frei. Die Maschine läuft weiter mit vLLM 0.32, vier RTX 5090, MTP und NVFP4, die n-Gramm-Tabelle im fest eingestellten Arbeitsspeicher. Offen bleibt nur die Wartungsleine beim PLE-Schalter.