Ein Tag online, dann zurückgezogen: NVIDIAs QAD-Checkpoint von Qwen3.8-Flash-Next
Am Dienstag, dem 17. November 2026, hat NVIDIA unter dem eigenen Org-Account im Hugging-Face-Hub ein Archiv namens nvidia/Qwen3.8-Flash-Next-NVFP4-QAD aufgelistet: eine quantisierte und mit Quantization-Aware Distillation nachgeschärfte Variante von Qwen3.8-Flash-Next, dem Modell, das bei uns seit Oktober auf vier RTX 5090 läuft. Am Mittwochmorgen war das Archiv weg. Dateiliste und safetensors-Köpfe hatten wir um 06:15 UTC per HTTP-Range gelesen, gegen 06:30 UTC antwortete dieselbe Abfrage mit einem Fehler. Alle NVIDIA-Zahlen hier stehen deshalb unter einem Label: einmalige Momentaufnahme, am Original nicht wiederholbar.
Ein QAD-Checkpoint entsteht durch Quantization-Aware Distillation. Ein Studentenmodell rechnet während weniger Trainingsschritte mit fake-quantisierten Gewichten, ein eingefrorener Lehrer in BF16 liefert die Zielwerte. Beim NVIDIA-Checkpoint waren das 100 Optimizer-Updates bei 512 Sequenzen globaler Batchgröße, wie quantization_recipe.json im Archiv beschrieb. Weiter quantisiert wurden die gespeicherten Gewichte dadurch nicht.
Kurz gefasst
- Das Archiv existierte: Zwei Dritt-Repacks vom 17.11., 17:35 und 19:18 UTC, verweisen per
base_modelauf die NVIDIA-Revisiona874339c; ein Fachartikel nennt 129,7 GB und 100 Optimizer-Updates. - Am 18.11. gegen 06:30 UTC war das Repo weg: 401 auf Seite und API, aus der Hub-Suche verschwunden, vom Internet Archive nie gesnapshottet. Die September-Ausgabe liefert weiter 200.
- Gelesen hatten wir bis dahin 129.780.932.631 Byte, das sind 120,87 GiB auf 36 shards mit 300.217 Tensoren; Routing-Experten und n-Gramm-Tabelle sind bei NVIDIA und in unserem Stand gleich groß.
- Die Lizenzdatei im NVIDIA-Repo war beim Lesen bytegleich mit der Qwen-Upstream-Datei, 3.235 Byte; nachprüfbar ist das heute nicht mehr.
- Gestartet haben wir den Checkpoint nicht, es war keine Karte frei. An der Produktionslane änderte sich nichts.
Der Ablauf, so weit er sich belegen lässt
- 17.11., 09:32 UTC: Erstellungsdatum laut Hub-API, gelesen 18.11. gegen 06:15 UTC. Der Existenztag ist unabhängig belegt über zwei Dritt-Repacks von 17:35:51 und 19:18:26 UTC (Hub-API), deren Karten beide die volle NVIDIA-Revision
a874339cdb171ace5f36c494b6d0d3e54fdb92beals Basis nennen. - 17.11.: Ein Fachartikel auf explainx.ai beschreibt rund 129,7 GB safetensors und 100 Optimizer-Updates, mit dem Hinweis, NVIDIA nenne den Genauigkeitsgewinn statistisch nicht belegt.
- 18.11., 06:15 UTC: Eigene Messung, solange das Archiv offen ist: Dateiliste, alle 36 safetensors-Köpfe per HTTP-Range, dazu
hf_quant_config.json,quantization_recipe.jsonund die Lizenzdatei. - 18.11., gegen 06:30 UTC: Dieselben Abfragen liefern 401, das Modell fehlt in der Hub-Suche. Positivkontrolle direkt daneben: Das September-Repo
nvidia/Qwen3.8-Flash-Next-NVFP4antwortet mit 200. - Stand 18.11., 10:25 UTC: weiterhin 401, und nie ein Snapshot im Internet Archive, die Availability-API liefert null Treffer.
Ob NVIDIA gelöscht oder auf privat gestellt hat, ist von außen nicht zu unterscheiden, NVIDIA sagt dazu nichts. Der Zeitpunkt des Umschaltens liegt zwischen 06:15 und 06:30 UTC, messbar ist er nicht.
Größen auf Platte: ein kleiner Schritt seit September
Gegenüber dem BF16-Original sind das 64,0 Prozent weniger Bytes, gegenüber NVIDIAs erstem NVFP4-Stand vom 2. September 2,75 GiB. QAD halbierte die Größe nicht erneut: Rezept und Distillation trafen nur die Precision kleinerer Blöcke, die Blöcke mit über 90 Prozent Anteil blieben unverändert.
Die Bauteiltabelle, mit ihrem Status
| Bauteil | unser Stand (GiB) | NVIDIA QAD (GiB) | Differenz |
|---|---|---|---|
| Routing-Experten | 63,28 | 63,28 | 0,00 |
| n-Gramm-Tabelle (PLE) | 47,75 | 47,75 | 0,00 |
| Gated-DeltaNet | 3,89 | 2,01 | -1,88 |
| Einbettung und Ausgabekopf | 2,37 | 2,37 | 0,00 |
| MTP-Modul | 1,49 | 2,51 | +1,02 |
| sonstige Schichten | 1,31 | 1,31 | 0,00 |
| Attention (QSA) | 1,11 | 0,57 | -0,54 |
| Vision-Encoder | 0,84 | 0,84 | 0,00 |
| geteilte Experten | 0,44 | 0,12 | -0,32 |
| QSA-Indexer | 0,04 | 0,02 | -0,02 |
| Summe Gewichte | 122,52 | 120,78 | -1,74 |
Einheit GiB (1024^3), Messträger safetensors-Köpfe, Messzeit 18.11.2026 gegen 06:15 UTC. Die Summe 120,78 GiB sind die reinen Gewichte, in der Dateigröße 120,87 GiB stecken zusätzlich 98.161.565 Byte JSON-Köpfe. Bei uns sind es 131.579.038.666 Byte auf Platte, also 122,54 GiB, bei 122,52 GiB Zeilensumme. Auf Gewichtebene trennen die Stände 1,74 GiB, auf Dateiebene 1,67 GiB, der Unterschied liegt an den shard-Köpfen. Nach Datentyp enthält unser Stand 10,22 GiB in BF16, der QAD-Checkpoint noch 4,75 GiB, also 53,5 Prozent weniger; der Rest wandert in MXFP8 mit Blockgröße 32. Die QAD-Spalte ist eine Momentaufnahme vom 18.11., durch Drittquellen nur in der Gesamtgröße bestätigt.
Was die Vergleichslane meldet, weil sie weiterläuft
Alle folgenden Zahlen stehen im Start- und Laufzeitprotokoll unserer Maschine. Sie startet per docker run in /home/bitnami/v032-test/run_port4.sh über denselben safetensors-Index wie der NVIDIA-Stand, nur lokal: 53 shards, 122,54 GiB Gewichte. Der KV-Cache ist mit 7600000000 Byte gedeckelt, das sind 7,08 GiB und 1.351.242 Tokens, das 6,14-Fache des Kontexts. Die n-Gramm-Tabelle steht als weight_device=cpu, pinned=True drin, Prefix-Treffer bei rund 80 Prozent, null Verdrängungen.
VLLM_PLE_CPU_OFFLOAD=1 und VLLM_PLE_FORCE_FP8=1 stehen in Zeile 3 des Startskripts, dazu ein Fund: VLLM_PLE_CPU_OFFLOAD kommt im installierten Paket unserer Produktion in keiner Datei vor, die Positivkontrolle trifft VLLM_PLE_FORCE_FP8 und VLLM_KV_CACHE_LAYOUT, zwei von elf Dateien, das Boot-Protokoll meldet die Variable mit der Warnung "Unknown vLLM environment variable". Die n-Gramm-Tabelle liegt trotzdem im gepinnten Speicher, entschieden durch cpu_offload=True in engram.py. Der Schalter ist ein Blindgänger, entfernt haben wir ihn nicht, ein Eintrag für die nächste Wartungsrunde.
Rezept, Release-Stand und Lizenz, soweit nachprüfbar
Der Erzeugerstring in hf_quant_config.json lautete beim Lesen 0.46.0.dev281+g73d778422, eine Entwicklungsversion. Dazu die Release-Liste von Model Optimizer, gemessen am 18.11.: GA 0.46.0 vom 18. August, 0.46.1 vom 9. September, 0.47.0 vom 23. September, 0.48.0 vom 2. November, 0.47.1 vom 6. November, 0.49.0rc0 vom 16. November als Vorabversion. Die Dev-Version wurde vor dem GA 0.46.0 gebaut und steht in keiner öffentlichen Release-Liste; ein Nachbau aus den öffentlichen Ständen ist nicht vorgesehen, die Trainingsläufe liefen auf einem internen Stand.
Die Upstream-Karte nennt die Qwen Community License, mit Namenspflicht ab 100 Millionen monatlichen Nutzern und einer Sonderregel bei Vermietung des Modells als Dienst. Die QAD-Karte nannte beim Lesen dazu einen NVIDIA-Eigentumsvorbehalt für eigene Änderungen, ihre Lizenzdatei war bytegleich mit der Upstream-Datei, 3.235 Byte. Der September-Stand trägt bis heute keine Lizenzdatei, die API liefert dort einen Eintragsfehler; der Anbindungscode im vLLM-Repository läuft getrennt davon unter Apache 2.0. Bei externem Publikumsverkehr ist das mit dem eigenen Vertrag zu prüfen.
Was vom Vorfall bleibt
Belegen lässt nach dem 18.11. nur noch Existenz, Datum und Gesamtgröße, alles andere bleibt eine Momentaufnahme mit Zeitstempel. Drei Fragen beantwortet NVIDIA nicht: Das Rezept lief auf einer Dev-Version vor dem öffentlichen GA, die Effektaussage der Karte war nach eigenem Bekunden statistisch nicht belegt, und die Lizenzformulierung des Experiments war deckungsgleich mit dem September-Stand. Warum das Archiv nach weniger als 24 Stunden verschwand, bleibt offen.
Warum diese Geschichte? Weil sie die Messlatte zeigt, an der wir eigene Beiträge messen: Zahlen mit Messträger, Messzeit und Status, und ein Beitrag, der auch ohne erreichbare Quelle trägt. Wie wir auf dieser Maschine messen, zeigt die Messreihe zu vLLM 0.32 mit MTP und NVFP4, warum die n-Gramm-Tabelle bei uns im Arbeitsspeicher liegt, erklärt die Auslagerung der n-Gramm-Einbettung. Für Herstellerzahlen gilt: Vendor-Benchmarks gegen unabhängige Messwerte. Mehr aus dem Lane-Betrieb im Hub KI im Betrieb, Planung eigener Karten über die Beratung zu Corporate LLM.
Weiterführende Quellen
- NVIDIA-Repo nvidia/Qwen3.8-Flash-Next-NVFP4: September-Ausgabe, Positivkontrolle unserer 401-Messung
- Repack wallawalla47/Qwen3.8-Flash-Next-NVIDIA-NVFP4-QAD-Infernix: Dritt-Repack von 17:35:51 UTC, Basis: NVIDIA-Revision a874339c
- Dichte-Variante wallawalla47/Qwen3.8-Flash-Next-NVIDIA-NVFP4-QAD-Dense8-Infernix: zweiter unabhängiger Verweis, 19:18:26 UTC
- Fachartikel auf explainx.ai: Archivbeschreibung vom 17.11., 129,7 GB, 100 Optimizer-Updates
- Modellkarte Qwen/Qwen3.8-Flash-Next: Upstream-Herkunft und Qwen Community License
- Release-Liste NVIDIA Model Optimizer: GA- und RC-Stände um den Erzeugerstring, 18.11.2026
- vLLM-Commit d4d703c: Anbindungscode unter Apache 2.0, getrennt von der Modell-Lizenz
Warum führt Hugging Face das NVIDIA-Repo nicht mehr?+
Das kann ich nicht beantworten, NVIDIA sagt nichts dazu. Messbar ist: Das Repo existierte am 17.11.2026, zwei Dritt-Repos verweisen auf seine Revision a874339c. Am 18.11. gegen 06:30 UTC antwortete unsere Abfrage mit 401, die September-Ausgabe von NVFP4 bleibt weiter erreichbar. Löschen und auf privat stellen ist von außen nicht zu unterscheiden.
Was lässt sich ohne das Repo heute noch prüfen?+
Die Gesamtgröße von rund 129,8 GB und die 100 Optimizer-Updates, belegt durch zwei Dritt-Repacks und einen Fachartikel vom 17.11. Die Aufteilung nach Bauteilen, die Rezept-Datei und die Lizenz-Bytegleichheit sind seither nicht nachprüfbar. Alle Zahlen zu unserer eigenen Lane stehen im Startprotokoll der Maschine und bleiben dort messbar.
Ändert der Vorfall etwas an unserer Produktionslane?+
Nein. Wir haben keinen der beiden NVIDIA-Checkpoints gestartet, es war keine Karte frei. Die Maschine läuft weiter mit vLLM 0.32, vier RTX 5090, MTP und NVFP4, die n-Gramm-Tabelle im fest eingestellten Arbeitsspeicher. Offen bleibt nur die Wartungsleine beim PLE-Schalter.
senn-tech