DSpine für Qwen3.8-27B: Was der neue Draft-Baustein an unserem Fallback-Host ändern würde
Tencent hat am 7. November 2026 die Gewichte eines Drafters für Qwen3.8-27B veröffentlicht, und in den Tagen danach kamen die Teile dazu, die ihn außerhalb eines festen Testaufbaus nutzbar machen: Am 12. und 13. November erweiterten Commits im Repository die Batch-Verarbeitung, das Sampling und die Abstimmung der dynamischen Verifikation. Wir betreiben Qwen3.8-27B auf unserem Fallback-Host und wollten wissen, ob das für uns etwas bedeutet. Kurz vorab: Die Zahlen von Tencent sind beeindruckend, auf unserer Hardware läuft der Drafter aber nicht, und aus den Gründen lässt sich etwas für künftige Entscheidungen ableiten.
DSpine ist ein Draft-Modell für Speculative Decoding. Ein kleines Modell schlägt in einem Durchgang einen Block von 16 Token vor, das große Zielmodell prüft den Block in einem Schritt und übernimmt den Anfang, der mit seiner eigenen Ausgabe übereinstimmt. Bei exakter Verifikation entspricht das Ergebnis dem normalen Dekodieren, mit weniger Schritten des großen Modells. DSpine nutzt zusätzlich eine dynamische Verifikation nach dem Muster von DSpark, deren Wirkung auf die Ausgabe wir nicht geprüft haben. DSpine gibt jeder Schicht die vorhergesagten Merkmale der Vorgänger-Positionen weiter, damit die 16 Kandidaten voneinander abhängen. Zum Grundprinzip siehe unseren Beitrag über Speculative Decoding und dFlash.
Was Tencent angibt
Die Modellkarte nennt SGLang 0.5.22, BF16, FlashAttention 3 und Concurrency 8. Eine GPU nennt sie nicht. Verglichen wird mit autoregressivem Dekodieren (AR) und mit DFlash2 von z-lab, dem bisherigen Draft-Modell für dasselbe Ziel. Die Werte sind der Durchsatz aller Anfragen zusammen (Token pro Sekunde) beim Replay von Agenten-Verläufen, Reasoning-Stufe xhigh.
| Benchmark | AR | DFlash2 | DSpine | Acceptance-Länge DFlash2 / DSpine |
|---|---|---|---|---|
| WorkBuddy Code | 193,00 | 550,40 (2,85×) | 613,55 (3,18×) | 4,06 / 4,92 |
| WorkBuddy Web | 252,26 | 734,04 (2,91×) | 840,14 (3,33×) | 3,95 / 5,01 |
| WorkBuddy Office | 215,05 | 662,34 (3,08×) | 763,83 (3,55×) | 4,20 / 5,49 |
| SWE-bench Pro | 248,17 | 711,60 (2,87×) | 791,30 (3,19×) | 4,00 / 4,77 |
| τ²-bench | 340,39 | 871,98 (2,56×) | 978,39 (2,87×) | 4,29 / 4,95 |
Quelle: Modellkarte tencent/Qwen3.8-27B-DSpine-b16, abgerufen am 15. November 2026, Herstellerangabe. Gegenüber DFlash2 sind das 11 bis 15 Prozent mehr Durchsatz und 15 bis 31 Prozent längere akzeptierte Blöcke (von uns aus der Tabelle gerechnet).
Das Paper (arXiv 2609.36173, 28. September 2026) belegt den Ansatz an Qwen3-4B und Qwen3-8B. Für Qwen3.8-27B steht im Paper-Abstract nichts, die 27B-Werte kommen allein von der Modellkarte.
Was bei uns schon läuft
Seit dem 11. November läuft der Fallback-Host mit einer RTX 5090 nicht mehr auf vLLM, sondern auf llama.cpp mit einem Q4_K_M-Build einer Qwen3.8-27B-Variante (laut Kommentar in der Compose-Datei ein Feintuning, "TURBO", nicht das Basismodell), mit Multi-Token-Prediction als Draft, höchstens zwei Draft-Token je Schritt. Ältere Beiträge von uns beschreiben noch den vLLM-Stand. Wir haben am 15. November 2026 per docker logs die Zeilen draft acceptance des Containers ausgewertet und per nvidia-smi die Belegung gelesen. Beides ist lesender Zugriff, am Host haben wir nichts verändert.
| Messgröße | Wert | Art |
|---|---|---|
| Fenster | 11. bis 15. November 2026, Container-Start 11.11. | Logauszug |
| Anfragen mit Spekulation | 334 | gezählt |
| Entwürfe angenommen | 77.625 von 91.081 (85,2 Prozent) | gezählt |
| Token je Verifikationsschritt, mengengewichtet | 2,70 (Höchstwert bei zwei Drafts: 3) | abgeleitet |
| Je Anfrage, Median | 2,93 | abgeleitet |
| Dekodiergeschwindigkeit, Median | 39,7 Token/s (10. Perzentil 9,4, 90. Perzentil 81,3) | 55 Antworten ab 300 Token |
Die Dekodiergeschwindigkeit stammt aus gemischter Last mit bis zu zwei parallelen Slots und verschiedenen Kontextlängen, deshalb die Streuung. Für einen Vergleich mit Tencents Zahlen taugt sie nicht: andere Engine, andere Quantisierung, anderes Zielmodell, ein anderer Lastmix. Auch die Acceptance-Längen lassen sich nur grob nebeneinanderlegen. Dass Tencents "Acceptance-Länge" den Bonus-Token des Verifikationsschritts mitzählt wie die mean len von llama.cpp, nehmen wir an, haben es aber nicht geprüft.
Eine Lehre bleibt trotzdem: Unser Draft kommt mit 2,70 von höchstens 3,0 nahe an die eigene Obergrenze, bei einem Blockdesign wie DSpine mit 16 Token ist die Obergrenze weit höher. Die Tabelle von Tencent liegt bei knapp 5.
Die Passungsrechnung
Die Rechnung nach den Regeln unserer Hardware-Bewertung: echte Bytes aus der Hugging-Face-API, Karte per nvidia-smi.
| Posten | Wert | Quelle |
|---|---|---|
| Karte RTX 5090 | 32.607 MiB (31,84 GiB) | nvidia-smi, 15.11.2026 |
| Belegt / frei heute | 30.882 / 1.269 MiB | nvidia-smi, 15.11.2026 |
| Unser Q4_K_M-Gewicht | 17,23 GiB; mmproj 0,86 GiB | Dateigrößen im Container |
DSpine-Draft, model.safetensors | 4.051.831.880 B = 3,77 GiB (3.864 MiB) | HF-API |
| Qwen3.8-27B BF16 (Ziel laut Tencent-Anleitung) | 27.781.427.952 Parameter, 51,7 GiB | HF-API, abgeleitet ×2 |
Ergebnis: Der Drafter allein braucht 3.864 MiB, frei sind 1.269 MiB. Es fehlen mindestens 2.595 MiB, ohne den eigenen KV-Cache des Drafters (fünf Schichten, 8.192 Token Fenster) und ohne die Aktivierungen. Wir könnten sie freiräumen, etwa über kleinere Kontexte oder einen kleineren Vision-Anteil, aber das Beispiel der Anleitung nimmt das BF16-Ziel in --tp-size 1 und hat damit 51,7 GiB allein für Gewichte, das 1,6-Fache einer 5090.
Dazu kommt die Laufzeit: Tencent liefert ein SGLang-Plugin für 0.5.22 und eine MLX-Variante für Apple Silicon. In einem llama.cpp-Diskussionsthread erwähnt ein Dritter einen DSpine-Fork, aber upstream ist weder in llama.cpp noch in vLLM etwas davon eingetragen, soweit wir sehen. Eine dritte Laufzeit neben vLLM und llama.cpp zu betreiben, nur für eine Fallback-Lane, steht in keinem Verhältnis zum Gewinn.
Was wir daraus machen
Für den Fallback-Host empfehlen wir, nichts zu ändern. Beobachten lohnt sich in drei Punkten: ob DSpine oder DFlash2 in vLLM beziehungsweise llama.cpp einzieht, ob ein Drafter für das quantisierte und feingetunte Ziel erscheint, auf dem wir laufen, und ob die 16-Token-Blöcke bei Q4-Zielmodellen ihre Acceptance halten. Vorher ist die günstigste Maßnahme, den vorhandenen Draft sichtbar zu machen: die Acceptance-Länge aus dem Log ins Monitoring zu ziehen, damit ein Wechsel des Drafters später an einer eigenen Zahl gemessen wird. Wer eine Entscheidung dieser Art für den eigenen Betrieb prüfen will, findet unser Angebot unter Corporate LLM; die Einordnung zu lokaler Hardware steht im Themenbereich Lokale KI-Hardware, unseren 27B-Betrieb auf vier 5090 beschreibt Qwen3.8-27B im Eigenbetrieb (Stand August, inzwischen umgestellt).
Offene Punkte. Nicht geprüft: Tencents Durchsatzzahlen und die GPU dahinter (die Karte nennt keine); ob die Acceptance-Länge dort den Bonus-Token mitzählt; wie sich der Drafter gegen ein quantisiertes oder feingetuntes Ziel verhält; ob PR 52816 in vLLM, der laut DFlash2-Karte den Vorgänger-Drafter trägt, gemerged ist; ob ein DSpine-Fork für llama.cpp upstream landet (nur ein Hinweis in einem Diskussionsthread, kein Code gelesen). Die GitHub-Lizenzerkennung zeigt "Other", weil die Datei License.txt Apache 2.0 mit einer Ausnahmeliste für Drittkomponenten verbindet; die Liste haben wir nicht durchgesehen. Unsere eigenen Werte sind ein Logauszug von vier Tagen auf wechselnder Last, ohne Vergleichslauf mit und ohne Draft.
Weiterlesen: Inkling 2 Small gegen unser VRAM-Limit · Huawei MACaQ für GGUF, nachgemessen · Arbeitsspeicher als Grenze lokaler KI-Agenten · Qwen3.8-27B im Eigenbetrieb · KI-Inferenz beschleunigen
Weiterführende Quellen
- Tencent: Modellkarte DSpine für Qwen3.8-27B (Herstellerangabe, Stand 14. November 2026)
- Tencent: DSpine auf GitHub (Herstellerangabe, Commits vom 7. bis 13. November 2026)
- Tencent: Anleitung zur SPS-Abstimmung (Herstellerangabe)
- Zhang et al.: Draft in Parallel, Condition Through Depth, arXiv 2609.36173 (Primärquelle, 28. September 2026)
- z-lab: Qwen3.8-27B-DFlash2 (Herstellerangabe, Vergleichsbasis)
- Qwen/Qwen3.8-27B auf Hugging Face (Primärquelle, Parameterzahl über die HF-API gelesen)
- Speculative Decoding und dFlash, das Grundprinzip
- Qwen3.8-27B im Eigenbetrieb, unser Stand vom August
Was ist DSpine und worin unterscheidet es sich von DFlash?+
DSpine ist ein Draft-Modell für Speculative Decoding, das 16 Token in einem Durchgang vorschlägt. Es reicht in jeder Schicht die vorhergesagten Merkmale der Vorgänger an die Nachfolger weiter, sodass die Kandidaten voneinander abhängen. Laut Modellkarte von Tencent (14. November 2026) liegt die Acceptance-Länge auf Agenten-Benchmarks bei Qwen3.8-27B 15 bis 31 Prozent über DFlash2, der Durchsatz 11 bis 15 Prozent darüber. Beides sind Herstellerangaben, wir haben sie nicht nachgemessen.
Läuft DSpine auf einer RTX 5090 mit 32 GB?+
Nach unserer Rechnung vom 15. November 2026 nicht ohne Umbau. Das Draft-Modell wiegt 3,77 GiB, auf unserer Karte sind 1,24 GiB frei. Die Anleitung von Tencent setzt außerdem das BF16-Zielmodell voraus, das mit 51,7 GiB rund das 1,6-Fache einer 5090 belegt, und SGLang 0.5.22 statt vLLM oder llama.cpp.
Wie hoch ist die Acceptance-Länge unseres jetzigen Drafts?+
Aus den llama-server-Logs des Fallback-Hosts (11. bis 15. November 2026, 334 Anfragen mit Spekulation) ergibt sich bei höchstens zwei Draft-Token je Schritt ein Mittel von 2,70 Token je Verifikationsschritt, 85 Prozent der Entwürfe wurden angenommen. Das ist ein Logauszug, kein kontrollierter Benchmark.
senn-tech