Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI-Hardware
Lokale KI und GPU-Hardware2026-11-17· Von Franz Senn

Zwei Radeon AI PRO R9700 mit Radiance: Was Qwen3.8-27B auf AMD wirklich schafft

In unserem Host .202 stecken statt einer RTX 5090 jetzt zwei Radeon AI PRO R9700. Am 16. und 17. November 2026 haben wir darauf Qwen3.8-27B mit drei Inferenz-Engines gemessen. Radiance erreicht auf einer Karte 59 bis 61 Token pro Sekunde, vLLM mit ROCm 19 bis 28. Dazu kommen ein Ausfall der zweiten Karte, den wir noch nicht erklären können, und sechs abliterierte Varianten des Modells, von denen vier den vollen Test bestanden haben.

Radiance ist eine Inferenz-Engine für AMDs RDNA4-Karten. Sie lädt Modelle in einem eigenen Format (.rad), nutzt eigene Rechenkernel für diese Karten und bietet eine OpenAI-kompatible Schnittstelle. Nach dem, was wir im Issue-Tracker gelesen haben, hat das Projekt einen Hauptautor. Das gehört zur Einordnung der Zahlen unten.

Logo von AMD
AMD stellt die Radeon AI PRO R9700 her. Die Messwerte in diesem Beitrag sind unsere eigenen. (Quelle: Simple Icons, Datei amd.svg (CC0), Marke: AMD)

Der Aufbau

Der Host hat einen EPYC 7502 mit 184 GB DDR4-RAM, Ubuntu 26.04.1 mit Kernel 7.0.0-43 und die beiden Karten (gfx1201, je 32 GB) in PCIe-5-x16-Slots mit ReBAR. Auf dem Host selbst ist kein ROCm installiert, die Engines laufen in Containern. Alle Zahlen stammen aus diesem Host. Gemessen haben wir mit Qwen3.8-27B, 256 Token Ausgabe und kurzen Prompts; die Durchsätze sind die Summe aller gleichzeitigen Ströme.

Drei Engines im Vergleich

Engine (Stand 16.11.2026)Aufbau1 Strom, tok/s8 parallel, tok/s16 parallel, tok/s
vLLM v0.33.0, ROCm 7.21 Karte, AWQ-INT4, KV 4 Bit, ohne Drafter19 bis 2869nicht gemessen
llama.cpp mit MTP2 Karten, Tensor-Split, MTP-Spekulation38109nicht gemessen
Radiance 2.1.01 Karte, 4,9 Bit, KV i8, mit Drafter59 bis 61266nicht gemessen
Radiance 2.1.02 Replikate, je eine Karte, mit Drafter57 (bei 2 Strömen)371546
Radiance 2.1.02 Karten, Tensor-Parallel, mit Drafter89 bis 104405363

Eigene Messung, 16.11.2026, 2× Radeon AI PRO R9700, Qwen3.8-27B. Im Einzelstrom bestimmt die Speicherbandbreite das Tempo. Warum Radiance dort vorn liegt, können wir nur vermuten. Die eigenen RDNA4-Kernel sind ein naheliegender Grund. Radiance lief außerdem mit einem Drafter (spekulatives Dekodieren) und einer anderen Quantisierung als vLLM, beides verzerrt den Vergleich. Getrennt haben wir die Ursachen nicht.

Bei den Zahlen für vLLM kamen zwei Dinge dazu. Die Composable-Kernel-Variante der FlashAttention stürzte beim Graph-Capture mit einem Segfault ab; mit FLASH_ATTENTION_TRITON_AMD_ENABLE=TRUE lief sie. Außerdem las rocm-smi im Container den Power-Cap nicht aus, und hwmon meldete nach dem Boot „Device or resource busy". Ein Limit konnten wir deshalb nicht setzen.

Durchsatz bei 8 parallelen Strömen: Radiance TP2 liegt vornvLLM-ROCm, 1 Karte69 · AWQ-INT4llama.cpp + MTP, 2 Karten109Radiance, 1 Karte266Radiance, 2 Replikate371Radiance, TP24050450
Summe aller Ströme in Token pro Sekunde, Qwen3.8-27B, 256 Token Ausgabe, 2× Radeon AI PRO R9700, 16.11.2026. (Quelle: senn-tech, eigene Messung auf .202)

Die Leistung der R9700 behandelt auch das Video „The CUDA hour is Late. Also, Who Made the R9700 this fast?" von Level1Techs. Zahlen aus dem Video haben wir nicht übernommen, alle Werte in diesem Beitrag sind unsere eigenen.

Zwei Karten, ein Modell

Zwei Replikate mit je einer Karte erreichen bei 16 parallelen Strömen 546 Token pro Sekunde, einer Tensor-Parallel-Instanz über beide Karten gelingen 363. Bei 8 Strömen liegt die Tensor-Parallel-Variante vorn, 405 gegen 371. Der Einzelstrom wird mit TP2 schneller, 89 bis 104 gegen 59 bis 61. Für einen Agenten, der lange Antworten allein erwartet, zählt das. Für viele kurze Anfragen auf einmal sind zwei Replikate besser.

Für TP2 spricht der Speicher. Die Gewichte mit 4,9 Bit verteilen sich auf beide Karten, und je Karte bleiben 19,46 GiB für den KV-Cache. Der Pool fasst 1.103.104 Token, das sind 4,2 Sitzungen mit 262.144 Token Kontext. Qwen3.8-27B hält nur in 16 seiner 64 Schichten Token-KV, bei 8 Bit sind das 32.768 Byte je Token (gerechnet aus der Modellkonfiguration, nicht gemessen).

Radiance kennt als KV-Format nur i8 und fp8, kein 4-Bit-KV. Wer acht Sitzungen mit je 262k Kontext gleichzeitig will, braucht rund 2,1 Millionen Token Pool. Mit halbiertem KV wären es beim 4,9-Bit-Modell rechnerisch rund 8 Sitzungen, bei den Int8-Varianten rund 6. Das ist eine Rechnung, keine Messung. Bei realen Slots um 100.000 bis 130.000 Token reichen die 1,1 Millionen Token für sechs bis acht Slots.

KV-Pool in Sitzungen mit 262.144 Token Kontext, TP2Int8, Radiance 2.1.03 · 3,0 Sitzungen4,9 Bit, Radiance 2.1.04.2 · 4,2 SitzungenMXFP4, Radiance 1.17.04.4 · 4,4 Sitzungen05
Gemessener KV-Pool beim Start, KV-Format i8 (Radiance 2.1.0) bzw. fp8 (1.17.0), 17.11.2026. (Quelle: senn-tech, eigene Messung auf .202)

Abliterierte Varianten

Abliterierte Modelle haben das Verweigerungsverhalten per Eingriff in die Gewichte abgeschwächt. Wir wollten eine solche Variante als Reserve und als eigene Lane für dsh, unser Agenten-Harness. Geprüft haben wir pro Variante Durchsatz, fünf Tool-Calls mit Pflichtargumenten und eine Nadel (ROT-4711-LUCHS) in 135.000 Token Kontext, alle mit TP2.

Variante (Stand 17.11.2026)Format, Engine1 / 8 / 16 Ströme, tok/sKV-Sitzungen bei 262kTool-CallsNadel bei 135k
slybase Swift-1.5 hereticMXFP4, Radiance 1.17.0105 / 493 / 6514,45 von 5gefunden, 41 s
mlasli Heretic-UncensoredInt8, Radiance 2.1.076 / 387 / 5113,05 von 5gefunden, 47 s
Jiunsong SuperQwen3.8-27bInt8, Radiance 2.1.069 / 370 / 5283,05 von 5gefunden, 47 s
akumaburn Swift-Qwen3.8-27bInt8, Radiance 2.1.069 / 391 / 5643,05 von 5gefunden, 47 s
hotdogs Qwen3.8-27B-abliteratedInt8, Radiance 2.1.069 / 378 / 549nicht gemessen5 von 5Karte 2 fiel aus
asfgsdfg Qwen3.8-27B-HereticInt8, Radiance 2.1.076 bis 83 / 376 bis 388 / 543 bis 5483,0nicht gemessennicht gemessen

Eigene Messung, 16. und 17.11.2026. Der Unterschied im Einzelstrom kommt von der Quantisierung (Int8 belegt rund 29 GiB, die 4-Bit-Fassung deutlich weniger), nicht vom Modell. Das fertige .rad von slybase läuft nur auf Radiance 1.17.0, denn die 2.x-Reihe lehnt MXFP4- und FP8-Container ab. Die fünf Int8-Varianten haben wir selbst aus den BF16-Quellen umgewandelt, das dauert mit dem Int8-Rezept rund 8 Minuten je Modell. Die 4-Bit-Umwandlung mit Hessians ist auf der CPU gebunden: Nach 27 Minuten war auf 32 Kernen noch kein Tensor fertig, und wir haben darauf verzichtet.

Nicht gemessen haben wir Verweigerungsverhalten und Qualität (KL-Divergenz, Benchmarks). Für Swift-1.5 nennt die Modellkarte die Lizenz swift-open-license-1.0 mit dem Zusatz „research-only", außerdem ist das Modell reiner Text ohne Vision. Zwei Modelle in TP2 passen nicht gleichzeitig auf die Karten, sie belegen je rund 29 GiB pro Karte. Entweder ein Modell über beide Karten oder je eines pro Karte.

Durchsatz bei 16 parallelen Strömen, abliterierte Varianten (TP2)slybase (MXFP4, 1.17.0)651 · tok/sakumaburn (Int8)564hotdogs (Int8)549asfgsdfg (Int8)545 · 543 bis 548SuperQwen (Int8)528mlasli (Int8)5110700
Summe aller Ströme in Token pro Sekunde, 16./17.11.2026. Bei asfgsdfg steht der Mittelwert der Spanne 543 bis 548. (Quelle: senn-tech, eigene Messung auf .202)

Der Kartenausfall

Am 16.11. um 11:33 Uhr setzte sich der Host beim Laden eines Modells in vLLM ohne Kernel-Log zurück. Das haben wir nicht reproduziert. Danach fiel dreimal dieselbe Karte, 0000:c3:00.0, unter Last vom Bus: amdgpu: device lost from bus!, ohne AER-Eintrag. Das erste Mal im 135k-Prefill des hotdogs-Modells, das zweite und dritte Mal rund 11 und 2 Minuten nach dem Boot im Test des asfgsdfg-Modells. Der Host startete danach teils selbst neu, einmal blieb systemctl reboot in Prozessen im D-State hängen. Ein Kaltstart über das BMC (ipmitool chassis power cycle) hilft bis zum nächsten Lauf.

Das Netzteil ist laut Datenblatt mit 1600 W ausgelegt, die Kabel haben wir einmal geprüft und nichts gefunden, eine Volllast von 40 Sekunden auf beiden Karten lief stabil. Gegen einen reinen Softwarefehler spricht, dass immer dieselbe Karte ausfiel, bei verschiedenen Modellen und Quantisierungen. Bewiesen ist das nicht. Der nächste Schritt ist, die Karten in den jeweils anderen Slot zu stecken und die 12V-2x6-Stecker neu zu setzen. Fällt dann dieselbe Karte aus, deutet das auf die Karte oder ihr Kabel; wandert der Ausfall mit dem Slot, liegt es dort.

Wie wir .202 jetzt einsetzen

Auf .202 läuft seit dem 17.11.2026 der Container rad-prod mit Radiance 2.1.0, TP2, 262.144 Token Kontext und qwen3.8-27b-iq4r-l-v4.rad. In LiteLLM ist er die zweite Stufe der dsh-Lane, die die Subagenten von dsh bedient, unserem Agenten-Harness. Die erste Stufe bleibt unser Host mit vier RTX 5090; .202 springt nur ein, wenn die erste Stufe mit 8 gleichzeitigen Anfragen voll ist oder einen Fehler liefert. Beim Test mit 12 parallelen Anfragen gingen 6 an die erste Stufe, 4 an .202 und 2 liefen in einen Fehler, weil beide Stufen voll waren.

Wie eine dsh-Anfrage auf .202 landetdsh-AnfrageLiteLLM auf .180.2Stufe 1: .180.3Flash-Next, 4x RTX 5090, bis8 AnfragenStufe 2: .202Qwen3.8-27B, 2x R9700, bis 4AnfragenFehlerwenn beide Stufen voll sind
Vereinfachte Darstellung der LiteLLM-Konfiguration vom 17.11.2026. (Quelle: senn-tech, eigener Betrieb)

Die erste Stufe fährt Qwen3.8-Flash-Next, die zweite Qwen3.8-27B. Deshalb kann eine Session je nach Last von beiden Modellen bedient werden. Der Watchdog prüft .202 alle fünf Minuten mit einer echten Anfrage und schickt bei einem Fehler eine Meldung über SentinelLog. Auf device lost im Kernel-Log prüft er nicht. Das steht auf unserer Liste.

Qwen3.8-27B auf vier RTX 5090 beschreiben wir in Qwen3.8-27B im Eigenbetrieb. Mehr Messungen zu lokalen Beschleunigern finden Sie bei unseren Beiträgen zu lokaler KI-Hardware. Was wir sonst rund um lokalen KI-Betrieb anbieten, steht unter Leistungen.

Was wir als Nächstes prüfen

Offen sind die 135k-Nadel für hotdogs, Tool-Calls und Nadel für asfgsdfg, ein Dauerlauf über zwölf Stunden und die Qualität der abliterierten Varianten. Bis dahin ist .202 ein Überlauf mit Ausfallrisiko und kein verlässlicher Hauptpfad. Sobald Qwen 4.0 erscheint, wollen wir zuerst klären, ob Radiance es lädt.

Wer eigene R9700 plant, sollte vor dem ersten Lasttest beide Karten einzeln unter Dauerlast laufen lassen und die Stromstecker prüfen, bevor er Modelle vergleicht.

Weiterführende Quellen

Fragen?
Ist die Radeon AI PRO R9700 für lokale Sprachmodelle brauchbar?+

Mit der richtigen Engine ja. Auf unserem Host erreichte Qwen3.8-27B mit Radiance auf einer Karte 59 bis 61 Token pro Sekunde, auf zwei Karten im Tensor-Parallel-Betrieb 89 bis 104. Die zweite Karte fiel dreimal unter Last vom PCIe-Bus. Ob Karte, Slot oder Stromkabel schuld sind, wissen wir nicht.

Warum nicht vLLM auf AMD?+

vLLM v0.33.0 mit ROCm 7.2 lief bei uns nur mit einem Umweg: Die Composable-Kernel-Variante der FlashAttention stürzte beim Graph-Capture ab, erst die Triton-Variante lief. Danach erreichte es auf einer Karte 19 bis 28 Token pro Sekunde, Radiance 59 bis 61. Das gilt für unser Modell, unsere Karten und kurze Prompts.

Kann man abliterierte Modelle produktiv einsetzen?+

Das haben wir nicht geprüft. Wir haben Durchsatz, Tool-Calls und einen Nadeltest mit 135.000 Token gemessen, nicht das Verweigerungsverhalten und nicht die Qualität. Für Swift-1.5 nennt die Modellkarte eine Forschungslizenz, die Lizenzen der übrigen haben wir nicht geprüft. Derzeit läuft keine davon produktiv.