Radeon R9700 gegen RTX 5090: dieselbe Datei, zwei Karten, ein Preis pro Token

Unsere Produktionskarte ist die RTX 5090, die Gegenstelle eine Radeon AI PRO R9700 mit 32 GB, die seit 1. September im Haus liegt und nicht mitläuft. Beide Karten haben 32 GB Speicher, beide haben wir mit derselben Modelldatei gefüttert, mit derselben Engine und denselben Aufrufparametern. Öffentliche Vergleiche mischen meist Backend oder Quantisierung. Wir haben am 16. Oktober 2026 nachgerechnet, was übrig bleibt, wenn beides wegfällt.

Wie die Messung zustande kam

Getestet haben wir das dichte Qwen3.8-27B in der Quantisierung IQ4_XS, dieselbe Datei mit 17,03 GB auf beiden Karten, llama.cpp mit -ngl 99 -fa on, 262 144 Kontext, eine Sequenz, MTP-Anahme an. Gemessen im Leerlauf, also ohne weitere Last auf der Maschine (Warum wir unter Proxmox trotzdem die VM nehmen).

Der Vergleich hatte eine gescheiterte Vorversion. Auf der 5090 lief das Modell zuerst mit 14 bis 18 Tokens pro Sekunde, weil der Offload in den Grafikkartenspeicher nicht erzwungen war. Mit erzwungenem Offload und der nächstgröberen Datei über 24 GB kam cudaMalloc failed: out of memory, die Lane lief in eine Absturzschleife. Mit der kleineren Datei landete sie bei 120 bis 146 Tokens pro Sekunde (Eigenbetrieb des 27B-Modells). Auf der R9700 stehen 29,9 von 32 GB nutzbar zur Verfügung, die Datei passt, die Gegenprobe war gültig.

Zwei Unterschiede bleiben in den Protokollen stehen: Die R9700-Seite nutzt seit 29. September einen KV-Cache-Typ mit 8 Bit, die 5090 hier den Standardtyp. Und die Rechner haben verschiedene CPUs. Beides korrigiert erst ein neuer Durchlauf (Bandbreite als Flaschenhals).

Das Ergebnis in Euro pro Token

Die Preise haben wir am selben Tag im österreichischen Handel abgelesen. Gelistet ist die R9700 mit 2.194,29 Euro (XFX, 14 Angebote, abgerufen 16. Oktober 2026), die 5090 bei 6.790 Euro (ASUS ROG Astral, 2 Angebote) und bei 6.869,99 Euro in einem einzigen Angebot eines österreichischen Händlers (MSI Ventus 3X OC). Das Verhältnis: 3,09 bis 3,13.

Tempo 3,09-fach, Preis 3,10-fach, gerundet auf drei Stellen beide 51 Euro pro Sekunde-Token. Die Frage, welche Karte das bessere Preis-Leistungs-Verhältnis hat, ist mit dieser Messung beantwortet und zwar mit: keins von beiden. Sie entscheidet sich eine Ebene tiefer.

Die Rechnung, die niemand erwartet

300 Watt Peak Board Power nennt das Produktblatt der R9700 Peak Board Power, die 5090 575 Watt Total Graphics Power (AMD-Produktdaten, NVIDIA-Produktdaten). Geteilt durch das gemessene Tempo:

• R9700: 300 Watt durch 43 Tokens pro Sekunde sind 6,98 Watt pro Sekunde-Token
• RTX 5090: 575 Watt durch 133 Tokens pro Sekunde sind 4,32 Watt pro Sekunde-Token

Die Nvidia-Karte ist das sparsamere Gerät pro gelieferter Arbeit, um den Faktor 1,62. Niedrigere Aufnahmeleistung ist also kein Argument für AMD, solange sie mit weniger Tokens bezahlt wird. Über drei Jahre gerechnet, mit 0,20 Euro je Kilowattstunde als Annahme und ohne Messung am Netzteil:

Bei Vollast liegt die 5090 um 16 Prozent unter der R9700, bei einem Fünftel Last um 5 Prozent. Je mehr die Karte arbeitet, desto mehr kippt die Parität zugunsten der teureren Karte. Es ist dieselbe Logik, die wir bei den Betriebskosten der ganzen Strecke haben (Was ein KI-Modell wirklich kostet).

Drei Annahmen stehen in dieser Tabelle und nicht im Messprotokoll. Die Wattzahlen sind Datenblattwerte, keine Messung am Netzteil, und eine Karte im Leerlauf zieht weniger. 0,20 Euro je Kilowattstunde sind ein Tarifpflaster. Abschreibung, Rack, Lüftung und Personal fehlen. Die Rechnung bleibt stehen, weil die Richtung weit von der Messgrenze entfernt ist: Selbst wenn die R9700 nur die Hälfte des Datenblattwerts zöge, bliebe sie pro Token teurer.

Der fremde Befund, der unsere Zahl offen lässt

In llama.cpp-Diskussion 19890 hat ein Nutzer beide Karten mit derselben Engine gemessen, Qwen3.5-35B-A3B in Q4_K_XL, Commit 244641955. Beim Decoding über mehrere Kontextlängen kommt er auf 194 gegen 127 Tokens pro Sekunde, also das 1,52-Fache, bei einer Preisdifferenz, die deutlich kleiner ist als unsere österreichische. Sein Satz dazu ist nüchtern: für 1,52-faches Tempo sei der Aufpreis hart, und für ein 70B-Modell rät er zu zwei R9700 statt einer 5090.

Dazu passt eine zweite Beobachtung aus demselben Faden, und die betrifft uns direkt. Dieselbe R9700 soll auf dem Vulkan-Backend um 140 Tokens pro Sekunde laufen, auf ROCm selten über 105. Unsere eigenen zwei Vulkan-Versuche sind im August mit VK_ERROR_DEVICE_LOST im Grafikkartentreiber und einem kurzen Reset der GPU geendet, wir sind auf ROCm zurückgewechselt. Wenn die Meldung stimmt, liegt unsere Reservekarte um rund ein Drittel unter dem, was sie in diesem Modell kann. Das ist ein Test ohne Anschaffung, und er ist offen.

Kapazität ist eine andere Achse

Derselbe Thread hat ein Ergebnis, das in keiner Tempo-Tabelle erscheint. Eine einzelne 5090 lud dort kein 72B-Modell in Q4_K_M und kein 122B-Modell überhaupt. Zwei R9700 mit zusammen rund 60 GB nutzbar laden ein 70B-Modell und bringen es unter ROCm auf 11,49 Tokens pro Sekunde, beim Einlesen auf etwa 600. Langsam, aber es läuft, und die Antwort auf eine Kapazitätsfrage ist Platz statt Tempo.

Für uns heißt das: 4.388,58 Euro für zwei R9700 ist eine Modellklasse, die mit 6.790 Euro für eine 5090 nicht erreichbar ist, auch nicht mit unserer aktuellen Konfiguration aus vier Karten. Wer ein 70B-Modell dichter als Q4 im Haus haben will, kauft Speicher, nicht Geschwindigkeit (RTX Pro 5500 mit 84 GB, die Kaufrechnung).

Was wir nicht wissen

Die Bandbreite der Karten trennt die beiden Messungen stärker, als uns lieb ist: AMD nennt 640 GB/s Spitze an einem 256-Bit-Bus, NVIDIA führt die 5090 mit 32 GB GDDR7 an einem 512-Bit-Bus und nennt selbst keine Bandbreite, wir haben in unserem eigenen Test 1.790 GB/s angesetzt. Es ist der Faktor 2,80, und Decoding an einem dichten Modell läuft über diesen Bus. Eine zweite Messung mit gleichem KV-Cache-Typ auf beiden Karten, bei identischer CPU, würde den Vergleich sauber machen.

Offen bleibt die Energie. Eine Messsteckdose über einen Arbeitstag pro Karte, mit Protokoll über Leerlauf und Abruf, wäre die einzige Zahl, die unsere Datenblatt-Rechnung ersetzt.

Was wir damit entscheiden

Unsere Lane bleibt, wo sie ist: vier 5090 für das dichte Modell, weil dort Bandbreite der Engpass ist und die Karte pro gelieferter Sekunde-Token weniger Strom kostet. Reservekarte bleibt die R9700 und wird nicht in eine Lane gehängt, bevor der Backend-Test gelaufen ist; ein Drittel Unterschied ist größer als alles, was wir mit ihr gewinnen wollen. Ein Kauf auf Basis dieses Vergleichs fällt nicht: Bei gleicher Euro pro Sekunde-Token entscheidet ausschließlich das Arbeitsprofil, und das heißt bei uns im Klartext, dass erst ein 70B-Modell mit echten Anfragen eine neue Karte begründet, dann aber wegen des Speichers.

Weiterführende Quellen

• llama.cpp Diskussion 19890: RTX 5090 (CUDA) gegen Radeon AI PRO R9700 (Vulkan), llama-bench
• r/LocalLLaMA: llama.cpp Shootout RTX 5090 gegen DGX Spark, AI395 und R9700
• AMD Radeon AI PRO R9700, Produktdaten
• NVIDIA GeForce RTX 5090, Produktdaten
• Geizhals AT: XFX Radeon AI PRO R9700, Angebote und Daten
• Geizhals AT: MSI GeForce RTX 5090, Angebote und Daten