senn-tech4× RTX 5090: Wenn DRAM-Bandbreite der echte Flaschenhals ist
Unser Inferenz-Host kipc5090 trägt vier RTX 5090 mit je 32 GB VRAM, insgesamt 128 GB Grafikspeicher. Eigentlich genug, um fast jedes offene Modell der Welt lokal zu betreiben. Doch die Praxis zeigt: wer rechnet, kommt an einem unerwarteten Limit an.
Das Setup
- Mainboard: ASRockRack SIENAD8-2L2T
- CPU: AMD EPYC 8024P (8 Kerne)
- GPUs: 4× NVIDIA GeForce RTX 5090, je 32 GB GDDR7
- Treiber: NVIDIA 580.173.02, CUDA 13.0
- Speicher: 2× 16 GB DDR5-4800 ECC UDIMM
- Betrieb: vLLM mit Tensor-Parallel-Größe 4 über alle vier Karten
Aktuell läuft dort Qwen3.8-27B-FP8 als konsolidierte Lane für Text, Reasoning und Vision.
Kein P2P
Die RTX 5090 ist eine Consumer-Karte. Sie hat kein NVLink, kein NVSwitch, keinen Peer-to-Peer-Datentransfer. nvidia-smi topo zeigt NS (No Single Root) oder CNS, die Karten können nicht direkt miteinander reden.
Was bedeutet das für Tensor-Parallel-Betrieb? Jeder All-Reduce, jeder Gradientenaustausch, jede zwischen den Karten synchronisierte Aktivierung muss über den Host-Speicher laufen:
GPU 0 → PCIe → Host-Speicher → PCIe → GPU 1
Ein Reduce-Schritt kostet also mindestens zwei Bus-Durchläufe. Das ist langsamer als NVLink um Faktoren, aber bei schnellem Host-Speicher noch akzeptabel.
Der Host-Speicher ist halb leer
Das eigentliche Problem sitzt nicht in den GPUs, sondern in der Speicherbestückung des Hosts. Das Board bietet sechs DDR5-Kanäle, wir haben aber nur zwei 16-GB-Module installiert. Damit sind nur zwei von sechs Kanälen aktiv.
Gemessen ergibt das etwa 110 GB/s statt der theoretisch möglichen ~230 GB/s bei sechs bestückten Kanälen. Der Wert ist stabil reproduzierbar, und er ist der Grund, warum Tensor-Parallel auf vier Karten nicht so schnell ist, wie die reine GPU-Leistung verspricht.
Warum das bei MoE besonders wehtut
Ein dichtes Modell wie Qwen3.8-27B hält seine Gewichte im GPU-VRAM und kommuniziert hauptsächlich Aktivierungen zwischen den Karten. Ein MoE-Modell mit großen Experten-Routern und ggf. zusätzlichen Embedding-Tabellen bewegt deutlich mehr Daten. Qwen3.8-Flash-Next mit seinen 51 Milliarden N-Gram-Embeddings wäre ein typischer Kandidat, der den Host-Speicherbus intensiver nutzt.
Auch Prefix-Caching profitiert von schnellem Host-Speicher: der verwaltete KV-Cache muss schnell allokiert und freigegeben werden können. Ein langsamer Speicherbus macht sich als höhere Latenz beim Start neuer Anfragen bemerkbar.
Was wir daraus lernen
- Zuerst messen, dann kaufen: Bevor wir eine fünfte Karte in Betracht gezogen hätten, haben wir gemessen. Das Ergebnis: mehr GPUs helfen nicht, wenn der Bus der Flaschenhals ist.
- Speicherkanäle sind kein Nice-to-have: Bei Multi-GPU-Inferenz mit Tensor-Parallel ist der Host-Speicherbus Teil des kritischen Pfades. Jeder ungenutzte Kanal ist verlorene Bandbreite.
- Konsolidieren vor Erweitern: Eine einzelne, schnell angebundene GPU ist oft effizienter als vier Karten, die über einen halbierten Bus kommunizieren müssen. Für unsere Vision- und Reasoning-Lane reicht die aktuelle Konfiguration; für größere MoE-Modelle wird der Speicherausbau die nächste logische Stufe.
Unsere Sicht
Die RTX 5090 ist eine beeindruckende Consumer-Karte, aber sie ist nicht als Multi-GPU-Inferenz-Baustein ausgelegt. Wer sie so einsetzt, muss den gesamten Datenpfad im Blick haben, und der führt über den Host-Speicherbus. In unserem Fall kostet die halbierte DRAM-Bandbreite mehr Durchsatz als fehlende GPU-Kerne. Der nächste sinnvolle Upgrade ist deshalb kein Chip, sondern Speicher.
Weiterführende Quellen
Warum ist DRAM-Bandbreite bei 4× RTX 5090 wichtiger als TFLOPS?+
Tensor-Parallel-Betrieb zwischen vier GPUs erfordert ständigen Datenaustausch. Weil die RTX 5090 keinen Peer-to-Peer-Transfer unterstützen, läuft jeder All-Reduce über den Host-Speicher. Wenn der Host-Speicherbus nur zwei statt sechs DDR5-Kanäle nutzt, fällt die verfügbare Bandbreite fast auf die Hälfte, und genau dort entsteht der Flaschenhals, nicht auf den CUDA-Kernen.
Was bedeutet 'kein P2P' für Tensor-Parallel?+
Bei professionellen Karten wie H100 oder A100 tauschen GPUs Daten direkt über NVLink aus. Bei der RTX 5090 fehlt NVLink; der Datenaustausch zwischen den Karten geht über den PCIe-Bus in den Host-Speicher und zurück. Jeder All-Reduce-Schritt kostet damit zwei Bus-Durchläufe, einmal schreiben, einmal lesen.
Wie viel Bandbreite verlieren wir durch die halb bestückten Kanäle?+
Gemessen liegen wir bei etwa 110 GB/s statt der möglichen ~230 GB/s bei sechs bestückten DDR5-4800-Kanälen. Das ist kein theoretischer Wert, sondern eine echte Drossel, die sich in der Latenz und im Durchsatz bemerkbar macht; besonders bei MoE-Modellen, die viel zwischen Host und Device hin- und herladen.
Lohnt sich der Ausbau auf sechs Speicherkanäle?+
Für unseren aktuellen Qwen3.8-27B-FP8 ist der Flaschenhals spürbar, aber nicht tödlich. Wenn Qwen3.8-Flash-Next oder andere MoE-Modelle mit hohem Speicherdatenverkehr dazukommen, wird der Ausbau der Speicherkanäle die kostengünstigste Upgrade-Option, deutlich günstiger als mehr GPUs.