senn-tech4× RTX 5090: Wenn DRAM-Bandbreite der echte Flaschenhals ist
Unser Inferenz-Host kipc5090 (192.168.180.3) trägt vier RTX 5090 mit je 32 GB VRAM — insgesamt 128 GB Grafikspeicher. Eigentlich genug, um fast jedes offene Modell der Welt lokal zu betreiben. Doch die Praxis zeigt: wer rechnet, kommt an einem unerwarteten Limit an.
Das Setup
- Mainboard: ASRockRack SIENAD8-2L2T
- CPU: AMD EPYC 8024P (8 Kerne)
- GPUs: 4× NVIDIA GeForce RTX 5090, je 32 GB GDDR7
- Treiber: NVIDIA 580.173.02, CUDA 13.0
- Speicher: 2× 16 GB DDR5-4800 ECC UDIMM
- Betrieb: vLLM mit Tensor-Parallel-Größe 4 über alle vier Karten
Aktuell läuft dort Qwen3.8-27B-FP8 als konsolidierte Lane für Text, Reasoning und Vision.
Kein P2P
Die RTX 5090 ist eine Consumer-Karte. Sie hat kein NVLink, kein NVSwitch, keinen Peer-to-Peer-Datentransfer. nvidia-smi topo zeigt NS (No Single Root) oder CNS — die Karten können nicht direkt miteinander reden.
Was bedeutet das für Tensor-Parallel-Betrieb? Jeder All-Reduce, jeder Gradientenaustausch, jede zwischen den Karten synchronisierte Aktivierung muss über den Host-Speicher laufen:
GPU 0 → PCIe → Host-Speicher → PCIe → GPU 1
Ein Reduce-Schritt kostet also mindestens zwei Bus-Durchläufe. Das ist langsamer als NVLink um Faktoren, aber bei schnellem Host-Speicher noch akzeptabel.
Der Host-Speicher ist halb leer
Das eigentliche Problem sitzt nicht in den GPUs, sondern in der Speicherbestückung des Hosts. Das Board bietet sechs DDR5-Kanäle, wir haben aber nur zwei 16-GB-Module installiert. Damit sind nur zwei von sechs Kanälen aktiv.
Gemessen ergibt das etwa 110 GB/s statt der theoretisch möglichen ~230 GB/s bei sechs bestückten Kanälen. Der Wert ist stabil reproduzierbar — und er ist der Grund, warum Tensor-Parallel auf vier Karten nicht so schnell ist, wie die reine GPU-Leistung verspricht.
Warum das bei MoE besonders wehtut
Ein dichtes Modell wie Qwen3.8-27B hält seine Gewichte im GPU-VRAM und kommuniziert hauptsächlich Aktivierungen zwischen den Karten. Ein MoE-Modell mit großen Experten-Routern und ggf. zusätzlichen Embedding-Tabellen bewegt deutlich mehr Daten. Qwen3.8-Flash-Next mit seinen 51 Milliarden N-Gram-Embeddings wäre ein typischer Kandidat, der den Host-Speicherbus intensiver nutzt.
Auch Prefix-Caching profitiert von schnellem Host-Speicher: der verwaltete KV-Cache muss schnell allokiert und freigegeben werden können. Ein langsamer Speicherbus macht sich als höhere Latenz beim Start neuer Anfragen bemerkbar.
Was wir daraus lernen
- Zuerst messen, dann kaufen: Bevor wir eine fünfte Karte in Betracht gezogen hätten, haben wir gemessen. Das Ergebnis: mehr GPUs helfen nicht, wenn der Bus der Flaschenhals ist.
- Speicherkanäle sind kein Nice-to-have: Bei Multi-GPU-Inferenz mit Tensor-Parallel ist der Host-Speicherbus Teil des kritischen Pfades. Jeder ungenutzte Kanal ist verlorene Bandbreite.
- Konsolidieren vor Erweitern: Eine einzelne, schnell angebundene GPU ist oft effizienter als vier Karten, die über einen halbierten Bus kommunizieren müssen. Für unsere Vision- und Reasoning-Lane reicht die aktuelle Konfiguration; für größere MoE-Modelle wird der Speicherausbau die nächste logische Stufe.
Unsere Sicht
Die RTX 5090 ist eine beeindruckende Consumer-Karte, aber sie ist nicht als Multi-GPU-Inferenz-Baustein ausgelegt. Wer sie so einsetzt, muss den gesamten Datenpfad im Blick haben — und der führt über den Host-Speicherbus. In unserem Fall kostet die halbierte DRAM-Bandbreite mehr Durchsatz als fehlende GPU-Kerne. Der nächste sinnvolle Upgrade ist deshalb kein Chip, sondern Speicher.
Weiterführende Quellen
Warum ist DRAM-Bandbreite bei 4× RTX 5090 wichtiger als TFLOPS?+
Tensor-Parallel-Betrieb zwischen vier GPUs erfordert ständigen Datenaustausch. Weil die RTX 5090 keinen Peer-to-Peer-Transfer unterstützen, läuft jeder All-Reduce über den Host-Speicher. Wenn der Host-Speicherbus nur zwei statt sechs DDR5-Kanäle nutzt, fällt die verfügbare Bandbreite fast auf die Hälfte — und genau dort entsteht der Flaschenhals, nicht auf den CUDA-Kernen.
Was bedeutet 'kein P2P' für Tensor-Parallel?+
Bei professionellen Karten wie H100 oder A100 tauschen GPUs Daten direkt über NVLink aus. Bei der RTX 5090 fehlt NVLink; der Datenaustausch zwischen den Karten geht über den PCIe-Bus in den Host-Speicher und zurück. Jeder All-Reduce-Schritt kostet damit zwei Bus-Durchläufe — einmal schreiben, einmal lesen.
Wie viel Bandbreite verlieren wir durch die halb bestückten Kanäle?+
Gemessen liegen wir bei etwa 110 GB/s statt der möglichen ~230 GB/s bei sechs bestückten DDR5-4800-Kanälen. Das ist kein theoretischer Wert, sondern eine echte Drossel, die sich in der Latenz und im Durchsatz bemerkbar macht — besonders bei MoE-Modellen, die viel zwischen Host und Device hin- und herladen.
Lohnt sich der Ausbau auf sechs Speicherkanäle?+
Für unseren aktuellen Qwen3.8-27B-FP8 ist der Flaschenhals spürbar, aber nicht tödlich. Wenn Qwen3.8-Flash-Next oder andere MoE-Modelle mit hohem Speicherdatenverkehr dazukommen, wird der Ausbau der Speicherkanäle die kostengünstigste Upgrade-Option — deutlich günstiger als mehr GPUs.