Der Engpass sitzt im Arbeitsspeicher: Was ein RAM-Test über lokale KI-Agenten verrät
AMD hat auf der IFA die Threadripper Halo Station gezeigt: eine Workstation für lokale Modelle mit bis zu 576 Gigabyte Grafikspeicher (bei vier Karten) und bis zu zwei Terabyte Arbeitsspeicher. Einen Termin nennt AMD laut TechSpot nicht, itdaily schreibt von einem Marktstart 2027; TechSpot rechnet 576 Gigabyte mit vier Karten, itdaily mit zwei (IFA-Bericht, Spezifikationsübersicht). Auf den ersten Blick wirkt das wie Angeberei. Wer mit lokalen Modellen arbeitet, weiß doch: Es kommt auf die Grafikkarte an. Genau diese Annahme hat der Technik-Kanal Alex Ziskind in einem Video vom 5. November umgedreht: Nach seiner Darstellung hat er für diesen Test den Arbeitsspeicher getauscht: 128 Gigabyte raus, 256 Gigabyte rein, dasselbe Modell. Die Videobeschreibung erwähnt zusätzlich, dass er zwei RTX PRO 6000 ausgebaut hat; ob der übrige Testaufbau gleich blieb, haben wir nicht nachgeprüft. Die Zahl, die hängen bleibt: Ein Durchlauf mit zwölf Coding-Agenten brauchte vorher 85 Minuten und brachte zwei von zwölf Aufträgen zu Ende. Nach dem Umbau: 59 Minuten, zwölf von zwölf. Beide Läufe enden unterschiedlich, die Minuten sind deshalb kein Vergleich gleicher Arbeit. Alle Videozahlen in diesem Beitrag sind vom Tester berichtet (Status: reported), ein Transkript lag uns nicht vor.
Kurz erklärt, was ein geparkter Kontext ist: Von einem geparkten Kontext spricht man, wenn die Gesprächsgeschichte eines KI-Agenten zwischen zwei Rechenschritten im Arbeitsspeicher der Maschine zwischengelagert wird, statt sie bei jedem Schritt neu ins Modell zu kippen. Ein Agent, der auf seine nächste Tool-Antwort wartet, belegt damit RAM, aber keine Rechenzeit auf der Grafikkarte. Wie viele Agenten eine Maschine gleichzeitig bedienen kann, hängt deshalb an zwei Stellen ab: an den Speicher-Slots der Grafikkarte und an der RAM-Größe des Rechners. Was davon zuerst zugeht, ist eine Messfrage, keine Glaubensfrage.
Was gemessen wurde
Der Tester ließ eine wachsende Zahl echter Coding-Agenten gegen ein lokales Modell laufen und zählte, wie viele Aufträge in einer festen Frist fertig werden. Zwischen den Gesprächsrunden parkten die Konversationen im Arbeitsspeicher. Die Ergebnisse laut Video: Acht Agenten auf einem 32-Gigabyte-R9700-Setup: 7 Token pro Sekunde im Schnitt, alle fertig. Zwölf und 16 Agenten mit 128 Gigabyte RAM: 30 Mal wurde ein geparkter Kontext aus dem Speicher verdrängt, zehn von zwölf Aufträgen scheiterten, der Durchlauf dauerte 85 Minuten. Nach dem Tausch auf 256 Gigabyte: null Verdrängungen, alle zwölf fertig, 59 Minuten. Der RAM-Verbrauch peakte bei etwa 150 Gigabyte, nach unserer Lesart auf der 256-Gigabyte-Bestückung, denn auf 128 Gigabyte ist dieser Wert physisch nicht erreichbar; das Video haben wir dafür nicht Bild für Bild nachgeprüft. Die Rechengeschwindigkeit pro Token blieb unverändert bei rund 7 Token pro Sekunde. Swap-Aktivität zeigte die Maschine über die ganze Zeit keine, die CPU lag bei etwa sechs Prozent Auslastung. Verdrängung und Wiederaufbau sind damit die naheliegende Erklärung; bewiesen ist das nicht, weil sich beim Umbau auch die Grafikkarten änderten.
Dazu passt ein zweiter Messpunkt aus demselben Video: Auf einer 32-Gigabyte-Profikarte ließ der Tester ein Mixture-of-Experts-Modell mit 124 Milliarden Parametern laufen, Ling 3.0 Flash von InclusionAI, das pro Token nur rund fünf Milliarden Parameter aktiviert. Nur gut 5 Gigabyte davon lagen auf der Karte, etwa 90 Gigabyte im Arbeitsspeicher, und die Ausgabegeschwindigkeit lag bei 38 Token pro Sekunde. Wer so ein Modell mit einem normalen Kartenbestand betreiben will, braucht nach diesem einen Messpunkt in erster Linie RAM-Kanäle und RAM-Volumen, keine zweite Rechenkarte.
Die Rechnung gegen unsere eigene Flotte
Solche Zahlen aus einem einzelnen Video sind ein Hinweis, kein Beweis. Also die Frage: Wie sieht der Arbeitsspeicher bei uns aus? Gemessen am 15. November 2026 per SSH, nur lesend, auf zwei Hosts: free -b und /proc/meminfo für den Host, docker stats --no-stream für den größten Container, dmidecode -t memory für die Bestückung. Einheit GiB.
| Host und Rolle | VRAM | RAM gesamt | größter Container |
|---|---|---|---|
| Inferenz-Host, 4 × RTX 5090, vLLM | 4 × 32 GB | 91,8 | 86,0 |
| Gateway-Host, LiteLLM-Router | keiner | 26,9 | 1,1 |
Auf dem Inferenz-Host belegt ein einziger vLLM-Container 86,0 von 91,8 GiB, und free meldet nur rund 1,3 GiB als verfügbar. Zwei Einschränkungen: docker stats zählt Seitencache und gemeinsamen Speicher mit, und der Host meldet 64,9 GiB als Shmem. Woraus sich dieser Anteil zusammensetzt, haben wir nicht aufgeschlüsselt. Belegt ist nur: Auf dieser Maschine ist der Arbeitsspeicher knapp, auf dem Gateway nicht. Bei einer früheren Messung am 7. November lag derselbe Container bei 82,8 GiB, der Wert schwankt also. Die Bestückung: sechs Module zu 16 GB, laut dmidecode je eines pro Kanal, mit 4.800 MT/s konfiguriert bei 5.600 MT/s Modulnennwert (EPYC 8024P, nach unserem Wissen sechs Speicherkanäle, bei AMD nicht erneut nachgesehen).
Was das für die eigene Maschine heißt
Unsere Reihenfolge beim Kauf von Rechenkapazität für Agenten-Betrieb lautet damit: erst prüfen, ob das Modell samt Vorverarbeitung in den RAM passt, dann prüfen, wie viele Sessions gleichzeitig laufen sollen, und erst zuletzt über die nächste Grafikkarte nachdenken. Ein zweiter, gern übersehener Punkt ist die Breite der Speicheranbindung. Bei unserer Inferenz-Maschine ist jeder Kanal mit einem Modul belegt, dort gibt es nichts nachzurüsten. Wer eine lokale KI im Betrieb plant, sollte die RAM-Bestückung samt Kanalzahl im Angebot ausdrücklich einfordern.
Die Methodik lässt sich übrigens nachbauen: Der Tester hat seinen Benchmark als Agent Headroom auf GitHub veröffentlicht (Apache-2.0, angelegt am 31.10.2026), fünf Tests, darunter einer für im Hauptspeicher warm gehaltene Agenten-Kontexte. Am 15.11.2026 steht das Projekt bei 19 Sternen, Version 0.1.0 laut README: ein brauchbarer Rohbau, nicht mehr. Aber er misst genau die Größe, die in jeder Produktseite fehlt: wie viel Agenten-Arbeit zwischen GPU-Slots und Arbeitsspeicher wirklich durch die eigene Maschine passt. Wer die eigene Kapazität mit uns ausmessen will, findet das unter Unternehmens-KI als Beratungsleistung: Modellwahl, Speicherplanung, Inbetriebnahme, Betrieb.
Weitere Messwerte zur Kapazität lokaler KI sammelt die Themenseite Lokale KI und GPU-Hardware.
Erst RAM-Kanäle, dann die nächste Karte
Zwei Terabyte Arbeitsspeicher bewirbt AMD für die Halo Station (itdaily, Marktstart 2027; TechSpot nennt 2 TB als Maximum des Prozessors). Die Frage nach der lokalen KI-Maschine lässt sich damit nicht mehr mit der Kartengröße allein beantworten. Die Messung aus dem Video ist einfach gebaut, die Richtung ist plausibel, nachgeprüft haben wir nur unseren eigenen RAM-Stand: Der Arbeitsspeicher entscheidet, welche und wie viele Agenten laufen, die Grafikkarte entscheidet, wie schnell es pro Token vorangeht. Für den eigenen Kauf heißt das: RAM-Budget und Speicherkanäle vor der nächsten Karte, und vor jedem Umbau eine eigene Messung, was die Last wirklich belegt.
Offene Punkte: Die Zahlen aus dem Video (85 und 59 Minuten, 30 Verdrängungen, 150 Gigabyte Peak, 7 und 38 Token pro Sekunde, 90 Gigabyte im RAM) konnten wir nicht nachprüfen: kein Transkript, die Videobeschreibung nennt sie nicht. Ob an den Grafikkarten zwischen den Läufen etwas geändert wurde, ist offen. Für Ling 3.0 Flash bestätigt die Modellkarte 124 Milliarden Parameter gesamt und 5,1 Milliarden aktiv, nicht die Aufteilung zwischen Karte und RAM. Die Zusammensetzung der 64,9 GiB Shmem auf dem Inferenz-Host und die Kanalzahl der CPU laut AMD sind nicht geprüft. Das Datum des TechSpot-Berichts war von hier nicht lesbar.
Weiterlesen: NVIDIA Snapshot: Restore gegen Kaltstart · AMD EPYC 9006 Venice mit 256 Kernen · Nod von n8n Labs im Eigenbetrieb · DSpine als Draft-Baustein für Qwen3.8-27B
Weiterführende Quellen
Status je Quelle: verified = von uns am 15.11.2026 abgerufen und gegengelesen, reported = Aussage Dritter, derived = von uns abgeleitet.
- Alex Ziskind, Video vom 5. November 2026 – reported: Messung mit 128 und 256 Gigabyte RAM; Titel, Datum und Kapitel verified, die Zahlen selbst nicht
- Agent Headroom auf GitHub – verified: Apache-2.0, Version 0.1.0, fünf Tests, 19 Sterne am 15.11.2026, angelegt am 31.10.2026
- Ling 3.0 Flash auf Hugging Face – verified: 124 Milliarden Parameter gesamt, 5,1 Milliarden aktiv, MIT-Lizenz
- TechSpot zur Halo Station – verified (Abruf über Browser-Werkzeug, direkt 403): 576 Gigabyte HBM3E bei vier Karten, bis 2 TB DDR5 beim Prozessor, kein Termin
- itdaily zur Halo Station – verified: bis zu 2 TB RDIMM, Marktstart 2027, 576 Gigabyte bei zwei Karten
- Eigene Messung 15.11.2026, derived:
free -b,/proc/meminfo,docker stats --no-stream,dmidecode -t memoryauf Inferenz- und Gateway-Host, nur lesend
Braucht mein Firmen-LLM 256 Gigabyte RAM?+
Nein. Die Zahl gehört einem Experiment mit vielen parallel laufenden Coding-Agenten. Für einen normalen Betriebsschritt gilt die Reihenfolge: erst die Gewichte zählen, dann den Mehrbedarf für Kontext und Vorverarbeitung, dann aufrunden. Eine feste Faustregel geben wir nicht: Auf unserem eigenen Inferenz-Host belegt ein einziger vLLM-Container 86 von 91,8 GiB (inklusive Seitencache), obwohl das Modell auf die Karten passt. Eng wird es bei vielen gleichzeitigen Sessions oder ausgelagerten Gewichten.
Warum liefen die Agenten mit mehr RAM so anders?+
Laut Video flogen beim alten Aufbau die zwischengespeicherten Gespräche der Agenten aus dem RAM, und jede verdrängte Unterhaltung musste komplett neu aufgebaut werden. Mehr RAM verhindert dieses Hin und Her. Die Geschwindigkeit pro Token blieb nach Angabe des Testers gleich. Die beiden Läufe enden aber verschieden: 2 von 12 Aufträgen fertig gegen 12 von 12, die Laufzeiten sind daher nicht direkt vergleichbar. Dass sonst nichts am Aufbau geändert wurde, ist nicht belegt, die Videobeschreibung nennt zwei ausgebaute RTX PRO 6000.
Lohnt sich mehr RAM vor einer zweiten Grafikkarte?+
Wenn mehrere Leute oder Agenten das Modell gleichzeitig nutzen und der Arbeitsspeicher dabei an seine Grenze kommt: wahrscheinlich ja, denn RAM kostet pro Gigabyte deutlich weniger als VRAM (Preise haben wir nicht nachgerechnet). Wenn ein einzelner Nutzer nur auf Tempo wartet, bringt eine schnellere Karte oder ein kleineres Modell mehr.
senn-tech