Llmspeed nachgemessen: Die Tempo-Schätzung für lokale LLMs und unsere Messwerte auf R9700 und RTX 5090

Am 17. Oktober brachte es ein Show HN auf Hacker News auf 322 Punkte und 86 Kommentare. Die Seite dahinter, Llmspeed, zeigt für 30 Grafikkarten, Macs und CPUs an, wie schnell 15 populäre Modelle darauf laufen, samt Wartezeit bis zum ersten Token; ein Chatfenster spielt die Antwort im simulierten Tempo ab. Dahinter steht ein Open-Source-Projekt unter MIT-Lizenz, das ein einzelner Entwickler seit Ende August baut. Zwei der gezeigten Karten haben wir im Haus und am 16. Oktober gegeneinander gemessen: die Radeon AI PRO R9700 mit 32 GB und die RTX 5090 mit 32 GB. Dieser Post hält die Schätzung der Seite unserer Messung gegenüber und sortiert, was man davon brauchen kann.

Was die Seite anzeigt

Pro Karte listet Llmspeed jedes Modell in der besten Quantisierung, die in den Speicher passt, mit Generierungstempo, Zeit bis zum ersten Token und Status: passt, teils ausgelagert oder läuft nicht. Dazu ein Rennmodus für zwei Setups nebeneinander. Als Backends gelten CUDA, Metal, ROCm, Vulkan und CPU.

Unter den Zahlen liegt ein Rechenmodell, das der Autor im README offenlegt: Die Generierungsgeschwindigkeit ist über die Speicherbandbreite begrenzt, weil jedes Ausgabe-Token die aktiven Gewichte einmal liest; bei Mixture-of-Experts-Modellen zählen nur die aktiven Parameter. Die Prompt-Vorverarbeitung läuft über die Rechenleistung, beides mit Wirkungsgradfaktor pro Backend und Bremsung bei wachsendem Kontext. Die Speicherprüfung rechnet Gewichte plus KV-Cache plus Überhang gegen 93 Prozent des Grafikspeichers bei diskreten Karten, bei Macs gegen rund 75 Prozent des geteilten Speichers. Alles darüber gilt als nicht lauffähig oder als Teil-Auslagerung.

Die Vertrauenslabels in der Datendatei

Jede Zahl trägt ein Label: gemessen, abgeleitet oder projiziert. Die generierte Datendatei des Projekts vom 17. Oktober (388 KB JSON, von Hand nachgezählt am 19. Oktober) zeigt die Größenordnung: Von 2079 Kombinationen aus Karte und Modell stammen 81 aus echten Messungen, 675 sind aus ähnlichen Setups abgeleitet, 1323 stehen auf nicht lauffähig. Gerechnete Zellen sind die Regel, gemessene die Ausnahme.

Gemessen wird nach Beitragsstandard mit llama.cpp-eigenem llama-bench: 512 Prompt-Tokens, 128 Ausgabetokens. Kurzer Prompt, kurze Antwort, kein Spekulativ-Decoding. Wer eine abgeleitete Zelle mit einer langen Agentensitzung vergleicht, vergleicht verschiedene Prüfungen.

Beispiel R9700 und Qwen 3.8 27B in Q4_K_M: Llmspeed nennt 25 Tokens pro Sekunde. Die Datenzelle selbst heißt derived, ihr Band reicht von 12,3 bis 37,0; die 25 sind die Mitte. Für die RTX 5090 nennt die Seite 46, das Band reicht von 22,3 bis 70,6. Ein Blick aufs Band gehört zu diesen Zahlen dazu, der Autor schreibt selbst: Treiber, Engine-Version, Flash Attention, Leistungsgrenze und Thermik verschieben echte Werte um 10 bis 30 Prozent.

Zwei Karten, dieselbe Datei: Schätzung gegen Messung

Unsere Vergleichsmessung vom 16. Oktober 2026 füttert beide Karten mit derselben Datei: das dichte Qwen3.8-27B als IQ4_XS mit 17,03 GB, llama.cpp mit -ngl 99 -fa on, 262.144 Kontext, eine Sequenz, MTP-Anahme an, im Leerlauf gemessen. Die R9700 erreichte dabei 41 bis 45 Tokens pro Sekunde (MTP-Tiefe 3), die RTX 5090 120 bis 146 (MTP-Tiefe 4). Die Bedingungen der Schätzung sind verschieden: kurze Prompts statt 262k Kontext, Q4_K_M statt IQ4_XS, kein Spekulativ-Decoding. Genau daraus erklärt sich der Abstand zwischen Schätzung und Messung: Die Drafting-Anahme allein verdoppelt bei uns den Einzelstrom, wir haben das am 18. Oktober auf der Produktivlane nachgerechnet (104 auf 217 Tokens pro Sekunde).

Aufschlussreich ist der Abstand zwischen den Karten, den beide Quellen für dieselbe Kauffrage behaupten. Llmspeed sagt: Die 5090 läuft das 1,8-Fache der R9700. Unsere Messung mit identischer Datei und identischer Engine sagt: das 3,1-Fache. Zwei Einschränkungen bleiben in unserer eigenen Zahl stehen: Die 41 bis 45 gelten für unsere ROCm-Konfiguration, Dritte messen die Karte auf dem Vulkan-Backend rund ein Drittel schneller, unsere zwei Vulkan-Versuche endeten mit abstürzendem Treiber. Auch mit diesen Unsicherheiten bleibt die Richtung: Der Abstand ist größer, als die Schätzung zeigt, und die abgeleitete Zelle der AMD-Karte ist genau die Zahl, auf die jemand ohne eigene Messung hereinfällt.

Won't run ist eine Regel, kein physikalisches Urteil

Die Zeile Qwen3.8-Flash-Next (125 Milliarden Parameter, Mixture-of-Experts-Architektur) steht auf der R9700 wie auf der RTX 5090 in jeder Quantisierung auf Won't run. Wir fahren das Modell produktiv auf vier RTX 5090 mit Tensor-Parallelismus, inklusive NVFP4-KV-Cache, und haben am 18. Oktober den Umbau der Lane beschrieben. Llmspeed rechnet bewusst einzelne Geräte; Mehrkarten-Setups nennt das README als nicht simuliert.

Der Fit-Test selbst ist am 17. Oktober im Issue-Tracker des Projekts unabhängig überprüft worden: Ein Nutzer legte ein 46,6-GB-Modell (80B A3B, Q4_K_M) auf eine 16-GB-Karte, die die Seite als nicht lauffähig ausweist, und erreichte mit 10,5 GB großem Expert-Cache 80,7 Tokens pro Sekunde (Issue 1, Community-Messung mit Protokoll). Die Kritik zielt auf die Teil-Auslagerung, die das Rechenmodell über die System-RAM-Bandbreite statt über einen Expert-Cache rechnet. Dazu passt das Stimmen-Muster aus der Hacker-News-Diskussion: mehrere Nutzer berichten Flash-Next auf 16-GB-Karten laufend, weil sich die großen Einbettungs-Matrizen auf SSD auslagern lassen. Won't run heißt bei Llmspeed also: nicht in Standardkonfiguration auf diesem einen Gerät. Wer MoE-Modelle mit Expert-Cache oder Mehrkarten-Betrieb plant, darf die Zeilen nicht als Ausschlusskriterium lesen.

Was die Community sonst noch anmerkt

Die Kritikpunkte aus Hacker News und den offenen Issues sind bescheiden und nachvollziehbar: keine Mehrkarten-Setups (eigener Feature-Request vom 17. Oktober), kein Spekulativ-Decoding, kein langer Kontext, keine parallelen Nutzer. Ein Nutzer mit M2 Ultra meldet, seine Karte laufe fast doppelt so schnell, als die Schätzung für den M3 Ultra mit 512 GB ausweist; das ist ein Einzelnutzer-Bericht, keine Nachprüfung durch uns. Der Autor antwortet auf praktisch jeden Kommentar und schob am 18. Oktober neue Messwerte nach. Stand 19. Oktober: 108 Sterne, zwei offene Issues, ein Maintainer, Datensatz zuletzt am 17. Oktober generiert. Nach sieben Wochen Bauzeit von einer Person ist das eine ruhige, dokumentierte Baustelle. Zahlen mit Label derived oder projected stehen dabei und fallen mit der Evidenz, die die Community beisteuert.

Vor dem Kauf messen lassen, nicht nur fühlen

Unsere Empfehlung nach dem Abgleich: Llmspeed taugt für die Vorauswahl und für Gespräche über Local KI, weil es Größenordnungen, Wartezeit bis zum ersten Token und Speicherfrage in einer Minute erzählt und die Rennansicht Kaufentscheidungen greifbar macht. Kaufentscheidungen darauf abzustützen ist wacklig, solange die konkrete Zelle abgeleitet ist und das eigene Setup (Drafting, Kontextlänge, Kartenanzahl, Backend) nicht darstellt. Die drei Schritte, die wir vor einer eigenen Bestellung machen:

1. Auf der Testkarte dasselbe llama-bench-Protokoll wie der Beitragsstandard fahren: llama-bench -m datei.gguf -p 512 -n 128.
2. Einen echten Agentenlauf im geplanten Kontextbereich fahren, weil dort Prefill, KV-Cache und Drafting zusammenwirken.
3. Angebote pro geliefertes Token rechnen, nicht pro Karte. Wie das geht, steht bei unserem Preis-pro-Token-Vergleich, bei Was ein KI-Modell wirklich kostet und, für Macs und DGX Spark, hier.

Weiterführende Quellen

• Llmspeed: Radeon R9700, 15 Modelle mit Tempo, Fit und erster Token-Laufzeit (abgerufen 19. Oktober 2026)
• Llmspeed: RTX 5090, dieselbe Tabelle (abgerufen 19. Oktober 2026)
• Datensatz app-data.json, generiert 17. Oktober 2026 mit den Vertrauenslabels
• README mit Rechenmodell, Labels und Beitragsstandard (abgerufen 19. Oktober 2026)
• Issue 1: Ein als nicht lauffähig markiertes Setup erreicht 80,7 Tokens pro Sekunde (17. Oktober 2026)
• Hacker-News-Diskussion zur Show-HN-Ausgabe (17. Oktober 2026, 322 Punkte)
• AMD-Produktdaten R9700 und NVIDIA-Produktdaten RTX 5090 (Herstellerangaben, abgerufen 19. Oktober 2026)