Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI-Hardware
Lokale KI und GPU-Hardware2026-11-22· Von Franz Senn

Inkling 2 Mini auf zwei Radeon-Karten: Tempo, Kontext und eine PDF-Extraktion

Thinking Machines hat Inkling 2 Mini am 20. November 2026 mit offenen Gewichten freigegeben. Wir haben das Modell am 21. und 22. November auf einem Linux-Host mit zwei AMD Radeon AI PRO R9700 gemessen: 18 von 21 Tests bestanden, 34,4 bis 39,6 Token pro Sekunde auf einer Karte, 512.000 Token Kontext nur mit beiden Karten. Bei der Extraktion aus PDFs störte das Denken, das sich nicht abschalten lässt.

Speculative Decoding mit DSpark heißt: Ein kleines Entwurfsmodell (hier 0,4 GB als Q8-Datei) rät mehrere Token voraus, das große Modell prüft sie in einem Schritt und übernimmt die richtigen. Das beschleunigt die Ausgabe, ohne den Inhalt zu ändern, solange das große Modell jeden Vorschlag bestätigt. Wie viele Token der Entwurf je Schritt rät, stellt der Parameter n ein.

Logo von Thinking Machines Lab
Thinking Machines Lab hat Inkling 2 Mini gebaut und am 20. November 2026 freigegeben. (Quelle: Wikimedia Commons, gemeinfrei (Urheberangabe: Thinking Machines Lab))
Logo von AMD
AMD stellt die Radeon AI PRO R9700 her. Alle Messwerte in diesem Beitrag sind unsere eigenen. (Quelle: Simple Icons, Datei amd.svg (CC0), Marke: AMD)

Was der Hersteller sagt

Die Modellkarte (abgerufen 22.11.2026) nennt 26,4 Milliarden Parameter, 3,4 Milliarden aktiv, bei drei Durchläufen der mittleren zwölf Schichten 5,4 Milliarden wirksame aktive Parameter je Token, einen Kontext bis 1 Million Token, Apache 2.0 und einen Checkpoint von rund 20 GB in NVFP4 und MXFP8. Für lokale Läufe nennt sie 32 GB oder mehr VRAM und führt llama.cpp mit GGUF-Dateien als unterstützt auf. Unter den bekannten Schwächen steht zweierlei, das für uns zählte: Der kleinste Wert für den Denkaufwand schalte das Denken nicht vollständig ab, und die Geschwindigkeit lokaler Laufzeiten schwanke je nach Runtime und Hardware. Die Architektur und die Speichermaße des Checkpoints behandelt der Beitrag zum Passt-der-Test für Inkling 2 Small für die große Schwester; hier geht es nur um das, was wir selbst gemessen haben.

Aufbau der Messung

Geräteklasse: ein Linux-Host mit zwei AMD Radeon AI PRO R9700 (je rund 32 GB VRAM). Software: der Unsloth-Fork von llama.cpp, Release b12588, ROCm-Build für gfx120X, Gewichte als Unsloth-GGUF in Q4 (UD-Q4_K_XL, 17,6 GB), dazu der Vision-Projektor und der DSpark-Entwurf. Die Radiance-Engine, mit der wir sonst auf diesen Karten fahren, kann das Modell nicht laden, weil der Checkpoint NVFP4 und MXFP8 benutzt. Die frühere Messung mit Radiance betrifft ein anderes Modell und eine andere Engine; die Zahlen sind nicht vergleichbar.

Messdatum 21.11.2026 (Tempo, Kontext, 21er-Batterie) und 22.11.2026 (PDF-Läufe). Je Aufbau ein Lauf, Temperatur 0. Tempo: drei Prompts mit je 600 Ausgabetoken, Median. Qualität: unsere eigene Batterie aus 21 Aufgaben (Rechnen, Code, deutsche Fachtexte, Tool-Aufrufe, Nadelsuche im langen Kontext).

Tempo und Kontext

AufbauKontextEntwurfToken/s (Decode)Messträger
1 Karte, HIP65kkeiner34,4eigene Messung 21.11.2026
1 Karte, HIP65kDSpark n=238,4eigene Messung
1 Karte, HIP65kDSpark n=339,6eigene Messung
1 Karte, HIP65kDSpark n=732,9eigene Messung
1 Karte, HIP131kDSpark n=3, KV q8_038,2eigene Messung
2 Karten, Layer-Split512kDSpark n=332,7eigene Messung
2 Karten, Layer-Split1Mkeiner23,5eigene Messung
1 Karte, Vulkan (RADV)65kkeiner5,6eigene Messung
Decode-Tempo je Aufbau, Inkling 2 Mini auf R97001 Karte, DSpark n=339.6 · 65k Kontext1 Karte, DSpark n=3, 131k38.2 · KV q8_01 Karte, DSpark n=238.41 Karte, ohne Entwurf34.41 Karte, DSpark n=732.92 Karten, 512k, DSpark32.72 Karten, 1M, ohne Entwurf23.51 Karte, Vulkan5.6045
Je ein Lauf mit drei Prompts. Die Aufbauten unterscheiden sich in Kontext und Kartenzahl und sind keine gleichwertigen Vergleiche untereinander. (Quelle: Eigene Messung, 21.11.2026, zwei AMD Radeon AI PRO R9700, llama.cpp b12588, je ein Lauf)

Drei Lesarten daraus. Erstens bringt DSpark mit n=3 gegenüber dem Lauf ohne Entwurf 15 Prozent (39,6 gegen 34,4), mit n=7 dagegen weniger als gar keinen Entwurf (32,9). Wer das vLLM-Rezept mit sieben Entwurfstoken kennt, sollte den Wert nicht auf llama.cpp übertragen: Es ist eine andere Engine. Zweitens kostet jeder Schritt zu mehr Kontext Tempo, aber auf zwei Karten bleibt mit Entwurf bei 512.000 Token (32,7) mehr übrig als ohne Entwurf bei einer Million (23,5). Wir haben beide Werte nicht auf demselben Kontext verglichen. Drittens ist Vulkan mit 5,6 gegenüber 34,4 für HIP bei 65k Kontext rund sechsmal langsamer, eine Sackgasse für diese Karten.

Die Grenzen der Einzelkarte: Ohne Entwurf lief ein Kontext von 262.000 Token, mit Entwurf nur etwa 131.000, bei 196.000 reichte der Speicher nicht. Den Platz frisst ein Rechenpuffer, der am Kontext hängt: Bei 512.000 Token belegt er 15 GB, auch mit kleinerem Batch und quantisiertem KV-Cache. Eine Million Token liefen nur mit Layer-Split auf beiden Karten, und DSpark zusätzlich dazu scheiterte am Speicher. Der Befehl -sm tensor (echte Tensor-Parallelität) meldet für die Architektur noch „not implemented". Beide Karten melden übrigens unterschiedlich viel VRAM (29,9 und 31,9 GiB), die Ursache ist ungeklärt.

Qualität auf der 21er-Batterie

Eine Karte mit 262k Kontext und zwei Karten mit 1 Million Token bestanden jeweils 18 von 21 Aufgaben, dieselben drei scheiterten: eine Skonto-Rechnung und zwei Zählaufgaben im langen Kontext. Qwen3.8-27B kam in unserer früheren Messung ebenfalls auf 18 von 21. Das heißt nicht, dass die Modelle gleich gut sind: 21 Aufgaben mit je einem Lauf unterscheiden zwei Modelle nur grob. Einen Beleg für „besser" liefert diese Batterie nicht.

PDF-Extraktion ohne Denkbremse

Als Praxistest haben wir das Modell Auftragsdokumente in strukturiertes JSON überführen lassen: Text aus 17 PDF-Dokumenten, rund 20 Felder (Parteien, Orte, Termine, Ware, Referenzen), Temperatur 0, höchstens 2.500 Ausgabetoken, Denkaufwand auf „none". Wie die Dokumente aussehen und von wem sie stammen, geben wir nicht an; hier zählen nur Aggregate.

Laufgültiges JSONZeit gesamtAusgabetokenDurchsatzMessträger
1 Anfrage zugleich14 von 171.008 s (59,3 s je Dokument)33.55533,3 tok/seigene Messung 22.11.2026
4 Anfragen zugleich15 von 17619 s31.18550,4 tok/seigene Messung
Bilder statt Text, 4 zugleich, Limit 4.50015 von 17761 s43.08256,6 tok/seigene Messung

Das Modell brauchte im Schnitt 1.974 Ausgabetoken je Dokument (33.555 durch 17). Qwen3.8-27B kam bei denselben Texten und demselben Auftrag mit 520 aus (8.838 Token, 3-Bit-Variante ohne Denkphase, am selben Tag auf einer Karte mit anderer Engine gemessen, nur die Tokenzahl ist vergleichbar). Die Differenz ist Denkzeit, die Inkling trotz „none" aufwendet; die Modellkarte warnt genau davor. Die drei Abbrüche bei 2.500 Token sind deshalb Token-Budget, keine Fehlextraktionen. Parallel arbeiten hilft, aber begrenzt: Vier Anfragen zugleich verkürzten die Gesamtzeit um das 1,6-Fache (1.008 gegen 619 s), je Dokument dauerte die einzelne Anfrage dann im Mittel 142 s.

Zur Güte: Von 278 gelieferten Werten in den 14 auswertbaren Läufen standen 275 wörtlich im PDF-Text (98,9 Prozent). Das ist ein Herkunftstest: Er zeigt, dass das Modell nichts erfunden hat, aber nicht, ob jeder Wert im richtigen Feld steht. Die drei nicht auswertbaren Dokumente fehlen im Nenner; bezieht man sie ein, sind es 14 von 17 nutzbaren Antworten. Beim Lesen der Seitenbilder standen 274 von 293 Werten (93,5 Prozent) im Text, die Fehler waren Lesefehler bei Orts- und Straßennamen und Ziffern. Erster Versuch mit nur 1.500 Token Limit: 4 von 17 Antworten gültig, das Limit war die Ursache.

Was wir nicht wissen

Ein Lauf je Aufbau, keine Streuung. Die 17 Dokumente sind eine kleine Stichprobe aus einem Bereich. Wie sich das Modell bei Dauerlast verhält, haben wir nicht getestet. Die Rohdaten der Tempoläufe liegen nicht als Datei vor, nur das Protokoll. Und gegen die schnelleren Engines für NVIDIA-Karten haben wir nicht gemessen.

Empfehlung

Auf zwei R9700 mit diesem Build: Einzelkarte mit DSpark bei n=3 und Kontext bis etwa 131.000 Token für das schnellste Ergebnis (38 bis 40 Token pro Sekunde), beide Karten mit Layer-Split ab 200.000 Token Kontext. Für Extraktionsaufträge ein Token-Limit von mindestens 4.500 setzen und Antworten, die am Limit enden, als Fehler zählen. Wer mehr Auswahl bei lokalen Karten sucht, findet sie im Themenhub Lokale KI-Hardware, und die Beratung zum Firmen-LLM beantwortet, was ein solches Modell auf Ihren Karten braucht.

Weiterführende Quellen

Fragen?
Läuft Inkling 2 Mini auf AMD Radeon AI PRO R9700?+

Ja, mit einem llama.cpp-Build für ROCm (gfx120X). Auf einer Karte erreichten wir 34,4 Token pro Sekunde, mit DSpark-Entwurf 39,6. Die Radiance-Engine kann den NVFP4/MXFP8-Checkpoint nicht laden, deshalb lief das Modell als Q4-GGUF. Der Vulkan-Build war mit 5,6 Token pro Sekunde rund sechsmal langsamer. Gemessen am 21. November 2026, je ein Lauf.

Wie viel Kontext schafft Inkling 2 Mini auf zwei R9700?+

Mit Layer-Split liefen 1 Million Token ohne Entwurfsmodell (23,5 Token pro Sekunde) und 512.000 Token mit DSpark (32,7). Auf einer Karte kamen wir mit Entwurfsmodell nur auf rund 131.000 Token, bei 196.000 fehlte der Speicher. Grund ist ein Rechenpuffer, der mit dem Kontext wächst. Tensor-Parallelität ist in diesem Build für das Modell nicht implementiert.

Taugt Inkling 2 Mini zur Extraktion strukturierter Daten aus PDFs?+

Nur mit großem Token-Limit. Bei 17 Testdokumenten lieferten 14 gültiges JSON, 3 brachen bei 2.500 Token ab, weil das Modell trotz abgeschaltetem Denken nachdachte. Von 278 gelieferten Werten standen 275 (98,9 Prozent) wörtlich im Quelltext. Das prüft nur die Herkunft der Werte. Eine Stichprobe von 17 Dokumenten ist ein Hinweis, kein Beleg.