Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI-Hardware
Lokale KI und GPU-Hardware2026-11-15· Von Franz Senn

Inkling 2 Small: 366 GiB Gewichte gegen unsere 127 GiB VRAM

Thinking Machines hat Inkling 2 Small am 5. November 2026 angekündigt und die Gewichte am 12. November unter Apache 2.0 auf Hugging Face freigegeben: 594 Milliarden Parameter, davon 17 Milliarden aktiv, bis zu einer Million Token Kontext. Für uns zählt die Frage, ob das auf unsere Karten passt.

Passt-es-Test heißt hier: Gewichtsbytes aus der Hugging-Face-API, Quantisierung aus der config.json, KV-Cache aus Schichtzahl und Kopfzahl, dazu rund 15 Prozent Reserve für Aktivierungen und CUDA-Graphen (unsere Annahme, kein Herstellerwert). Die Summe wird gegen den realen VRAM gehalten, nicht gegen die Parameterzahl auf der Modellkarte.

Die Zahlen

GrößeWertHerkunft
Gewichtsdateien gesamt366,5 GiB (393.510.049.944 Byte, 42 Dateien)gemessen, HF-API, 15.11.2026
Parameter gesamt / aktiv594 Mrd / 17 MrdHersteller, Gesamtzahl von der API bestätigt
Experten384 je Schicht, 8 pro Tokenconfig.json
Schichten mit voller Attention8 von 48config.json (40 lokale Schichten gezählt)
KV-Cache BF1632 KiB je Token, 32 GiB bei 1.048.576 Tokenabgeleitet
KV-Cache bei 220.000 Token6,7 GiBabgeleitet
VRAM, Produktionshost mit 4x RTX 5090127,4 GiB (4 x 32.607 MiB)gemessen, nvidia-smi, 15.11.2026
Hersteller-Vorgabe NVFP4mindestens 500 GB aggregiertHersteller

Der KV-Wert folgt aus acht vollen Attention-Schichten mit je acht KV-Köpfen zu 128 Dimensionen, je Token K und V in BF16: 8 x 2 x 8 x 128 x 2 Byte = 32 KiB. Das Fenster der 40 lokalen Schichten kommt je Sitzung mit rund 0,16 GiB dazu. Die 17 Milliarden aktiven Parameter passen zur Konfiguration: 8 Experten mit je 31,9 Millionen Parametern über 48 Schichten ergeben 12,2 Milliarden, Attention und Embedding steuern grob vier bis fünf weitere bei (eigene Rechnung ohne Gates und Faltungen).

Inkling 2 Small braucht 458 bis 496 GiB, unsere drei GPU-Hosts bieten rund 175Host mit 4x RTX 5090127.4 · 127,4 GiB VRAM, gemessenAlle drei GPU-Hosts175 · rund 175 GiB, abgeleitetGewichte Inkling 2 Small366.5 · 366,5 GiB, gemessenBedarf mit KV und Reserve458 · 458 bis 496 GiB, abgeleitet0520
Der Bedarf ist unsere Rechnung: Gewichte plus KV-Cache (32 bis 64,5 GiB) plus rund 15 Prozent Reserve, eine Annahme. (Quelle: Hugging-Face-API und eigene Messung, 15.11.2026)

Was daraus folgt

Der KV-Cache ist die gute Nachricht. Weil 40 von 48 Schichten nur ein Fenster von 1.024 Token halten, kostet die volle Million Token Kontext rechnerisch 32 GiB, bei FP8-Cache die Hälfte. Für den Kontext unserer Produktionslane (max_model_len 220000, gemessen 15.11.2026 am laufenden Prozess) wären es 6,7 GiB. Das vLLM-Rezept meldet für eine Anfrage mit voller Länge dagegen 64,47 GiB und empfiehlt dafür zwei Knoten mit TP8; unsere 32 GiB sind deshalb eine Untergrenze.

Die Gewichte sind das Problem. Mit 366,5 GiB ist das Modell das 2,9-Fache unseres Hosts mit vier 5090. Mit KV-Cache und Reserve landen wir bei 458 GiB (32 GiB KV) bis 496 GiB (64,5 GiB KV), also etwa 490 bis 530 GB. Das passt zur Herstellerangabe von 500 GB. Auf 5090-Karten mit je 31,8 GiB wären das 15 bis 16 Karten; das Rezept rechnet in Vierer- und Achtergruppen, praktisch läuft es auf 16 hinaus (abgeleitet). Acht Karten bieten nur rund 255 GiB.

Auch der Host-RAM hilft nicht: Der Produktionshost hat 91 GiB (free -g, 15.11.2026), zusammen mit dem VRAM sind das rund 218 GiB. Alle GPUs unserer drei GPU-Hosts kommen auf etwa 175 GiB: 127,4 GiB beim Produktionshost, 31,8 GiB bei der Standby-Maschine mit einer 5090 und 16 GiB bei der KVM-Maschine mit einer RTX 4060 Ti (Quelle: unser Hosts-Inventar, Stand 10.11.2026, aus der Datei übernommen, nicht neu gezählt; die Summe ist abgeleitet). Das Modell wäre nur mit neuer Hardware betreibbar.

Offen bleibt der Laufzeitpfad. Das vLLM-Rezept verlangt bis zum Release-Support das Image vllm/vllm-openai:inkling-2-small und nennt 8x B200 als Standard; als geprüft führt es GB200. Ob der Modelltyp inkling2 auf sm_120 läuft, haben wir nicht getestet. Für vLLM gilt bei uns die Regel, nur gepinnte vX.Y.Z-Tags einzusetzen; ein Spezial-Image wie dieses wäre eine Ausnahme.

Empfehlung

Wer lokal 17 Milliarden aktive Parameter und lange Kontexte will, sollte vor jeder Bestellung die 366,5 GiB und den Laufzeitpfad prüfen. Ohne neue Hardware läuft Inkling 2 Small bei uns nicht. Dieselbe Frage, ob ein Großmodell in einen Speicherverbund passt, behandelt der Beitrag zum DGX-Spark-Verbund mit DeepSeek V4.1 Flash. Weitere Beiträge zur Hardware-Frage sammelt der Themenhub Lokale KI-Hardware, und wenn Sie wissen wollen, was Ihr Modell auf Ihren Karten braucht, finden Sie die Beratung zum Firmen-LLM auf der Leistungsseite.

Offene Punkte: Nicht getestet haben wir den Lauf auf sm_120 und das tatsächliche KV-Cache-Volumen in vLLM (32 oder 64,5 GiB je Million Token). Die 15 Prozent Reserve sind eine Annahme. Die Summe von 175 GiB stützt sich auf das interne Inventar vom 10.11.2026 und wurde nur für den Produktionshost nachgemessen.

Weiterlesen: DSpine als Draft-Baustein für Qwen3.8-27B · Huawei MACaQ für GGUF, nachgemessen · NVIDIA Snapshot: Restore gegen Kaltstart · H100-Mietpreise im Anbietervergleich

Weiterführende Quellen

Messweg der eigenen Werte: SSH auf den Produktionshost am 15.11.2026 gegen 16:48 Uhr, nvidia-smi --query-gpu=name,memory.total, free -g, max-model-len aus der Prozessliste; Gewichtsgröße aus huggingface.co/api/models/thinkingmachines/Inkling-2-Small?blobs=true, Summe der 42 Dateigrößen.

Fragen?
Passt Inkling 2 Small auf vier RTX 5090?+

Nein. Die Gewichtsdateien messen 366,5 GiB (Hugging-Face-API, 15.11.2026), vier RTX 5090 bieten 127,4 GiB. Selbst die rund 175 GiB aller GPUs in unseren drei GPU-Hosts zusammen reichen nicht, und sie sind kein gemeinsamer Pool.

Warum ist der KV-Cache bei einer Million Token kein Problem?+

Nur 8 von 48 Schichten nutzen volle Attention, die übrigen 40 ein Fenster von 1.024 Token. Abgeleitet aus der config.json ergibt das 32 KiB je Token, also 32 GiB bei 1.048.576 Token in BF16. Die Fehlermeldung des vLLM-Rezepts nennt für eine Million Token 64,47 GiB, also das Doppelte; ein sicherer Planwert liegt zwischen beiden.

Was verlangt der Hersteller an Hardware?+

Mindestens 500 GB aggregierten VRAM für den NVFP4-Checkpoint, als Beispiele nennt die Modellkarte 2x B300 oder 4x H200. Das vLLM-Rezept führt 8x B200 als Standardkonfiguration und verweist bis zum Release-Support auf ein eigenes Docker-Image.