Offene KI-Modelle zum Selbsthosten im Oktober 2026: was in 24, 128 und 512 Gigabyte passt und was die Lizenz erlaubt

Mehrere offene Modelle der letzten drei Wochen lassen sich im eigenen Haus betreiben, ohne dass ein Prompt die Firma verlässt. Für einen Betrieb mit 20 bis 100 Leuten entscheiden vier Dinge: wie viel Speicher die Gewichte brauchen, was die Lizenz erlaubt, ob Deutsch unterstützt wird und ob jemand außerhalb des Herstellers die Qualität bestätigt hat. Wir haben die Modellkarten auf Hugging Face, die Lizenztexte, die Dateigrößen und die Hacker-News-Diskussionen vom 15. und 16. Oktober gelesen. Gemessen haben wir keines dieser Modelle selbst.

Was in welchen Speicher passt

Nemotron 3.5 Bolt: 74 Milliarden Parameter in 24 Gigabyte

Nach der Modellkarte ist Bolt ein Modell für Alltagsaufgaben von Agenten, das mit nativer 2-Bit-Quantisierung in 24 GB Speicher passt. Es hat 256.000 Token Kontext und kann Bilder und Video lesen. Deutsch steht unter den unterstützten Sprachen, neben Englisch, Spanisch, Französisch, Italienisch und Japanisch, mit Englisch und Code als Hauptsprachen. Die Lizenz ist OpenMDW-1.1, laut der Zusammenfassung auf openmdw.ai ohne Beschränkung auf Branche oder Unternehmensgröße. Laufen soll es unter vLLM auf A100, H100 oder Blackwell.

Die Herstellerbenchmarks stellen Bolt gegen Qwen3.6-35B-A3B in voller Genauigkeit: GPQA Diamond 86,43 gegen 83,40 und Terminal-Bench 2.1 50,98 gegen 44,38. Das sind Zahlen von NVIDIA. Auf Hacker News fanden wir zu Bolt nur wenig: sechs Punkte und einen Kommentar, laut dem Nemotron „nur gut ist, weil es gratis ist". Das reicht nicht als Gegenprobe.

Nemotron 3.5 Super VL: 120 Milliarden für einen Rechner mit 128 Gigabyte

Die größere Schwester hat 120 Milliarden Parameter, davon 12 Milliarden aktiv, und bis zu 1 Million Token Kontext. Die NVFP4-Fassung hat zusammen rund 75 GB. NVIDIA nennt als Einsatz einen DGX Spark, eine H200 oder zwei H100. Auf GPQA-Diamond erreicht die NVFP4-Fassung 89,90 gegen 89,52 in voller Genauigkeit. Nicht überall hält sie mit: Bei WebVoyager im Offline-Test fällt sie von 77,72 auf 66,31, bei DeepSWE von 24,65 auf 18,2. Auch das sind Herstellerzahlen.

LFM2.5-24B-A2B: schnell, aber schwächer bei Wissen und Code

Liquid AI hat am 12. Oktober LFM2.5-24B-A2B veröffentlicht, 24 Milliarden Parameter mit 2,45 Milliarden aktiven, 131.000 Token Kontext und deutscher Sprache. Die Q4-Datei ist 14,5 GB groß. Liquid gibt 184 Token pro Sekunde auf einem Apple M5 Max an. Die Modellkarte rät selbst davon ab, es allein für wissensintensive Aufgaben zu nutzen, und empfiehlt Abruf oder Websuche dazu.

Die Diskussion auf Hacker News (287 Punkte) bestätigt das zum Teil. Ein Nutzer berichtet, es sei auf einer 4090 sehr schnell, aber „sehr dumm". Ein anderer sah es bei Allgemeinwissen deutlich hinter Qwen 35B A3B, aber vor einem 9B-Modell bei viel höherer Geschwindigkeit. Wieder ein anderer ließ es eine kleine Aufgabe in einem Code-Projekt lösen und scheiterte, während Qwen 3.8 dieselbe Aufgabe schaffte.

Die Lizenz ist die LFM Open License v1.0. Wir haben den Text gelesen: Die kommerzielle Nutzung ist nur erlaubt, solange Ihr Unternehmen und verbundene Unternehmen unter 10 Millionen US-Dollar Jahresumsatz bleiben. Für viele Betriebe mit 20 bis 100 Leuten ist das eine echte Grenze.

MiniCPM-V 4.7 und EmbeddingGemma 2: Bilder lesen und Dokumente finden

MiniCPM-V 4.7 von OpenBMB (Karte vom 15. Oktober, seit Mitte Oktober im Trend) hat 35 Milliarden Parameter mit 3 Milliarden aktiven und liest Bilder und Video. Die BF16-Fassung hat zusammen rund 70 GB, es gibt Varianten für GGUF, AWQ, GPTQ und FP8. Die Lizenz ist Apache 2.0. Der Hersteller nennt es einen Vorteil gegenüber Qwen3.6 35B-A3B bei geringerer Rechenzeit, das ist eine Herstellerangabe.

EmbeddingGemma 2 von Google (Karte vom 6. Oktober) ist ein Embedding-Modell mit 740 Millionen Parametern, das Text, Bilder, Video und Audio in denselben Vektorraum legt, in über 100 Sprachen. Die Gewichte haben 1,5 GB, die Lizenz ist Apache 2.0, und Google nennt Laptops als Zielhardware. Für eine Dokumentensuche im Betrieb ist das der kleinste Einstieg auf dieser Liste.

Swift und ThinkingCap: Qwen3.8-27B mit weniger Denk-Tokens

Auf Qwen3.8-27B bauen zwei Varianten auf, die weniger Denk-Tokens brauchen. Swift von UkisAI ging am 16. September auf Hacker News, ThinkingCap von BottleCap AI wurde am 22. September angekündigt.

Die Genauigkeit sinkt nicht überall gleich wenig. Swift bleibt auf GPQA-Diamond bei 88,28 statt 88,38 Prozent, fällt aber auf AIME 2026 von 98,67 auf 94,00. Bei ThinkingCap sank der Gesamtverbrauch auf Terminal-Bench nur um 7,5 Prozent, schreibt Kaitchup, weil Antworten und Aktionen nicht kürzer werden. Die Lizenz bremst: Swift ist bis 1 Million US-Dollar Jahresumsatz frei, ThinkingCap steht unter PolyForm Small Business und verlangt von größeren Firmen eine Absprache.

Auf unserem Produktionsrechner läuft eine andere schlanke Variante, Cold-Fusion-GAIN. Sie kam in unserer 21er-Testreihe auf 18 von 21, dasselbe wie die Basis. Swift und ThinkingCap haben wir nicht gemessen.

Muse Spark Open: offen, aber für zwei Mac Studio

Meta hat Muse Spark Open am 15. Oktober veröffentlicht, die Gewichte auf Hugging Face sind aber nur nach Freigabe zugänglich. Wir konnten den Lizenztext deshalb nicht selbst lesen. Ein Kommentator auf Hacker News zitiert ihn: Frei ist alles außer einem Dienst, der Dritten Zugriff auf das Modell bietet, wenn der Gesamtumsatz des Lizenznehmers 20 Millionen US-Dollar übersteigt. Dann braucht es eine Vereinbarung mit Meta. Interner Gebrauch und Funktionen im eigenen Produkt sind danach ausgenommen. Das ist eine Zitierung aus zweiter Hand.

Die kleinste Q2-Datei von ggml-org ist rund 304 GB groß, die Q4-Datei rund 470 GB. Meta nennt zwei Mac Studio mit M5 Ultra und je bis zu 512 GB. Ein anderer Kommentator verweist auf Artificial Analysis: Danach liegt Muse Spark Open hinter Qwen3.8 Flash Next und GLM 5.3 Flash, die auf einer einzigen B300 laufen. Das haben wir nicht nachgeprüft. Als Sprache ist auf der Karte nur Englisch getaggt.

Mistral Large 4 und die Modelle, die man mieten kann

Mistral hat die Gewichte von Large 4 für Ende Oktober angekündigt. Was wir bis dahin wissen, steht in unserem Beitrag Mistral Large 4 im Feld der offenen Gewichte.

Wer nicht selbst hosten will, hat bei Anthropic mit Haiku 5.5 einen neuen Preispunkt: Die Preisseite nennt 0,10 Dollar je Million Eingabe-Token und 0,50 Dollar je Million Ausgabe-Token für Prompts bis 100.000 Token, Haiku 4.5 kostete 1 und 5 Dollar. Der neue Tokenizer erzeugt etwa 30 Prozent mehr Token, die Aufgabe kostet rechnerisch rund 13 Prozent des alten Preises. Wo Anthropic die Daten verarbeitet, haben wir nicht geklärt.

Was wir empfehlen und unter welcher Bedingung

Wer mit einer einzelnen Grafikkarte anfängt, probiert Bolt und die Qwen3.8-27B-Varianten, und stellt vorher an 50 echten Aufgaben aus dem Betrieb fest, ob Deutsch und Werkzeugaufrufe ausreichen. LFM2.5 passt nur, wenn der Umsatz unter 10 Millionen Dollar liegt und eine Aufgabe schnell gehen muss. Für eine Dokumentensuche beginnen Sie mit EmbeddingGemma 2, weil es auf jedem Rechner läuft und Apache 2.0 hat. Nemotron 3.5 Super VL kommt in Frage, wenn Sie einen Rechner mit 128 GB haben und Bilder lesen müssen. Muse Spark Open betreiben Sie nicht selbst.

Offen bleibt bei allen: die Qualität auf deutschen Geschäftstexten. Dazu liegt uns keine unabhängige Messung vor.

So haben wir gearbeitet

Gelesen am 16. Oktober 2026: die Modellkarten von Nemotron 3.5 Bolt und Super VL, LFM2.5-24B-A2B, MiniCPM-V 4.7, EmbeddingGemma 2 und Swift auf Hugging Face, der LFM-Lizenztext, die Dateilisten der Repositories und die Hacker-News-Diskussionen zu LFM2.5 und Muse Spark Open. Den OpenMDW-Text kennen wir aus der Zusammenfassung auf openmdw.ai. Die Karte und der Lizenztext von Muse Spark Open waren gesperrt, deshalb stammen die Lizenzangaben dort aus einem zitierten Kommentar. Keines der Modelle haben wir selbst gemessen, und zu MiniCPM-V, Super VL und Bolt haben wir kaum unabhängige Berichte gefunden.

Weiterführende Quellen

Primärquellen

• NVIDIA, Nemotron 3.5 Bolt 74B-A9B 24GB
• NVIDIA, Nemotron 3.5 Super VL 120B-A12B NVFP4
• Liquid AI, LFM2.5-24B-A2B
• OpenBMB, MiniCPM-V 4.7 35B-A3B
• Google, EmbeddingGemma 2
• UkisAI, Swift-Qwen3.8-27B
• ggml-org, Muse Spark Open GGUF

Unabhängige Stimmen

• Hacker News, LFM2.5-24B-A2B
• Hacker News, Muse Spark Open