senn-techFreeToken: Frontier-MoE-Modelle auf Gaming-Hardware
FreeToken ist ein neuer Ansatz für Edge Inference: Statt Frontier-MoE-Modelle in die Cloud auszulagern, bringt die Engine 290B+ Parameter auf eine einzelne Gaming- oder Workstation-GPU mit Unterstützung durch CPU/RAM. Das Projekt steht unter Apache 2.0 und richtet sich gezielt an Eigenbetreiber.
Edge-native statt Cloud-native
Die meisten MoE-Serving-Lösungen denken datenzentrisch: Mehrere GPUs, hoher Node-To-Node-Durchsatz, NVLink. FreeToken kehrt das um. Der Fokus liegt auf einem einzelnen Host mit einer GPU und viel RAM. Das ist die Hardware, die viele Entwickler und kleinere Teams bereits auf dem Schreibtisch haben.
Zentrale Bausteine:
- CPU-GPU-heterogene Ausführung: Das Modell wird nicht monolithisch in den GPU-VRAM gepresst, sondern entlang der tatsächlichen Zugriffshäufigkeit aufgeteilt.
- q*-basierte Bandbreitenanpassung: Entscheidet dynamisch, welche Experts für den aktuellen Prompt auf der GPU bleiben müssen.
- Semantik-bewusstes Caching: Wiederkehrende Prompt-Muster können den Expert-Routing-Schritt überspringen.
- Elastische VRAM-Neuzuweisung: Freigibt und realloziert GPU-Speicher während der Sitzung, statt ein starres Layout festzuzurren.
Unterstützte Frontier-Modelle
FreeToken zielt auf aktuelle offene MoE-Architekturen ab. Der Parameter-Reichtum bleibt erhalten, die aktive Rechenlast pro Token wird klein gehalten.
FreeToken vs. KTransformers
Beide Projekte machen grosse Sprachmodelle auf Consumer-Hardware nutzbar, aber der Architektur-Fokus unterscheidet sich.
| Kriterium | FreeToken | KTransformers |
|---|---|---|
| Lizenz | Apache 2.0 | Apache 2.0 |
| Architektur-Fokus | Edge-native CPU/GPU-MoE-Serving | CPU-GPU-Hybrid-Inferenz für lange Kontexte |
| GPU-Anzahl | 1 Consumer-GPU | 1 GPU, starker CPU-Offload |
| Hot/Cold-Experts | GPU-Hot, CPU/DRAM-Cold via q* | Nicht-aktive Experts in CPU-RAM |
| Ideal für | Frontier-MoE auf der Workstation | Sehr grosse Modelle auf begrenzter Hardware |
| API-Stil | OpenAI/Anthropic-kompatibel | OpenAI-ähnlicher Chat-Endpoint |
FreeToken ist also keine KTransformers-Abwandlung, sondern ein eigenständiger Serving-Stack, der die MoE-Router-Logik mit in die Optimierung nimmt.
Installation und Betrieb
Der schnellste Weg ist das Python-Paket mit uv:
uv pip install "freetoken[accel]"
freetoken serve --model DeepSeek-V4-Flash
Alternativ gibt es eine Desktop-App. Beide Varianten sprechen die OpenAI- bzw. Anthropic-kompatible API aus, sodass bestehende Clients mit einem einfachen Basis-URL-Wechsel umgestellt werden können.
Unsere Sicht
FreeToken ist ein weiteres Indiz für den Trend, der grosse MoE-Modelle aus der Cloud-Dependency löst. Wer heute einen leistungsfähigen Desktop-Rechner mit einer aktuellen GPU besitzt, kann damit Frontier-Modelle lokal ausführen — nicht als Demo, sondern als produktiven Endpunkt. Für unsere Kunden heisst das: Souveränität über Daten, Kontrolle über Latenz und kein API-Rate-Limiting. Die Apache-2.0-Lizenz macht den Schritt auch rechtlich unkompliziert.
Weiterführende Quellen
Was bedeutet heterogene CPU-GPU-Ausführung bei FreeToken?+
FreeToken verteilt ein einzelnes MoE-Modell gezielt auf mehrere Speicher- und Rechenebenen: Aktive 'Hot' Experts landen im GPU-VRAM, weniger gefragte 'Cold' Experts im CPU-adressierten DRAM. Dabei entscheidet eine q*-basierte Bandbreitenanpassung pro Anfrage, welche Experts wirklich auf der GPU gehalten werden müssen und welche bei Bedarf von der CPU nachgeladen werden. Das ist kein allgemeiner Quantitäts-Trick, sondern eine explizite Speicherhierarchie.
Wie spart FreeToken VRAM, ohne die Modellqualität zu beschneiden?+
Durch semantikbewusstes Caching und elastische VRAM-Neuzuweisung werden nicht jedes Mal alle Experten gleichberechtigt geladen. Hot Experts bleiben auf der GPU resident, Cold Experts werden bei Bedarf in CPU/DRAM verschoben und über PCIe nachgeladen. Kombiniert mit Formaten wie MXFP4, NVFP4, FP8 oder BF16 passt so ein 290B+-Frontier-Modell auf eine einzelne Consumer-GPU mit begleitendem System-RAM — ohne dass das Modell selbst kleiner wird.
Welche Modelle und Quantisierungsformate unterstützt FreeToken?+
Der Engine unterstützt unter anderem DeepSeek-V4-Flash, Qwen3.6-35B-A3B und GLM-5.2. Auf der Quantisierungsseite sind MXFP4, NVFP4, FP8 und BF16 verfügbar. Für den Betrieb gibt es eine Desktop-App und ein CLI; Installation läuft über `uv pip install freetoken[accel]`. Die API ist OpenAI- und Anthropic-kompatibel.