KTransformers vs FreeToken: Zwei Wege für große MoE-Modelle auf kleinen GPUs

Frontier-MoE-Modelle wie DeepSeek-R1/V3 oder GLM-5.2 haben Hunderte Milliarden Parameter, von denen je Token nur ein Bruchteil aktiv ist. Genau diese Sparsamkeit macht sie angreifbar für eine alte Idee in neuer Form: den Großteil des Modells im CPU-RAM zu halten und nur das gerade aktive Gewicht auf die GPU zu streamen. KTransformers und FreeToken sind die beiden aktuellsten, öffentlich verfügbaren Implementierungen dieses Ansatzes.

Hybridpfad einer großen MoE-Inferenz: GPU führt aktive Layer aus, CPU-RAM speichert den Experten-Pool. (Quelle: Eigene Darstellung)

Gemeinsame Ziele, unterschiedliche Herkunft

Beide Frameworks verfolgen dasselbe Versprechen: ein 671B-DeepSeek oder ein 753B-GLM auf einer einzigen Workstation-GPU plus normalem Arbeitsspeicher ausführbar zu machen. Der Preis ist derselbe: PCIe-Bandbreite wird zur Hauptengpass, wenn Experten zwischen CPU-RAM und GPU ausgetauscht werden müssen. Deshalb liegt der Unterschied weniger in der Architektur als in der Optimierungsstrategie.

KTransformers entstand aus einem Forschungsprojekt der Tsinghua MADSys Lab zusammen mit Approaching.AI und 9#AISoft. Es ist bereits länger verfügbar, hat sich um DeepSeek-R1/V3 herum optimiert und setzt stark auf CPU-seitige AMX- und AVX-Kernel.
FreeToken kommt aus dem FlashML-Umfeld, ist als edge-native Serving-Engine konzipiert und will das gleiche Ziel für interaktive, agentische Nutzung erreichen — mit flüssigerem Prefill und schnellerem Warmstart.

KTransformers: das stabile Workhorse-Profil

KTransformers ist der bewährte Weg, um DeepSeek-R1/V3 671B auf einer einzelnen 24-GB-GPU zum Laufen zu bringen. Der Modus operandi ist simpel: Attention, MLP-Router und KV-Cache leben auf der GPU, die Experten werden komplett in den Host-RAM ausgelagert. Für den Prefill und die Decodierung greift die GPU auf die gerade benötigten Experten über den PCIe-Bus zu.

Stärken:

CPU-Optimierung: eigene Kerne für AMX/AVX beschleunigen das host-seitige Experten-Management.
Modelltiefe: DeepSeek-V3/R1 671B ist das primäre Zielmodell und entsprechend gut getestet.
Ökosystem: Integration in SGLang und andere Backends nimmt zu.

Schwächen:

Der Fokus liegt auf maximalem Durchsatz in Batch-Szenarien; interaktive Latenz ist sekundär.
Der Start des Modells kann lange dauern, weil die Standard-HF-Checkpoints vollständig eingelesen werden.

FreeToken: die interaktive Variante

FreeToken versteht den gleichen Aufbau, optimiert aber für den Fall, dass ein menschlicher Nutzer oder ein Agent schnelle Antworten erwartet. Statt jeden Prompt sequenziell abzuarbeiten, nutzt es einen globalen LRU-Experten-Cache und semantische Anchor-Checkpoints, um wiederkehrende Kontexte nicht komplett neu aufbauen zu müssen.

Stärken:

Bandbreitenadaptive q-Policy*: entscheidet dynamisch, ob ein fehlender Experte über PCIe nachgeladen oder kurzfristig auf der CPU ausgeführt wird.
Doppelt gepufferter Full-Layer-Prefill: erlaubt es, die nächste Schicht schon vorzubereiten, während die aktuelle noch läuft.
FTW-Format: ein schnelles Gewichtsformat, das Ladezeiten deutlich reduziert.
Agentik: OpenAI- und Anthropic-kompatible Endpoints erleichtern den Einsatz mit Coding- und Tool-Use-Agenten.

Schwächen:

Als neueres Projekt ist das Langzeitverhalten und die Breite der unterstützten Modelle noch nicht so erprobt wie bei KTransformers.

Wann welches Framework?

Szenario	Empfehlung	Begründung
Einzelne DeepSeek-R1/V3 671B Workstation, Batch-Inferenz	KTransformers	Reif, CPU-Kerne optimiert, bewährt
Interaktive Agenten auf Consumer-GPU	FreeToken	Geringere Latenz, schnellerer Warmstart, Tool-Use-Endpoints
Gemischte Modelle, viele Wechsel	FreeToken	Bandbreitenadaptive q*-Policy und LRU-Cache
Maximale Stabilität, wenig Experimentierfreude	KTransformers	Länger im Feld, größere Community-Erfahrung

Unsere Sicht

KTransformers und FreeToken beweisen, dass die Grenze zwischen «muss im Rechenzentrum laufen» und «läuft unter dem Schreibtisch» verschwimmt. Für reine Batch-Aufgaben mit einem großen DeepSeek-Modell ist KTransformers heute der sicherere Hafen. Wer Agenten, Chatbots oder Coding-Assistenten baut, bei denen jede Sekunde zählt, sollte FreeToken genauer anschauen. Beide sind Apache 2.0 — das heißt, der Test kostet nur Hardware und Zeit, keine Lizenzgebühren.

Weiterführende Quellen

Fragen?

Was ist der gemeinsame Kern von KTransformers und FreeToken?+

Beide Frameworks verfolgen dasselbe Ziel mit demselben Grundtrick: Frontier-MoE-Modelle mit Hunderten Milliarden Parametern sollen auf einer einzigen Consumer-GPU plus systemeigenem RAM laufen. Nur die aktiven Teile — Attention, Router und KV-Cache — bleiben auf der GPU, während die meisten Experten im CPU-RAM geparkt werden und bei Bedarf über den PCIe-Bus nachgeladen werden. Beide stehen unter Apache 2.0 und sind damit für kommerzielle Projekte uneingeschränkt nutzbar.

Wann ist KTransformers die bessere Wahl?+

KTransformers ist der ältere, stabilere Kandidat. Es ist stark auf DeepSeek-R1/V3 mit 671 Milliarden Parametern optimiert, setzt auf CPU-Kerne mit AMX/AVX-Beschleunigung und hat sich für reine Offline-Batch-Inferenz bewährt. Wer ein bestimmtes großes DeepSeek-Modell auf einer Workstation mit viel RAM zum Laufen bringen will, ist hier gut aufgehoben. Der Fokus liegt auf maximalem Durchsatz, nicht auf geschmeidigem Dialog.

Wo setzt FreeToken neue Maßstäbe?+

FreeToken ist neuer und konsequent auf interaktive, agentische Workloads ausgelegt. Seine Stärken sind eine bandbreitenadaptive q*-Policy, ein doppelt gepufferter Full-Layer-Prefill, ein globaler LRU-Experten-Cache und semantische Anchor-Checkpoints. Das Ziel ist eine niedrige Time-to-First-Token und flüssiges Streaming bei langen Tool-Use- und Reasoning-Ketten. Zusätzlich bringt es das schnelle FTW-Gewichtsformat mit, das Modellstarts deutlich beschleunigt.