Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI-Hardware
Lokale KI und GPU-Hardware2026-11-15· Von Franz Senn

Huawei MACaQ nachgemessen: angeblich bessere GGUFs, alte Versionen

Am 10.11.2026 hat das Systems Lab von Huawei MACaQ auf GitHub veröffentlicht, drei Tage nach dem Paper auf arXiv. Der Quantizer zielt auf die beiden Runtimes, auf denen unsere Inferenz läuft: GGUF für llama.cpp und kompakte Checkpoints für vLLM. Lizenz Apache-2.0. Wir haben Repository, Paper, Anforderungsdateien und die veröffentlichten Gewichte am 15.11.2026 read-only gelesen und die Randbedingungen auf unserem GPU-Host nachgemessen. Installiert und gestartet haben wir MACaQ nicht. Weitere Messungen aus diesem Feld stehen im Hub Lokale KI und GPU-Hardware.

W4A4 bedeutet, dass Gewichte und Aktivierungen eines Sprachmodells mit je vier Bit pro Wert gerechnet werden. Üblich ist 4-Bit nur für die Gewichte, die Aktivierungen bleiben breiter. Bei W4A4 können die Rechenkerne auch die Multiplikation in niedriger Genauigkeit ausführen, was den Durchsatz hebt. Der Preis sind eigene Kernel und ein Qualitätsverlust, der vom Modell abhängt und am eigenen Einsatz gemessen werden muss.

Laut Paper ist MACaQ ein MXFP4-W4A4-Verfahren: Jede Linearschicht wird einzeln behandelt, mit einer Skalierung je Kanal und einer blockweisen Hadamard-Transformation der Aktivierungen zur Laufzeit.

Logo von Huawei
Das Systems Lab von Huawei hat MACaQ am 10. November 2026 veröffentlicht. Qualitäts- und Tempozahlen sind Angaben des Anbieters. (Quelle: Simple Icons (Repo CC0), Marke: Huawei)

Was MACaQ verspricht

Alle Zahlen in dieser Tabelle sind Herstellerangaben (vendor-claimed) aus Paper und README. Nachgemessen haben wir sie nicht. Zwei davon lassen sich nachrechnen, siehe unten.

Angabe des AnbietersWertBezug
Quantisierung eines 122B-Modells64 min32,5 GB Gerätespeicher, laut Paper
Quantisierungszeit gegen MR-GPTQ und DuQuant++11× kürzergleiche Perplexität, Llama-3-8B, laut Paper
Mehraufwand gegen reines MXFP42,3 %Qwen3-32B in vLLM, laut Paper
Qwen3.8-27B, W4A4 gegen BF162,33× Prefill, 2,58× DecodePerplexität 2,8994 gegen 2,8463, laut README
Qwen3.6-35B-A3B, MACaQ-R Q4_K_XL22,36 GBKL-Abstand zu FP16: 0,013367
Dasselbe Modell, Unsloth UD-Q4_K_XL22,36 GBKL-Abstand zu FP16: 0,015731

Nachgerechnet: Der KL-Abstand der MACaQ-R-Datei liegt 15,0 Prozent unter dem der gleich großen Unsloth-Datei. Und 2,8994 gegen 2,8463 sind 1,87 Prozent mehr Perplexität.

Was wir am 15.11.2026 gemessen haben

Messweg: GitHub-API und Rohdateien des Repositories, Hugging-Face-API, PyPI-Daten für vLLM und read-only-Abfragen auf unserem 4-Karten-GPU-Host (Docker-Container und nvidia-smi). Die Werte stehen als Tabelle, damit der Messträger klar ist.

BefundWertMessweg
Repository angelegt10.11.2026 08:52 UTCGitHub-API
Letzter Push12.11.2026 09:57 UTCGitHub-API
Sterne, Forks, offene Issues307, 21, 6GitHub-API, 15.11.
LizenzApache-2.0GitHub-API
Veröffentlichtes GGUF, Qwen3.6-35B-A3B22.360.455.968 Bytes (22,36 GB, 20,82 GiB)Hugging-Face-API
Downloads (30 Tage), Likes1.933, 13Hugging-Face-API, 15.11.
Mitgelieferte llama.cpp, Stand28.08.2026Datei llamacpp/UPSTREAM
Rückstand dieses Stands auf llama.cpp master1.744 CommitsGitHub-Vergleichs-API
vLLM-Pin der Standard-Anleitung0.20.2 vom 10.05.2026requirements/vllm-base.txt, PyPI
vLLM-Pin der Flash-Next-Anleitung0.30.0 vom 22.09.2026requirements/vllm-flash.txt, PyPI
Neueste vLLM-Version0.33.0 vom 02.11.2026PyPI
Unsere vLLM-Lane0.32.0, Image vom 18.10.2026Import im Container auf dem 4-Karten-Host
Karten auf dem 4-Karten-Host4× RTX 5090, je 32.607 MiB, Compute Capability 12.0nvidia-smi

Die Dateigröße führt oft zu Verwechslungen. Das Hugging-Face-Repository meldet 22.360.455.968 Bytes: 22,36 GB in Zehnerpotenzen, 20,82 GiB in Zweierpotenzen. Eine Karte mit 31,84 GiB behält nach den Gewichten 11,02 GiB für Key-Value-Cache und Rechengraph. Wer 22,36 GB in GiB-Budgets einträgt, plant 1,5 GiB zu viel ein.

Alter der Versionen in Tagen, Stand 15.11.2026vLLM-Pin 0.20.2189 · Standard-Anleitungmitgelieferte llama.cpp79 · Commit vom 28.08.vLLM-Pin 0.30.054 · Flash-Next-Anleitungunsere vLLM-Lane28 · Image vom 18.10.MACaQ-Repo5 · angelegt 10.11.0200
Alter in Tagen bis 15.11.2026: Datum des Releases beziehungsweise Commits gegen heute. Der Pin der Standard-Anleitung ist der älteste Wert in dieser Rechnung. (Quelle: eigene Messung: GitHub-API, PyPI, Docker auf dem 4-Karten-Host, 15.11.2026)

Der schmale Weg und der breite Weg

MACaQ hat zwei Pfade, und sie sind nicht gleich teuer.

Der breite Weg ist der volle MACaQ-Pfad mit eigener llama.cpp-Kopie, die man selbst gegen das CUDA-Toolkit baut, mit Python 3.12 und einer eigenen Umgebung je Backend. Der Stand der Kopie steht in llamacpp/UPSTREAM: ein Commit vom 28.08.2026, laut GitHub-Vergleich 1.744 Commits hinter dem aktuellen llama.cpp-Stand. Wer diesen Pfad fährt, pflegt einen eigenen Zweig.

Der schmale Weg ist MACaQ-R. Es verfeinert die Gewichte eines vorhandenen GGUF und lässt Dateiformat und Blockskalen unberührt. Die Datei läuft laut Anbieter mit einer normalen llama.cpp-Installation. Das veröffentlichte Beispiel liegt mit 20,82 GiB in einer Klasse, die auf unsere Karten passt. Für einen Testlauf ist das der Weg, den wir gehen würden: Datei laden, normale llama.cpp starten, gegen Referenzläufe vergleichen.

Der vLLM-Pfad registriert sich als Plugin in den Worker-Prozessen. Die Standard-Anleitung (requirements/vllm.txt, auch die Variante für Qwen3.8-27B) zieht über vllm-base.txt vLLM 0.20.2 vom 10.05.2026 herein. Die Anleitung für Qwen3.8-Flash-Next pinnt 0.30.0 vom 22.09.2026. Unsere Lane läuft auf 0.32.0, die neueste Version ist 0.33.0. Die README schreibt außerdem, dass die aktuelle CLI eine Sequenz nach der anderen verarbeitet. Eine Produktiv-Lane bedient mehrere Sequenzen gleichzeitig. Für den Produktionsbetrieb ist der Pfad in dieser Form also nicht gedacht. Für Flash-Next nennt die README 360 GB für die Originalquelle und 178 GB für den Serving-Checkpoint. Ob das Rezept zu unserem Flash-Next-Modell passt, haben wir nicht geprüft.

Ein Kernel, der nur im eigenen Bild existiert, hängt an der eigenen Build-Kette. Das Muster haben wir schon bei den Quant-Kerneln für vLLM beschrieben.

Was die Doku offen lässt

Erstens fanden wir in den gelesenen README-Dateien keine Liste der unterstützten GPU-Generationen für die W4A4-Kernel. Das Paper nennt MXFP4. Ob unsere Blackwell-Karten (Compute Capability 12.0) die Kernel ausführen, steht erst nach einem echten Build fest. Zweitens verlinkt die README für Ascend-Beschleuniger zwei Pull Requests in den CANN-Repositories; deren Stand haben wir nicht geprüft. Drittens ist das Projekt fünf Tage alt, mit sechs offenen Issues. Eine Versionierung außer dem Repository selbst haben wir nicht gefunden.

Zur Downloadzeit: Ein Kaltdownload von Hugging Face lief am 12.11.2026 auf unserem Standby-GPU-Host mit rund 30 MiB/s. Am 15.11.2026 lieferte ein Bereichsabruf von 2 GB auf demselben Host rund 106 MiB/s. Bei 30 MiB/s liegen die 22,36 GB nach 11,8 Minuten auf der Platte, bei 106 MiB/s nach 3,4 Minuten. Die BF16-Ausgangsgewichte eines 122B-Modells wären rechnerisch 244 GB (122 Milliarden Parameter mal zwei Bytes, abgeleitet): 2,15 Stunden bei 30 MiB/s, 37 Minuten bei 106 MiB/s. Die 64 Minuten des Anbieters beschreiben die Rechenarbeit der Quantisierung und nicht den Weg bis zur fertigen Datei. Die Rate schwankt bei uns um den Faktor 3,5 und ist keine Konstante.

Was wir daraus machen

Ein Testlauf lohnt sich, aber nur in der günstigen Variante: die MACaQ-R-Datei für Qwen3.6-35B-A3B auf einer freien Karte mit unveränderter llama.cpp starten und gegen unsere Referenzantworten laufen lassen. Das ist die Messlatte, die wir bei jeder Änderung am Datentyp anlegen: erst das Replay des eigenen Korpus, dann ein Urteil. Der Umbau der Produktiv-Lane auf W4A4 ist damit nicht gemeint.

Wer nicht selbst quantisiert und nimmt, was Modellautoren und GGUF-Anbieter liefern, kann mit MACaQ-R ohne Infrastrukturumbau prüfen, ob eine Verfeinerung bei gleicher Dateigröße tatsächlich 15 Prozent weniger KL-Abstand hält, wie der Anbieter angibt. Für Betriebe ohne freie Karte für solche Tests sprechen wir genau über diese Frage im Rahmen von KI auf eigener Hardware.

Offene Punkte

  • Alle Qualitäts- und Geschwindigkeitszahlen von MACaQ sind Herstellerangaben, von uns nicht reproduziert.
  • Ob die W4A4-Kernel auf RTX-5090-Karten laufen: ungetestet.
  • Stand der Ascend-Pull-Requests: nicht geprüft.
  • Ob das Flash-Next-Rezept auf unser Flash-Next-Modell passt: nicht geprüft.
  • Die Hacker-News-Diskussion dient nur als Hinweis auf Reproduktionsversuche, wir übernehmen daraus keine Zahlen.

Weiterlesen: DSpine als Draft-Baustein für Qwen3.8-27B · Inkling 2 Small gegen unser VRAM-Limit

Weiterführende Quellen

Fragen?
Muss ich llama.cpp forken, um MACaQ zu benutzen?+

Für den vollen Pfad ja, für den schmalen nein. Der volle Pfad bringt eine eigene llama.cpp-Kopie mit, deren Stand laut Datei UPSTREAM ein Commit vom 28.08.2026 ist. MACaQ-R dagegen verfeinert nur die Gewichte eines vorhandenen GGUF und erzeugt eine Datei, die laut Anbieter mit einer normalen llama.cpp-Installation läuft. Wer nur angeblich bessere 4-Bit-Dateien will, beginnt dort.

Passt das veröffentlichte MACaQ-R-GGUF auf eine RTX 5090?+

Rechnerisch ja. Die Datei hat laut Hugging-Face-API 22.360.455.968 Bytes, das sind 20,82 GiB. Eine unserer Karten meldet 32.607 MiB, also 31,84 GiB. Es bleiben 11,02 GiB für Key-Value-Cache und Rechengraph. Das ist eine Platzrechnung, die Datei haben wir nicht gestartet.

Ist 4-Bit nicht automatisch schlechter?+

Messbar anders, ob schlechter, hängt vom Einsatz ab. Der Anbieter nennt für Qwen3.8-27B eine Perplexität von 2,8994 in W4A4 gegen 2,8463 in BF16, das sind 1,87 Prozent mehr, bei 2,33-fachem Prefill. Ob sich das in unseren Agentenantworten zeigt, entscheidet nur ein Replay unseres eigenen Korpus.