Huawei MACaQ nachgemessen: angeblich bessere GGUFs, alte Versionen
Am 10.11.2026 hat das Systems Lab von Huawei MACaQ auf GitHub veröffentlicht, drei Tage nach dem Paper auf arXiv. Der Quantizer zielt auf die beiden Runtimes, auf denen unsere Inferenz läuft: GGUF für llama.cpp und kompakte Checkpoints für vLLM. Lizenz Apache-2.0. Wir haben Repository, Paper, Anforderungsdateien und die veröffentlichten Gewichte am 15.11.2026 read-only gelesen und die Randbedingungen auf unserem GPU-Host nachgemessen. Installiert und gestartet haben wir MACaQ nicht. Weitere Messungen aus diesem Feld stehen im Hub Lokale KI und GPU-Hardware.
W4A4 bedeutet, dass Gewichte und Aktivierungen eines Sprachmodells mit je vier Bit pro Wert gerechnet werden. Üblich ist 4-Bit nur für die Gewichte, die Aktivierungen bleiben breiter. Bei W4A4 können die Rechenkerne auch die Multiplikation in niedriger Genauigkeit ausführen, was den Durchsatz hebt. Der Preis sind eigene Kernel und ein Qualitätsverlust, der vom Modell abhängt und am eigenen Einsatz gemessen werden muss.
Laut Paper ist MACaQ ein MXFP4-W4A4-Verfahren: Jede Linearschicht wird einzeln behandelt, mit einer Skalierung je Kanal und einer blockweisen Hadamard-Transformation der Aktivierungen zur Laufzeit.
Was MACaQ verspricht
Alle Zahlen in dieser Tabelle sind Herstellerangaben (vendor-claimed) aus Paper und README. Nachgemessen haben wir sie nicht. Zwei davon lassen sich nachrechnen, siehe unten.
| Angabe des Anbieters | Wert | Bezug |
|---|---|---|
| Quantisierung eines 122B-Modells | 64 min | 32,5 GB Gerätespeicher, laut Paper |
| Quantisierungszeit gegen MR-GPTQ und DuQuant++ | 11× kürzer | gleiche Perplexität, Llama-3-8B, laut Paper |
| Mehraufwand gegen reines MXFP4 | 2,3 % | Qwen3-32B in vLLM, laut Paper |
| Qwen3.8-27B, W4A4 gegen BF16 | 2,33× Prefill, 2,58× Decode | Perplexität 2,8994 gegen 2,8463, laut README |
| Qwen3.6-35B-A3B, MACaQ-R Q4_K_XL | 22,36 GB | KL-Abstand zu FP16: 0,013367 |
| Dasselbe Modell, Unsloth UD-Q4_K_XL | 22,36 GB | KL-Abstand zu FP16: 0,015731 |
Nachgerechnet: Der KL-Abstand der MACaQ-R-Datei liegt 15,0 Prozent unter dem der gleich großen Unsloth-Datei. Und 2,8994 gegen 2,8463 sind 1,87 Prozent mehr Perplexität.
Was wir am 15.11.2026 gemessen haben
Messweg: GitHub-API und Rohdateien des Repositories, Hugging-Face-API, PyPI-Daten für vLLM und read-only-Abfragen auf unserem 4-Karten-GPU-Host (Docker-Container und nvidia-smi). Die Werte stehen als Tabelle, damit der Messträger klar ist.
| Befund | Wert | Messweg |
|---|---|---|
| Repository angelegt | 10.11.2026 08:52 UTC | GitHub-API |
| Letzter Push | 12.11.2026 09:57 UTC | GitHub-API |
| Sterne, Forks, offene Issues | 307, 21, 6 | GitHub-API, 15.11. |
| Lizenz | Apache-2.0 | GitHub-API |
| Veröffentlichtes GGUF, Qwen3.6-35B-A3B | 22.360.455.968 Bytes (22,36 GB, 20,82 GiB) | Hugging-Face-API |
| Downloads (30 Tage), Likes | 1.933, 13 | Hugging-Face-API, 15.11. |
| Mitgelieferte llama.cpp, Stand | 28.08.2026 | Datei llamacpp/UPSTREAM |
| Rückstand dieses Stands auf llama.cpp master | 1.744 Commits | GitHub-Vergleichs-API |
| vLLM-Pin der Standard-Anleitung | 0.20.2 vom 10.05.2026 | requirements/vllm-base.txt, PyPI |
| vLLM-Pin der Flash-Next-Anleitung | 0.30.0 vom 22.09.2026 | requirements/vllm-flash.txt, PyPI |
| Neueste vLLM-Version | 0.33.0 vom 02.11.2026 | PyPI |
| Unsere vLLM-Lane | 0.32.0, Image vom 18.10.2026 | Import im Container auf dem 4-Karten-Host |
| Karten auf dem 4-Karten-Host | 4× RTX 5090, je 32.607 MiB, Compute Capability 12.0 | nvidia-smi |
Die Dateigröße führt oft zu Verwechslungen. Das Hugging-Face-Repository meldet 22.360.455.968 Bytes: 22,36 GB in Zehnerpotenzen, 20,82 GiB in Zweierpotenzen. Eine Karte mit 31,84 GiB behält nach den Gewichten 11,02 GiB für Key-Value-Cache und Rechengraph. Wer 22,36 GB in GiB-Budgets einträgt, plant 1,5 GiB zu viel ein.
Der schmale Weg und der breite Weg
MACaQ hat zwei Pfade, und sie sind nicht gleich teuer.
Der breite Weg ist der volle MACaQ-Pfad mit eigener llama.cpp-Kopie, die man selbst gegen das CUDA-Toolkit baut, mit Python 3.12 und einer eigenen Umgebung je Backend. Der Stand der Kopie steht in llamacpp/UPSTREAM: ein Commit vom 28.08.2026, laut GitHub-Vergleich 1.744 Commits hinter dem aktuellen llama.cpp-Stand. Wer diesen Pfad fährt, pflegt einen eigenen Zweig.
Der schmale Weg ist MACaQ-R. Es verfeinert die Gewichte eines vorhandenen GGUF und lässt Dateiformat und Blockskalen unberührt. Die Datei läuft laut Anbieter mit einer normalen llama.cpp-Installation. Das veröffentlichte Beispiel liegt mit 20,82 GiB in einer Klasse, die auf unsere Karten passt. Für einen Testlauf ist das der Weg, den wir gehen würden: Datei laden, normale llama.cpp starten, gegen Referenzläufe vergleichen.
Der vLLM-Pfad registriert sich als Plugin in den Worker-Prozessen. Die Standard-Anleitung (requirements/vllm.txt, auch die Variante für Qwen3.8-27B) zieht über vllm-base.txt vLLM 0.20.2 vom 10.05.2026 herein. Die Anleitung für Qwen3.8-Flash-Next pinnt 0.30.0 vom 22.09.2026. Unsere Lane läuft auf 0.32.0, die neueste Version ist 0.33.0. Die README schreibt außerdem, dass die aktuelle CLI eine Sequenz nach der anderen verarbeitet. Eine Produktiv-Lane bedient mehrere Sequenzen gleichzeitig. Für den Produktionsbetrieb ist der Pfad in dieser Form also nicht gedacht. Für Flash-Next nennt die README 360 GB für die Originalquelle und 178 GB für den Serving-Checkpoint. Ob das Rezept zu unserem Flash-Next-Modell passt, haben wir nicht geprüft.
Ein Kernel, der nur im eigenen Bild existiert, hängt an der eigenen Build-Kette. Das Muster haben wir schon bei den Quant-Kerneln für vLLM beschrieben.
Was die Doku offen lässt
Erstens fanden wir in den gelesenen README-Dateien keine Liste der unterstützten GPU-Generationen für die W4A4-Kernel. Das Paper nennt MXFP4. Ob unsere Blackwell-Karten (Compute Capability 12.0) die Kernel ausführen, steht erst nach einem echten Build fest. Zweitens verlinkt die README für Ascend-Beschleuniger zwei Pull Requests in den CANN-Repositories; deren Stand haben wir nicht geprüft. Drittens ist das Projekt fünf Tage alt, mit sechs offenen Issues. Eine Versionierung außer dem Repository selbst haben wir nicht gefunden.
Zur Downloadzeit: Ein Kaltdownload von Hugging Face lief am 12.11.2026 auf unserem Standby-GPU-Host mit rund 30 MiB/s. Am 15.11.2026 lieferte ein Bereichsabruf von 2 GB auf demselben Host rund 106 MiB/s. Bei 30 MiB/s liegen die 22,36 GB nach 11,8 Minuten auf der Platte, bei 106 MiB/s nach 3,4 Minuten. Die BF16-Ausgangsgewichte eines 122B-Modells wären rechnerisch 244 GB (122 Milliarden Parameter mal zwei Bytes, abgeleitet): 2,15 Stunden bei 30 MiB/s, 37 Minuten bei 106 MiB/s. Die 64 Minuten des Anbieters beschreiben die Rechenarbeit der Quantisierung und nicht den Weg bis zur fertigen Datei. Die Rate schwankt bei uns um den Faktor 3,5 und ist keine Konstante.
Was wir daraus machen
Ein Testlauf lohnt sich, aber nur in der günstigen Variante: die MACaQ-R-Datei für Qwen3.6-35B-A3B auf einer freien Karte mit unveränderter llama.cpp starten und gegen unsere Referenzantworten laufen lassen. Das ist die Messlatte, die wir bei jeder Änderung am Datentyp anlegen: erst das Replay des eigenen Korpus, dann ein Urteil. Der Umbau der Produktiv-Lane auf W4A4 ist damit nicht gemeint.
Wer nicht selbst quantisiert und nimmt, was Modellautoren und GGUF-Anbieter liefern, kann mit MACaQ-R ohne Infrastrukturumbau prüfen, ob eine Verfeinerung bei gleicher Dateigröße tatsächlich 15 Prozent weniger KL-Abstand hält, wie der Anbieter angibt. Für Betriebe ohne freie Karte für solche Tests sprechen wir genau über diese Frage im Rahmen von KI auf eigener Hardware.
Offene Punkte
- Alle Qualitäts- und Geschwindigkeitszahlen von MACaQ sind Herstellerangaben, von uns nicht reproduziert.
- Ob die W4A4-Kernel auf RTX-5090-Karten laufen: ungetestet.
- Stand der Ascend-Pull-Requests: nicht geprüft.
- Ob das Flash-Next-Rezept auf unser Flash-Next-Modell passt: nicht geprüft.
- Die Hacker-News-Diskussion dient nur als Hinweis auf Reproduktionsversuche, wir übernehmen daraus keine Zahlen.
Weiterlesen: DSpine als Draft-Baustein für Qwen3.8-27B · Inkling 2 Small gegen unser VRAM-Limit
Weiterführende Quellen
- MACaQ auf GitHub (Anbieter, primär): README, Lizenz, Tabellen; Sterne, Forks und Push-Datum von uns über die GitHub-API gemessen.
- Paper auf arXiv (Anbieter, primär): 64 Minuten für 122B, 11-fache Zeitersparnis, 2,3 Prozent Mehraufwand.
- MACaQ-R-GGUF auf Hugging Face (Anbieter, primär): Dateigröße, Downloads, Lizenz.
- vLLM-Anforderungsdatei und vLLM-Anleitung (Anbieter, primär): Pin 0.20.2, eine Sequenz je Lauf, Plattenbedarf.
- vLLM auf PyPI (primär): Veröffentlichungsdaten von 0.20.2, 0.30.0, 0.32.0 und 0.33.0, von uns über die PyPI-Daten gelesen.
- Hacker-News-Diskussion (Community): Hinweis auf Reproduktionen durch Dritte.
Muss ich llama.cpp forken, um MACaQ zu benutzen?+
Für den vollen Pfad ja, für den schmalen nein. Der volle Pfad bringt eine eigene llama.cpp-Kopie mit, deren Stand laut Datei UPSTREAM ein Commit vom 28.08.2026 ist. MACaQ-R dagegen verfeinert nur die Gewichte eines vorhandenen GGUF und erzeugt eine Datei, die laut Anbieter mit einer normalen llama.cpp-Installation läuft. Wer nur angeblich bessere 4-Bit-Dateien will, beginnt dort.
Passt das veröffentlichte MACaQ-R-GGUF auf eine RTX 5090?+
Rechnerisch ja. Die Datei hat laut Hugging-Face-API 22.360.455.968 Bytes, das sind 20,82 GiB. Eine unserer Karten meldet 32.607 MiB, also 31,84 GiB. Es bleiben 11,02 GiB für Key-Value-Cache und Rechengraph. Das ist eine Platzrechnung, die Datei haben wir nicht gestartet.
Ist 4-Bit nicht automatisch schlechter?+
Messbar anders, ob schlechter, hängt vom Einsatz ab. Der Anbieter nennt für Qwen3.8-27B eine Perplexität von 2,8994 in W4A4 gegen 2,8463 in BF16, das sind 1,87 Prozent mehr, bei 2,33-fachem Prefill. Ob sich das in unseren Agentenantworten zeigt, entscheidet nur ein Replay unseres eigenen Korpus.
senn-tech