Studie: Der Agent-Harness treibt die Token-Kosten bis zum Dreifachen, die Trefferquote kaum

Wer einen Coding-Agenten auswählt, vergleicht meist Modelle. Ein Preprint von Yangze Liu und Zhongyi Han (arXiv 2610.04433, eingereicht am 3. Oktober 2026) setzt woanders an: Er hält das Modell fest und tauscht den Harness. Der Titel sagt es schon: „What Does a Harness Buy? Tokens, Mostly". Das Ergebnis ist für alle interessant, die Agenten über eine bezahlte API oder auf eigener GPU betreiben, denn dort sind Token die Rechnung.

Dieser Beitrag trennt drei Arten von Aussagen. Als verifiziert gilt, was wir im Preprint oder im Repository der Autoren gelesen haben. Abgeleitet ist unsere eigene Schlussfolgerung. Als Herstellerangabe kennzeichnen wir Behauptungen von Anbietern (hier Zhipu). Zahlen, die wir nur aus der Berichterstattung von The Decoder kennen und nicht selbst im Paper gesehen haben, nennen wir aus zweiter Hand. Es ist ein Preprint ohne Peer Review.

Aufbau der Messung

Verifiziert: Die Autoren testen fünf Modelle mit drei Harnesses auf SWE-bench Verified: Claude Code, OpenCode und mini-SWE-agent. Auf einem Pool aus 447 Aufgaben liegen Claude Code und mini-SWE-agent höchstens 5 Prozentpunkte auseinander. The Decoder schreibt, bei den beiden dort getesteten Modellen seien es weniger als 2 Punkte. Die Autoren sitzen laut README an der Shandong University; die arXiv-Seite selbst nennt keine Zugehörigkeit.

Die Kosten dagegen streuen. Verifiziert nach Abstract und README: Bei gleichem Modell und gleichen Aufgaben unterscheidet sich der Preis je Aufgabe um bis zu den Faktor 3. Das README fasst es so zusammen: Was der Harness entscheidet, ist die Rechnung. Gecachte Eingabe-Token verschieben die absolute Höhe, ändern laut Abstract aber nicht die Rangfolge der Harnesses.

Wo die Token herkommen

Jeder Agentenschritt schickt Systemprompt und Tool-Definitionen erneut an das Modell. Je länger dieses Preamble, desto teurer jeder Schritt, unabhängig davon, wie schwierig die Aufgabe ist.

Ein großes Preamble heißt allerdings nicht automatisch hohe Kosten. Nach The Decoder kostet Deepseek-V4-Flash mit Claude Code ungefähr so viel wie mit mini-SWE-agent, weil mini-SWE-agent deutlich mehr Schritte braucht. Der kleine Prompt wird dort durch die Schrittzahl wieder aufgezehrt. Aus unserer Sicht abgeleitet: Maßgeblich ist das Produkt aus Preamble und Schrittzahl, nicht eine der beiden Größen allein.

Bei GLM-5.3-Flash ist die Spanne laut The Decoder groß: 1,81 Yuan je Lauf mit Claude Code, 0,56 Yuan mit OpenCode. Das ist ein einzelnes Beispiel aus der Berichterstattung, kein Mittelwert über alle Modelle.

Wie viel Rauschen im Benchmark steckt

Der zweite Teil des Preprints betrifft die Vergleichbarkeit von Trefferquoten. Verifiziert nach Abstract und README: Auf den 45 schweren Aufgaben kippt bei einem Wechsel des Harness derselbe Anteil Aufgaben wie bei einer bloßen Wiederholung, nämlich 13 Prozent. Aus zweiter Hand (The Decoder): Das ist der Median, ein Modellwechsel kippt 22 Prozent, und wiederholte Läufe desselben Setups schwanken um bis zu 6 Punkte.

Daraus folgt für kleine Testsets, was die Autoren auch rechnen: 45 schwere Aufgaben erkennen einen Abstand von etwa 13 Punkten nur in der Hälfte der Fälle. Die 447 Aufgaben lösen etwa 5 Punkte auf. Ein Vorsprung von 2,4 Punkten, den ein Anbieter (Zhipu) für sich in Anspruch nimmt, liegt unter beiden Schwellen. Die Zahl gilt als Herstellerangabe und lässt sich mit diesem Setup weder bestätigen noch widerlegen.

OpenCode liegt auf dem 447er-Pool bis zu 9 Punkte zurück. Bei einem Modell erklären die Autoren etwa die Hälfte davon mit einem Limit für Ausgabe-Token: Claude Code fordert das Modell zum Weitermachen auf, OpenCode beendet den Schritt. Der Rest ist ungeklärt. Dazu kommt laut The Decoder ein kürzeres Zeitlimit in den Läufen mit lokalen Modellen, ein nicht kontrollierter Faktor.

Einordnung

Eine zweite Arbeit geht in dieselbe Richtung: arXiv 2607.22585 von Vats und Golev (8. Juni 2026, laut arXiv-Kommentar zur Einreichung bei einem Workshop in Begutachtung, späterer Stand ungeprüft) berichtet, die Wahl des Harness erzeuge bis zu 40-fach unterschiedliche Token je gelöster Aufgabe. Das Setup ist ein anderes: Goose, OpenCode und OpenHands-SDK, zwei Modelle, 50 Terminal-Bench-Pro-Aufgaben, Unterschied bei der Erfolgsquote 0 bis 8 Punkte. Der Faktor ist größer, die Richtung dieselbe. Beide Arbeiten sind Preprints mit überschaubaren Aufgabenmengen (die zweite mit 50 Aufgaben), deshalb taugen die Faktoren 3 und 40 als Größenordnung und nicht als Konstante.

Eine Einschränkung zur Nachprüfbarkeit: Das Repository der Liu-Han-Arbeit enthält ein Skript reproduce.sh, das ohne GPU und Netzwerk in unter einer Minute läuft. Die Rohverläufe der einzelnen Läufe fehlen laut README bisher. Die Kostenverhältnisse lassen sich also vom Leser nachvollziehen, die Preamble-Werte pro Schritt nicht.

Eigene Messungen zu Harness-Token auf unserem Stack liegen für diesen Beitrag nicht vor. Wir stellen deshalb keine Zahlen dazu in den Raum.

So lässt sich der eigene Harness messen

Aus den Befunden ergibt sich ein Verfahren, das jeder mit eigenem Proxy oder Provider-Log nachbauen kann. Die Schritte sind unser Vorschlag und nicht das Vorgehen der Autoren.

1. Preamble messen: Jedes Agentenwerkzeug mit einem leeren oder trivialen Prompt starten und die Eingabe-Token des ersten Schritts notieren. Dieser feste Anteil kehrt in jedem Schritt wieder. Mit der typischen Schrittzahl multipliziert ergibt er den Sockel je Aufgabe.
2. Preamble kürzen: Nicht benutzte MCP-Server und Tools abschalten, eigene Systemprompts straffen, danach erneut messen.
3. A/A vor A/B: Dieselbe Aufgabenliste (10 bis 20 Aufgaben reichen für einen ersten Blick) zweimal mit Harness A laufen lassen, einmal mit Harness B. Je Aufgabe protokollieren: Eingabe-, Ausgabe- und gecachte Token, Schritte, bestanden oder nicht. Kippen zwischen A und B nicht mehr Aufgaben als zwischen A und A, ist der Unterschied bei der Quote Rauschen, und nur die Rechnung bleibt als Argument.
4. Budget in Token pro Aufgabe führen und für Agentenläufe ein Schritt- oder Token-Limit setzen. Ein Harness, der „weiter" fragt, und einer, der den Schritt beendet, verhalten sich bei gleichem Limit unterschiedlich.

Weiterführende Quellen

• Liu und Han: What Does a Harness Buy? Tokens, Mostly (arXiv 2610.04433): Preprint, eingereicht am 3. Oktober 2026
• YangzeLiu/what-does-a-harness-buy auf GitHub: README und reproduce.sh
• The Decoder: Aufwendige Harnesses machen Coding-Agenten teurer, aber nicht besser: Bericht vom 24. Oktober 2026, Quelle der Preamble- und Yuan-Zahlen
• Vats und Golev (arXiv 2607.22585): zweites Preprint zu Harness und Token je gelöster Aufgabe
• Simple Icons, claude.svg: Quelle des Claude-Markenzeichens, CC0