Vendor-Benchmarks nachgerechnet: Wo Anbieterwerte über unabhängigen Messungen liegen

Die Seite whatmodel.sh weist für Modellkarten ein Muster aus: Anbieter publizieren über ihre eigenen Modelle im Schnitt 6,4 Prozent höhere Benchmarkwerte als unabhängige Tester. Dahinter steht ein offener Datensatz mit 611 Paaren aus gleichem Modell und gleichem Test, jeweils Anbieterwert gegen unabhängige Messung. Wir haben die Rechnung auf den Rohdaten selbst nachgeführt, zwei Extrembeispiele in den Originaldokumenten nachgelesen und geprüft, was der Datensatz für unser eigenes Produktionsmodell hergibt.

Ein Vendor-Benchmark ist ein Testwert, den der Hersteller eines Modells selbst misst und in Modellkarte oder Bericht veröffentlicht. Er lässt sich mit anderen Werten nur vergleichen, wenn Reasoning-Stufe, Agenten-Gerüst (Scaffold), Aufgaben-Teilmenge, Versuche pro Aufgabe und Testversion dabeistehen. Eine unabhängige Messung ist derselbe Test, ausgeführt von einer Stelle ohne eigenes Modell im Rennen oder von einem anderen Labor.

Was im Datensatz steht

whatmodel.sh ist ein Katalog für Modelle, die auf eigener Hardware laufen, betrieben von Merlinsbeard Pty Ltd. Der Code steht unter MIT-Lizenz, die Zahlen unter CC BY-SA 4.0, Logos sind ausgenommen. Wer Teile des Datensatzes weitergibt, muss sie unter derselben Lizenz weitergeben. Der Stand, den wir geladen haben (Commit 46c9a6f vom 16. Oktober 2026), enthält 22.192 Einzelergebnisse zu 1.891 Modellen, davon 7.687 vom Anbieter und 14.505 von unabhängiger Seite: Leaderboards, Papers, Epoch AI oder der Testbericht eines anderen Labors. Jedes Ergebnis trägt Quelle, Datum und meist eine Notiz zum Setup.

Das Projekt ist jung. Das Repository entstand am 28. September 2026 und hatte am 5. November 2026 46 Sterne, 183 Commits und einen offenen Pull Request, aber kein offenes Issue. 169 der 183 Commits stammen von einem einzigen Konto, daneben gibt es einzelne Beiträge Dritter. Die Kuratierung hängt also an sehr wenigen Händen. Was zählt, ist die Nachprüfbarkeit im Einzelnen, denn jedes Paar verweist auf zwei Dokumente.

Die Mitte ist klein, die Streuung ist groß

Unser Skript nimmt pro Modell und Test den Median der Anbieterwerte gegen den Median der unabhängigen Werte und zählt nur Genauigkeitstests, bei denen beide Seiten vorhanden sind. Tests mit Fehlerraten wie WER und CER schließen wir aus. Die Seite weist 611 Paare aus, wir kommen mit unserem Filter auf 623. Warum die Zahlen um zwölf auseinanderliegen, haben wir nicht geklärt.

Relativer Abstand = (Anbieterwert minus unabhängiger Wert) geteilt durch den unabhängigen Wert; Punkte auf der Skala des jeweiligen Tests. Beide Zeilen sind Auswertungen desselben Datensatzes, keine neue Messung der Modelle.

An der Mitte ist wenig, an der Streuung viel. In unserer Rechnung liegt ein Viertel der Paare mehr als 8,1 Prozent über der unabhängigen Messung, 22 Prozent geben dem Anbieter mehr als 10 Prozent Vorsprung, 9 Prozent mehr als 25 Prozent. In 10 Prozent der Paare ist der Anbieterwert um mehr als 10 Prozent zu niedrig. Der Mittelwert lebt von den Ausreißern, und die stehen weiter unten.

Die Lücke sitzt dort, wo das Setup mitschwingt

Der Test entscheidet über die Größe des Abstands. Feste Multiple-Choice- und Completion-Tests bewegen sich kaum: MMLU 0,0 Punkte Median, HumanEval 0,0, WinoGrande -0,1 und ARC Challenge -0,6, gemessen an 20, 34, 25 und 14 Paaren. Bei Tests, in denen das Protokoll Teil des Ergebnisses ist, sieht es anders aus: SWE-bench Verified +9,0 Punkte Median bei 13 Paaren und höheren Anbieterwerten in 92 Prozent dieser Paare, MBPP +9,0, ARC Easy +4,7, AIME 2024 +3,8, GSM8K +3,3. whatmodel.sh nennt als Gründe den Agenten-Harness bei SWE-bench, Sampling und Reasoning-Budget bei AIME und Few-Shot-Prompts bei GSM8K und MBPP. Agententests und Mathematik mit Rechenschritten zählen bei einer Produktionsentscheidung besonders.

Das größte Paar der Liste, gpt-oss-120b auf SWE-bench Verified, haben wir an beiden Dokumenten nachgelesen. OpenAI nennt im technischen Bericht zu gpt-oss (arXiv 2508.10925, 8. August 2025) in Tabelle 3 für gpt-oss-120b 47,9 Prozent bei niedriger, 52,6 bei mittlerer und 62,4 bei hoher Reasoning-Stufe, also 14,5 Punkte Spannweite im selben Dokument am selben Modell. Nach Abschnitt 5.2.3.1 laufen alle SWE-bench-Messungen des Berichts auf einem festen Teilsatz von 477 Aufgaben, die OpenAI auf eigener Infrastruktur validiert hat, Metrik ist Pass@1. Die dort genannten vier Versuche pro Aufgabe beziehen sich im Text ausdrücklich auf o3 und o4-mini, für gpt-oss steht die Angabe an dieser Stelle nicht. whatmodel.sh verbucht 62,4 Prozent als Anbieterwert.

ServiceNow-AI führt dasselbe Modell in der Karte zu Apriel 1.6 bei 31 Prozent. Die Karte erklärt, dass Tests aus dem Artificial-Analysis-Index v3.0 von dort übernommen und alle übrigen intern erhoben wurden. Zum SWE-bench-Setup enthält der Text keine Angaben, wir finden dort weder Reasoning-Stufe noch Scaffold oder Messdatum. Daraus werden 31,4 Punkte Abstand zwischen zwei Dokumenten über demselben Modell.

Das zweite Beispiel läuft in dieselbe Richtung. Die Karte zu DeepSeek-R1-0528 führt für SWE Verified (Resolved) 57,6 und vermerkt, dass das Agentless-Framework die Grundlage ist. In der Apriel-Tabelle steht DeepSeek R1 0528 bei 29,6 Prozent. Zwei Protokolle, ein Modell, Faktor zwei.

Gegen neutrale Tester wird der Abstand kleiner

Die unabhängige Seite im Datensatz ist gemischt: Karten anderer Labore und Messungen neutraler Stellen. Laut whatmodel.sh liegt der Anbieterwert in 63 Prozent der 446 Paare gegen Release-Dokumente konkurrierender Labore höher und in 56 Prozent der 236 Paare gegen neutrale Leaderboards, Epoch AI und Papers ohne eigenes Modell.

Der aufschlussreichste Schnitt steht im selben Kapitel: Wo ein Rivale und eine neutrale Stelle dasselbe Modell auf demselben Test gemessen haben (272 Fälle), liegt der Rivalenwert 131-mal tiefer und 130-mal höher, Median 0,0. Fremde Labore messen andere Modelle also nicht systematisch schlechter als neutrale Stellen. Übrig bleibt der Abstand zwischen der eigenen Veröffentlichung und jeder fremden Messung.

Die Gegenbeispiele stehen im selben Datensatz. BigScience hat unter den Anbietergruppen mit mindestens zehn Paaren den größten negativen Ausschlag: Median -11,9 Punkte, der Anbieterwert liegt in 10 Prozent der 20 Paare höher. Bei DeepSeek zeigen zwei benachbarte Modelle beide Richtungen. Für DeepSeek V4 Flash steht in der Karte vom 10. September 2026 ein GPQA-Diamond-Wert von 89,9 Prozent, ein Lauf von Epoch AI vom 2. August 2026 kommt auf 91,0 Prozent. Für DeepSeek V4.1 Flash stehen 90,9 Prozent auf der Karte und 89,8 Prozent in einem Epoch-Lauf vom 9. Oktober 2026 gegenüber. Die Abweichung ist hier wie dort klein, das Vorzeichen wechselt. Die Daten von Epoch AI stehen laut Datenhub unter einer Creative-Commons-Attribution-Lizenz, Fragen und Antworten der Benchmarks gehören ihren Urhebern, Zeilen mit fremden Quellen behalten deren Lizenz.

whatmodel.sh nennt selbst zwei Grenzen: Die Settings unterscheiden sich (Reasoning-Stufe, Agenten-Harness, Few-Shot-Prompts, Subset oder Testversion), und Labore wählen, welche Tests sie publizieren. Eine Zufallsstichprobe ist das nicht. Zur selektiven Veröffentlichung gibt es The Leaderboard Illusion (Singh et al., eingereicht am 29. April 2025, aktuelle Fassung vom 12. Mai 2025). Das Paper untersucht Chatbot Arena, die Benchmarkwerte in Modellkarten sind nicht sein Gegenstand.

Am eigenen Modell fehlt der Vergleich ganz

Wir betreiben Qwen3.8-Flash-Next auf vier RTX 5090. In den 14 Tagen bis zum 20. Oktober 2026 sind darüber 62.458 Anfragen und 3,23 Milliarden Tokens gelaufen, gezählt im Spend-Log unseres LiteLLM-Gateways (eigene Messung). Im Datensatz stehen für das Modell acht Anbieterwerte, darunter GPQA Diamond 91,7, LiveCodeBench v6 91,9 und Humanity's Last Exam 35,9, dazu sechs unabhängige Ergebnisse. Die unabhängigen stammen aus Arena-Aggregaten, einem Dokument-Parsing-Test, einem klinischen Texttest und einem Roblox-Quiz. Keiner dieser Tests deckt sich mit einem Anbieterwert. Über 22.192 Ergebnisse hinweg gibt es für unser Produktionsmodell kein einziges Paar.

Das ist der Regelfall. Von 776 Modellen mit mindestens einem Anbieterwert haben 212 nirgends ein unabhängiges Ergebnis (unsere Zählung auf demselben Commit), fast jedes dritte Modell mit kursierenden Zahlen hat nur die Zahl des Herstellers. Unabhängige Läufe konzentrieren sich auf die Spitze, die Breite bleibt unbesehen.

Welche Zahl eine Modellwahl trägt

Aus der Rechnung bleiben drei Schritte, und sie sind unbequemer als ein Tabellenvergleich. Erstens: Zu jeder Zahl die Protokollangabe notieren, also Reasoning-Stufe, Scaffold, Aufgaben-Subset, Versuche pro Aufgabe und Testversion. Fehlt sie, ist die Zahl eine Angabe ohne Messung. Zweitens: denselben Test bei einer neutralen Stelle nachsehen, etwa bei Epoch AI, einem Leaderboard mit eigenem Runner oder einem Paper ohne eigenes Modell im Rennen. Das ersetzt die eigene Messung nicht, weil deren Setup selten zur eigenen Anfrageform passt. Drittens: 30 bis 50 eigene Aufgaben fahren, aus dem Verkehr, der später über die Lane geht. Das ist unsere Arbeitsregel, die Zahl 30 bis 50 beruht auf Erfahrung und ist nicht aus Literatur belegt.

Wie das aussieht, zeigen zwei Beiträge von uns: Im Vergleich einer Tempo-Schätzung mit unserer Messung auf zwei Karten steht Schätzung gegen Messung nebeneinander, und der Umbau unserer Produktionslane enthält die Messwerte auf den vier RTX 5090. Wer ein eigenes Modell-Setup plant, findet bei unserem Angebot LLM-Betrieb auf eigener Hardware den Weg dorthin, und weitere Beiträge dieser Art sammelt das Thema KI im Betrieb.

Ein Anbieterwert auf SWE-bench Verified beschreibt das Scaffold des Anbieters, die obere Grenze des Modells zeigt er nicht. Wer lokal betreibt, ist beim Blick auf Modellkarten genauso anfällig wie beim API-Einkauf, nur mit eigener Hardware als Einsatz.

Was sich an diesem Beitrag geändert hat

Stand 5. November 2026: Wir haben die Zahlen gegen die Seite und die Rohdaten neu geprüft und dabei korrigiert, dass der Wert 0,7 Punkte der Median des Abstands ist und kein mittlerer absoluter Abstand (der liegt bei 5,2 Punkten). Das Protokoll von gpt-oss ist jetzt dem richtigen Abschnitt des Berichts zugeordnet. Sterne und Commits sind auf den aktuellen Stand gebracht. Entfernt haben wir die Aufteilung nach offenen und geschlossenen Gewichten sowie einen Reddit-Beitrag als Quelle, weil wir beides nicht belegen konnten.

Weiterführende Quellen

Die Auswertung und ihre Grenzen stehen auf whatmodel.sh/claims, Rohdaten und Lizenz im Repository. Das gpt-oss-Protokoll steht in arXiv 2508.10925, Tabelle 3 und Abschnitt 5.2.3.1; die Vergleichszahlen von ServiceNow-AI in der Apriel-1.6-Karte am gepinnten Commit, DeepSeeks eigene Werte in der R1-0528-Karte. Epoch AI veröffentlicht den Benchmark-Datenhub unter einer Creative-Commons-Attribution-Lizenz (die Seite nennt keine Version); Benchmarkfragen und -antworten gehören nach derselben Seite ihren Urhebern. Zur selektiven Veröffentlichung in Ranglisten: Singh et al., The Leaderboard Illusion. Die Zahlen aus dem Datensatz sind Angaben des Betreibers oder unsere Auswertung seiner Rohdaten, nicht unsere Messung der Modelle.