Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI & Entwicklung
KI im Betrieb2026-11-22· Von Franz Senn

Token-Budget pro Rolle: LiteLLM-Schlüssel und Teams im Test

Agenten verbrauchen Tokens in Läufen, die niemand einzeln freigibt, und am Monatsende fragt jemand, welche Rolle das war. IDC nennt in einem Blogbeitrag vom 28. August 2026 zwei Zahlen aus der Umfrage FERS (Welle 4, Juli 2026): 67 Prozent der Unternehmen überschritten ihr Agenten-Budget in zwölf Monaten um mehr als 10 Prozent, und nur 45,4 Prozent haben Echtzeit-Dashboards für Token-Verbrauch und Kosten je Workflow. Die Seite nennt keine Stichprobengröße. Wir haben am 22. November 2026 in einer Wegwerf-Umgebung gemessen, was LiteLLM an dieser Stelle tatsächlich tut.

Wortmarke von LiteLLM
LiteLLM ist ein Gateway mit Virtual Keys, Teams und Budgets, dokumentiert in der Proxy-Doku. (Quelle: LiteLLM / Wikimedia Commons, Public domain (PD-textlogo), Marke: LiteLLM)

Ein Token-Budget pro Rolle begrenzt, wie viel Verbrauch eine Gruppe von Zugängen in einem Zeitraum auslösen darf, umgerechnet in Geld. LiteLLM kennt dafür keinen Objekttyp Rolle. Man bildet die Rolle als Team ab, hängt je Verbraucher einen Virtual Key daran und setzt max_budget und budget_duration. Ist die Grenze erreicht, lehnt der Proxy die Anfrage standardmäßig mit HTTP 422 ab, bevor sie den Modellanbieter erreicht.

Was zu den Zahlen aus der Presse zu sagen ist

Im Netz kursieren zwei IDC-Zahlen, 72 Prozent Budgetüberschreitung und 14 Prozent Kostenzuordnung je Agent. Auf den IDC-Seiten, die wir geöffnet haben, standen sie nicht. Wir zitieren deshalb die beiden oben genannten, die wir gelesen haben.

Wie LiteLLM Budgets ablegt

Ein Budget hängt in LiteLLM an einem Objekt: Key, Team, Tag, Kunde oder Nutzer. Die Doku (Hersteller, abgerufen am 22. November 2026) beschreibt die Felder so:

Der Weg einer Anfrage durch die Budget-PrüfungAnfrage mit VirtualKeyAuthorization-Header,optional Tags im BodyKey prüfenmax_budget, tpm_limit,rpm_limitTeam prüfenTeam-Budget gilt für alleKeys des TeamsTag prüfenTag-Budget übermetadata.tagsModellanbieternur wenn alle Prüfungenbestanden
(Quelle: LiteLLM-Doku, Proxy-Seiten Users, Team Budgets, Tag Budgets)
Angabe der DokuInhalt
max_budgetStandard null, dann wird nicht geprüft
budget_durationFormat 30s, 30m, 30h, 30d; ohne Angabe nie zurückgesetzt
Reset-TaktDer Server prüft standardmäßig alle 10 Minuten
30dReset am Monatsersten, 00:00 UTC
Fehlerstatus422 budget_exceeded, mit budget_exceeded_status_code: 429 umstellbar
Modelle ohne KostenBei Eingabe- und Ausgabepreis 0 wird die Budgetprüfung übersprungen
tpm_limit, rpm_limitToken und Anfragen je Minute, je Key, Nutzer oder Team

Messträger: Herstellerdoku, abgerufen am 22.11.2026, Einheit je Zeile wie angegeben. Wir haben diese Zeilen nicht alle nachgemessen, die Zeilen mit eigenem Befund stehen in der nächsten Tabelle.

Was wir gemessen haben

Aufbau: LiteLLM 1.110.1 aus PyPI (nicht die vergiftete Version 1.107.0, siehe LiteLLM 1.107.0: Schadcode und Schlüsseltausch), PostgreSQL 16.15, ein kleiner Python-Server als Modell-Attrappe, ein Linux-Rechner mit ARM-Prozessor. Jede Anfrage lieferte 10 Eingabe- und 10 Ausgabe-Tokens, der Testpreis lag bei 0,001 je Token, also 0,02 je Anfrage. Budgets waren 0,05. Docker war auf dem Rechner nicht verfügbar, die Umgebung lief deshalb als Python-Umgebung ohne Container. Alles lokal, keine Produktivschlüssel, nach dem Test gelöscht.

Test (eigene Messung, 22.11.2026)EinstellungErgebnis
Key überschreitet Budgetmax_budget 0,05Anfragen 1 bis 3: 200, ab Anfrage 4: 422 budget_exceeded, Meldung nennt 0,06 gegen 0,05
Schnelle Folge10 Anfragen im Abstand 0,15 s3 mal 200, danach 7 mal 422
Resetbudget_duration 30s, Prüftakt auf 5 bis 6 s gesetztgesperrt nach 3 Anfragen, erste 200 nach etwa 21 s, budget_reset_at rückte um 30 s vor
Team-Budget gegen KeyTeam 0,05, Key A mit 1,0, Key B ohneA, B, A erhalten 200, dann sperrt das Team beide Keys, Team-Spend 0,06
Key strenger als TeamTeam 1,0, Key 0,05Sperre am Key nach 3 Anfragen
Tag-Budget/tag/new 0,05, Tag per metadata.tags im Body3 mal 200, dann 422 Tag=role-support
Anfragenlimitrpm_limit 2dritte Anfrage 429 throttling_error, retry-after: 60
Tokenlimittpm_limit 30, 20 Tokens je Anfrageerste und zweite Anfrage 200, dritte 429, Typ tokens
Modell mit Preis 0max_budget 0,058 von 8 Anfragen 200, Spend 0,0
Modell ohne Preisangabemax_budget 0,058 von 8 Anfragen 200, Spend 0,0

Messträger: LiteLLM 1.110.1, Python 3.14, PostgreSQL 16.15, Ubuntu auf ARM-VM, Modell-Attrappe. Der Reset-Takt war für den Test auf 5 bis 6 Sekunden gesenkt, im Standard sind es laut Doku 10 Minuten, und diese Verzögerung haben wir nicht gemessen.

Vier Befunde

Ohne Preis kein Budget. Der wichtigste Befund für Betreiber eigener GPU-Lanes: Ein Modell, dessen Kosten LiteLLM nicht kennt, verbraucht null Budget. Die Doku sagt das für ausdrücklich auf 0 gesetzte Preise, wir haben es zusätzlich für ein Modell ohne jede Angabe gemessen. Bei selbst gehosteten Modellen muss man einen internen Verrechnungspreis in input_cost_per_token und output_cost_per_token eintragen. Das ist kein Marktpreis, sondern die Rechengröße, in der Rollen verglichen werden. Zu Kosten und Stromverbrauch je Token siehe den Vergleich Preis und Watt pro Token.

Eine Anfrage Überschuss. Die Prüfung läuft vor der Anfrage gegen den bisherigen Spend. Die dritte Anfrage startete bei 0,04 und endete bei 0,06, danach war Schluss. Bei Agenten mit langen Antworten kann diese eine Anfrage teuer sein. Das Budget ist also eine Obergrenze plus eine Anfrage.

Beide Ebenen gelten. Team-Budget und Key-Budget wurden im Test unabhängig geprüft, und die engere Grenze gewann. Die Doku sagt, bei Team-Keys gelte das persönliche Budget des Besitzers nicht. Das ist eine andere Ebene als das Budget am Key selbst, auch wenn die Formulierung beides leicht vermischt. Für die Planung heißt das: Team-Budget als Dach der Rolle, Key-Budget als Grenze je Agent oder Dienst.

Parallele Anfragen auf einem frischen Key. Fünf Läufe mit zehn gleichzeitigen Anfragen auf einen neuen Key ergaben jedes Mal eine 200 und neun 422. Die Fehlermeldung nannte in den vier Läufen, deren Text wir festgehalten haben, einen aktuellen Spend von 65,6 beziehungsweise 98,4 für einen Key, der 0,02 verbraucht hatte. Wir haben die Ursache nicht untersucht. Wer einen Dienst mit Schüben auf neuen Keys startet, sollte das vorher selbst nachstellen.

Zwei Einschränkungen betreffen die Auswertung. soft_budget wird beim Erzeugen eines Keys angenommen, aber nicht gespeichert (/key/info zeigte null), und die Doku beschreibt das Feld für Keys nicht. Das Setzen von tags direkt am Key lehnte der Proxy mit 403 ab, die Funktion ist nach seiner Meldung Teil von LiteLLM Enterprise. Tag-Budgets über metadata.tags im Anfrage-Body liefen dagegen ohne Lizenz. Bei der Abrechnung fiel uns auf: Die Zähler an Key und Team stimmten nach 12 bis 25 Sekunden, /spend/tags zeigte aber nur die User-Agent-Tags, und in der Tabelle der Einzelanfragen stand nur eine von 36 erfolgreichen Anfragen (gezählt aus unserer Testabfolge). Auswertungen nach Tag oder Anfrage haben wir damit nicht reproduziert, die Spend-Zähler schon.

So lassen sich Rollen anlegen

Die Schritte sind eine Empfehlung aus dem Test, keine Beschreibung unseres Betriebs:

  1. Je Rolle ein Team mit max_budget und budget_duration: "30d", damit der Zähler zum Monatsersten zurückspringt. Am Tag-Budget haben wir dieses Datum gesehen: budget_reset_at stand auf dem 1. Dezember, 00:00 UTC.
  2. Je Agent oder Dienst ein Key im Team mit eigener, kleinerer Grenze und rpm_limit als Bremse gegen Schleifen.
  3. Je Modell einen Verrechnungspreis eintragen, bevor das erste Budget gesetzt wird. Danach mit einem Testkey 3 Anfragen schicken und den Spend prüfen.
  4. Clients auf 422 vorbereiten oder den Status auf 429 umstellen, damit Wiederholungslogik nicht endlos läuft.

Mehr zur Verwaltung je Kunde steht in LiteLLM Customer Management ohne stabile Release, die Token-Kosten pro Aufgabe untersucht die Studie zum Agent-Harness. Weitere Beiträge sammelt das Thema KI im Betrieb. Wer ein Gateway mit Rollen, Budgets und Schlüsselverwaltung für das eigene Haus braucht, findet den Rahmen bei Corporate LLM.

Wie es bei uns aussah

Nach unserer Dokumentation vom 6. August 2026 liefen auf dem damaligen Gateway 14.435 Anfragen in sieben Tagen unter einem einzigen Master-Key, ohne Virtual Keys je Verbraucher. Der heutige Stand ist in diesem Beitrag nicht geprüft, und wir behaupten nicht, dass wir max_budget einsetzen. Wie dieses Gateway aufgebaut ist, steht in LiteLLM-Gateway im Eigenbetrieb.

Wer ein Gateway mit einem gemeinsamen Schlüssel betreibt, legt zuerst je Modell den Verrechnungspreis fest, dann ein Team-Budget je Rolle und einen Key je Verbraucher, und prüft mit drei Testanfragen, dass der Spend wirklich steigt.

Weiterführende Quellen

Fragen?
Welchen HTTP-Status liefert LiteLLM, wenn ein Key-Budget aufgebraucht ist?+

422 mit dem Fehlertyp budget_exceeded. Das haben wir mit LiteLLM 1.110.1 am 22. November 2026 an Key, Team und Tag gemessen. Die Doku nennt 422 als Standard und beschreibt die Einstellung budget_exceeded_status_code: 429 unter litellm_settings, falls Clients 429 erwarten. Diese Einstellung haben wir nicht getestet.

Greift ein Budget auch bei selbst gehosteten Modellen ohne Preis?+

Nein. Im Test blieb der Spend bei 0,0, auch nach acht Anfragen mit einem Budget von 0,05. Das galt für ein Modell mit ausdrücklich 0 als Preis und für ein Modell ganz ohne Preisangabe. Wer vLLM-Lanes hinter LiteLLM betreibt, muss je Modell input_cost_per_token und output_cost_per_token setzen, sonst bleibt jedes Budget wirkungslos.

Gilt bei einem Key im Team das Key-Budget oder das Team-Budget?+

Beide, und die strengere Grenze gewinnt. Im Test sperrte ein Team-Budget von 0,05 auch einen Key mit eigenem Budget von 1,0. Umgekehrt sperrte ein Key-Budget von 0,05 den Key in einem Team mit Budget 1,0. Die Doku sagt zusätzlich, das persönliche Budget des Key-Besitzers gelte bei Team-Keys nicht.