Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI & Entwicklung
KI im Betrieb2026-11-16· Von Franz Senn

LiteLLM Customer Management steckt nur im Release Candidate, in keiner stabilen Version

LiteLLM Customer Management ist am 19. November 2026 nur im Release Candidate v1.111.0-rc.2 enthalten. Die neueste stabile Version v1.110.1 vom selben Tag hat keine der neuen Routen und keine Migration, gemessen am Quellbaum der Release-Tags auf GitHub. Wer ein Budget pro Kunde braucht, kann auf der stabilen Linie das bisherige End-User-Tracking nutzen, das die Doku weiter unterstützt.

LiteLLM hat Customer Management am 13. November 2026 angekündigt: Verbrauch und Budgets pro Kunde, dessen Teams und einzelne Mitglieder, abgebildet auf einen einzigen Gateway-Schlüssel. Die Doku enthielt am 16. November den Satz „A published release containing the complete integration has not been verified.“ Ich habe an diesem Tag den Quellbaum von drei Versionsständen und unser laufendes Gateway nachgemessen, am 19. November den Quellbaum erneut. Der Satz ist inzwischen aus der Doku verschwunden. Am 16. November lagen auf main 152 Pfade mit customer im Namen, in der damals neuesten stabilen Version v1.108.9 sechs, und unsere Lane kennt die dokumentierten Routen nicht.

LiteLLM Customer Management ist ein Satz Verwaltungs-Routen unter /management/v1 im LiteLLM-Gateway, dazu zwei Header an der Inferenz: x-litellm-customer-org-alias und x-litellm-customer-member-id. Aus beiden leitet das Gateway eine Kundenhierarchie aus Organisation, Team und Mitglied ab, prüft vor jeder Anfrage die Budgets dieser drei Ebenen und schreibt den Verbrauch in Zähler, die man über Usage-Endpunkte wieder ausliest. Diese Kundenhierarchie ist von LiteLLMs internen Organisationen, Teams und Nutzern getrennt.

Kurz gefasst

  • Angekündigt am 13. November 2026, Doku am 16. November abgerufen: Die Verfügbarkeits-Tabelle der Doku verweist auf main und auf sieben einzelne Pull Requests. Stand 19. November trägt dieselbe Doku stattdessen die Angabe „Since v1.111.0“.
  • Gemessene Verteilung am 16. November: 152 customer-Pfade auf main, je 6 im Release v1.106.4 und im damals neuesten stabilen Release v1.108.9. Dazu die Nachmessung vom 19. November: 7 in der stabilen v1.110.1 (ein Test mehr, keine Migration), 154 im Release Candidate v1.111.0-rc.2, 184 auf main.
  • Sieben SQL-Migrationen mit customer im Namen lagen am 16. November auf main, keine davon im stabilen Release. Inzwischen sind es 12 auf main und 8 im Release Candidate. Ein Umstieg zieht also Datenbankschema-Änderungen nach.
  • Zwei der verlinkten Pull Requests sind geschlossen, ohne gemergt zu werden, betreffen aber Funktionen, die die Doku noch beschreibt.
  • Unser Gateway (v1.106.4) beantwortet die dokumentierten Routen mit 404, die Kontrollrouten mit 200.
Wortmarke von LiteLLM
LiteLLM hat Customer Management am 13. November 2026 angekündigt und die Doku dazu veröffentlicht. (Quelle: LiteLLM / Wikimedia Commons, Public domain (PD-textlogo), Marke: LiteLLM)

Was LiteLLM verspricht

Die Ankündigung richtet sich an Firmen, die Agenten auf dem Gateway bauen und deren Kosten an eigene Kunden weiterverrechnen. Pro Kundenebene gibt es ein Budget-Objekt mit max_budget, soft_budget, rpm_limit, tpm_limit, allowed_models und budget_duration sowie zusätzliche Fenster in budget_limits. soft_budget blockiert keine Anfrage, er löst nur eine Meldung aus. Mitglieder erben eine Vorlage über budget_id und können mit budget_override abweichen, cap_policy bestimmt, ob jemand an seiner Obergrenze eine vorübergehende Erhöhung beantragen darf.

Als Rechenbeispiel zeigt die Ankündigung einen Kunden mit 100 Dollar gekauften Credits und 140 Dollar tatsächlichem Verbrauch, was eine Marge von minus 40 Prozent ergibt (Herstellerangabe, im Blog selbst als illustrativ gekennzeichnet, ohne weitere Nebenkosten).

Zwei Hinweise stehen in der Doku selbst und zählen für den Betrieb mehr als die Feature-Liste:

  • Freigrenze: Ohne Enterprise-Lizenz gilt limits_apply: true mit 5 Organisationen, 5 Teams je Organisation und 5 Mitgliedern je Team, das automatisch angelegte Standardteam zählt mit. Beim Anlegen des sechsten Objekts einer Ebene kommt ein 403 mit dem Typ urn:litellm:error:customer-hierarchy-free-tier-limit. Für ein Beratungsangebot mit mehr als fünf Kunden ist das die eigentliche Preisschwelle.
  • Budget-Webhook: Er ist keine Buchhaltung. Die Zustellung ist best effort, 10 Sekunden Timeout, keine dauerhafte Nachlaufschlange, kein Replay. Die Doku sagt sinngemäß, man soll den Callback nicht als einzige Rechnungsgrundlage verwenden. Gebucht wird außerdem im Hintergrund, ein erfolgreicher Antrag kann also noch ohne Verbrauchseintrag dastehen.

Die Verfügbarkeits-Tabelle liest sich als Baustelle

Von neun in der Doku genannten Pull Requests waren am 16. November sieben gemergt und zwei geschlossen, ohne gemergt zu sein.

LiteLLM ordnet jede Fähigkeit einer Pull-Request-Nummer zu und unterscheidet main, Vorschau und „wird geprüft“. Diese Zuordnung habe ich am 16. November gegen die GitHub-API gemessen, denn der Zustand eines Pull Requests ist von der Ankündigung unabhängig:

Pull RequestDoku sagtGemergt?Gemessener Zeitpunkt (UTC)
#51546 Mitglieder beim ersten Antrag anlegenauf mainja13.11. 05:15
#51568 Budgets über mehrere Worker hinwegauf mainja13.11. 15:33
#51579 Budget-Ereignisse und Webhookauf mainja13.11. 17:16
#51596 Kundenidentität in den Logsauf mainja13.11. 17:39
#51645 Alarme nach Schema-Wechselauf mainja13.11. 18:06
#51607 sicheres Anlegen von Organisationenwird geprüftja13.11. 18:21
#51913 Mitglieder zwischen Teams verschiebenVorschauja15.11. 04:22
#51604 Kaltstart von Hierarchie-Anfragenwird geprüftnein, geschlossenkeiner
#51617 Mitglieder per E-Mail identifizierenVorschaunein, geschlossen–

Die letzten zwei Zeilen sind der eigentliche Fund. Die Doku beschrieb am 16. November das Feld email am Mitglied und den Header x-litellm-customer-member-email als Funktion und verwies dafür auf #51617. Dieser Pull Request ist geschlossen, ohne dass etwas gemergt wurde, genau wie #51604. Die Doku vom 19. November hat das korrigiert: Laut API-Referenz hat v1.111 weder ein E-Mail-Feld noch den Header, eine E-Mail darf nur als gewöhnliche Mitglieds-ID dienen. Die PR-Tabelle selbst steht dort nicht mehr.

Nachgemessen am Quellbaum: main gegen die Releases

Am 16. November lagen 152 customer-Pfade auf main und 6 in der neuesten stabilen Version v1.108.9.

Die Release-Liste selbst hilft nicht weiter. In den zwölf neuesten Release-Beschreibungen kommt das Wort customer nur in den drei Vorabversionen v1.111.0-dev.1, -dev.2 und -dev.4 vor, in keiner stabilen Version und auch nicht in v1.110.0-rc.3. Neueste stabile Version ist v1.108.9, veröffentlicht am 14. November um 22:00 UTC.

Aussagekräftiger ist der Dateibaum. Die GitHub-API liefert den vollständigen Baum eines Tags oder Zweigs, das habe ich für drei Stände abgefragt und die Pfade mit customer im Namen gegen die Bereiche abseits von docs/ und ui/ gezählt:

VersionsstandPfade gesamtPfade mit customerMigrationen mit customer
v1.106.4 (läuft bei uns)17.11560
v1.108.9 (neueste stabile, 14.11.)17.16460
main (Stand 16.11.)19.2051527
customer-Pfade im LiteLLM-Quellbaum je Versionsstandv1.106.4 (unsre Lane)6 · 6 Pfadev1.108.9 (stabil, 16.11.)6 · 6 Pfademain (16.11.)152 · 152 Pfade0167
Eigene Zählung über die vollständige Baumliste der GitHub-API, je Stand rekursiv und ohne Abschneiden. Gezählt wurden Pfadnamen mit customer, ohne docs/ und ui/. Rohdaten: GitHub-API, Baum von main. (Quelle: Eigene Messung Senn-IT, 16.11.2026)

Die 152 Pfade auf main verteilen sich auf 87 Einträge im Paket litellm/ außerhalb des Proxy-Ordners, 26 im Proxy selbst, 27 unter tests/ und 12 Belege unter .github/pr-assets. Gezählt sind Pfade, also Ordner und Dateien zusammen. Die Zahlen sagen nichts über die Qualität der Funktion. Sie zeigen nur den Abstand zwischen dem angekündigten Stand und dem, was auslieferbar ist.

Dazu kommen die Migrationen (Stand 16. November). Auf main liegen sieben SQL-Migrationen mit customer im Namen, zwischen dem 12. und dem 15. November, darunter 20261112000000_customer_hierarchy, 20261113130000_customer_hierarchy_schema_cleanup und 20261115000000_customer_hierarchy_indexes. Im stabilen Release sind es null. Das Schema hat damit an drei Tagen bewegt, der letzte Schritt vom 15. November setzt nur noch Indizes. Verlangt wird beim Einsatz ausdrücklich, die kundenspezifischen Migrationen einzuspielen.

Nachgemessen am 19. November: Release Candidate gegen Stable

Am 19. November 2026 hat der Release Candidate v1.111.0-rc.2 154 customer-Pfade und 8 Migrationen, die stabile v1.110.1 hat 7 Pfade und keine Migration.

Seit dem 16. November hat sich der Stand bewegt. Um 05:40 UTC des 19. November erschien v1.111.0-rc.2, der erste Release Candidate v1.111.0-rc.1 kam am 18. November. Dessen Release-Notizen führen die Kundenhierarchie auf, darunter #51459 (Organisation, Team, Mitglied mit Budget-Vorlagen), #51489 (Prüfung auf dem Anfragepfad) und #51687 (Freigrenze). Neueste stabile Version ist v1.110.1 vom 19. November um 05:05 UTC. Ihr Quellbaum enthält dieselben Pfade wie v1.108.9 plus eine Testdatei.

Versionsstand (GitHub, abgefragt 19.11.2026)Pfade gesamtPfade mit customerMigrationen mit customer
v1.110.1 (neueste stabile)18.75670
v1.111.0-rc.2 (Release Candidate)19.2791548
main19.90018412

Gezählt wurde wie am 16. November: vollständige Baumliste der GitHub-API, Pfadnamen mit customer, ohne docs/ und ui/. Gemessen mit denselben Mitteln, von Senn-IT; die Ergebnisse sind eine Momentaufnahme eines Zweigs, der sich stündlich ändert.

Wann aus dem Release Candidate eine stabile Version wird, regelt der Release-Zyklus der Doku: Nightly-Builds (dev) laufen nur durch die Pipeline, ein rc hat zusätzlich manuelle Prüfung und ein rund einwöchiges Fenster für frühe Tester, und am folgenden Dienstag wird ein bestandener rc zu stable befördert. Wenn v1.111.0-rc.1 die Prüfung besteht, wäre das Dienstag der 24. November (abgeleitet aus dem Zyklus, ohne Ankündigung des Herstellers). Fällt ein rc durch, wird er nicht befördert.

Vom Nightly zur stabilen Version bei LiteLLM1.x.x-dev.NNightly: nur CI/CD, keinemanuelle Prüfung1.x.x-rc.NRelease Candidate: Reviewplus ca. 7 Tage Testfenster1.x.xStable: am folgendenDienstag, wenn der rcbesteht
Stufen nach dem Release-Zyklus der LiteLLM-Doku. Customer Management steht am 19. November auf der mittleren Stufe. (Quelle: LiteLLM-Doku, Release Cycle)

Zwei Randbedingungen aus der Doku betreffen die Wahl der Linie. Die Versionsunterstützung sieht Patches für die vier jüngsten stabilen Linien vor, ist aber seit der Woche des 2. November für einen einmonatigen LTS-Pilot ausgesetzt, dessen erste LTS-Linie 1.108 ist. Für unsere Linie 1.106 erschien am 19. November trotzdem v1.106.11, ein Backport einer Prompt-Caching-Korrektur für OpenAI-Modelle.

Budget pro Kunde auf der stabilen Linie

Auf einer stabilen Version bleibt das bisherige End-User-Tracking. Die LiteLLM-Doku zur Kundenverwaltung (abgerufen am 19. November 2026) schreibt, dieses Tracking laufe weiter, beide Systeme hätten aber getrennte Datensätze und getrennte Usage-Schnittstellen.

Bisheriges End-User-TrackingCustomer Management
Verfügbar abstabile Versionen vor v1.111v1.111.0 (am 19.11.2026 nur als Release Candidate)
Identität an der Anfrageein flacher End-User-Wert in user, x-litellm-customer-id oder x-litellm-end-user-idOrganisations-Alias und Mitglieds-ID in x-litellm-customer-org-alias und x-litellm-customer-member-id
Verwaltung/customer/new, /customer/update, /customer/info/management/v1/customer_organizations, customer_teams, customer_members
Budgetein Wert je End-UserObergrenzen je Organisation und Team, Vorlagen und Ausnahmen je Mitglied

Quelle: LiteLLM-Doku „Customer Management and end-user tracking“, abgerufen am 19. November 2026, Herstellerangabe. Wir haben die bisherigen Routen auf unserem Gateway nicht nachgemessen. Beim Umstieg kopiert LiteLLM laut Doku keine alten Verbrauchs- oder Budgetzähler in die neuen Datensätze, die Umstellung eines Budgets mitten in der Periode kann einem Kunden also ein frisches Kontingent geben.

Nachgemessen an unserem eigenen Gateway

Unser Gateway auf LiteLLM v1.106.4 beantwortete am 16. November 2026 die beiden dokumentierten Customer-Management-Routen mit 404, die Kontrollrouten mit 200.

Unsere Lane läuft auf ghcr.io/berriai/litellm:v1.106.4, Container litellm-router, am 15. November um 22:33 UTC gestartet, ohne Neustartzähler. Für die Prüfung eines eigenen Builds nennt die Doku einen einfachen Weg: /openapi.json ansehen. Genau das haben wir getan, dazu eine Routenstichprobe:

Messung am 16.11.2026, Senn-ITErgebnis
GET /health/liveliness (Kontrolle)200
GET /v1/models (Kontrolle)200
GET /management/v1/customer_portal/limits404
GET /management/v1/customer_organizations404
GET /openapi.json200, 3.953 Bytes, kein Treffer auf customer_organizations, customer_portal oder /management/v1

Die beiden Kontrollrouten sind der wichtige Teil der Messung. Ohne sie wäre ein 404 bloß ein 404. So steht fest: Die Routen fehlen in unserem Stand, die API ist aber erreichbar. Das openapi-Feld auf unserem Gateway ist mit 3.953 Bytes klein und kann verkürzt ausgeliefert werden. Maßgeblich bleibt die Routenprobe, das JSON ist der zweite Beleg.

Was das für einen Betrieb heißt

Erstens ist die Freigrenze von 5 Organisationen eine Geschäftswert-Grenze, keine Technikgrenze. Ein Angebot, das pro Kunde abrechnet, stößt beim sechsten Kunden an eine 403-Antwort (abgeleitet aus der gemessenen Feldbedeutung von organization_limit und dem dokumentierten Fehlertyp). Für kleinere Betriebe mag das passen, für eine Firma, die Kundengruppen abbildet, ist es der Punkt, an dem aus Open Source ein Lizenzfall wird.

Zweitens ist der Zustand main kein Auslieferungszustand. Ein Build von main hängt an keiner Update-Linie, und die Migrationen (am 19. November zwölf) landen im selben Datenbestand wie Schlüssel und Verbrauchssätze. Wer das testen will, zieht einen leeren Zweitcontainer mit eigener Datenbank und prüft dort GET /management/v1/customer_portal/limits, bevor irgendetwas an einem produktiven Gateway geändert wird. Wer fertige Images erwartet: Die Docker-Tags main-latest und main-stable gehörten laut Vorfallsbericht von LiteLLM zu den Tags, die am 21. Oktober auf ein manipuliertes Image zeigten, und wurden danach auf sichere Quellen gesetzt. Seit v1.111.0-dev.3 sind Releases mit keyless cosign signiert, die Release-Notizen tragen den Prüfbefehl. Ein Release Candidate lässt sich also gegen seine Signatur prüfen, ein Nightly-Tag ohne Versionsnummer nicht sinnvoll. Wie wir am 24. Oktober 2026 nachgesehen haben, ob unsere Container im Schadcode-Fenster liefen, steht im Beitrag zu LiteLLM 1.107.0; dort ging es um eine andere Frage.

Drittens sind Kundenkosten ein Abrechnungsthema, und Abrechnung braucht Nachvollziehbarkeit. Ein Webhook ohne Wiedervorlage und ein Zähler, der im Hintergrund nachgezogen wird, genügen als Auslöser. Für einen Beleg braucht es die Usage-Lesung mit eigenem Zeitfenster. Bis dahin bleibt bei uns die Zuordnung über Schlüssel und eigene Kennzeichnungen, wie sie im eigenen AI Stack seit Monaten läuft, plus Auswertung der Verbrauchssätze. Wer das für mehrere Firmenbetriebe braucht, findet die Bausteine in unserem AI Gateway für Firmen.

Beobachten lohnt trotzdem: Die Funktion löst ein echtes Problem, das viele haben, die KI-Anfragen an Dritte weiterverrechnen. Der Haken liegt im Betrieb an der Auslieferung, und die misst man am besten selbst. Weitere Beiträge zum Betrieb von KI im Unternehmen sammelt der Hub KI im Betrieb.

Was nicht passiert ist

An unserem Gateway hat sich nichts geändert: kein Build von main, keine eingespielte Migration. Die Konfigurationsdatei blieb, wie sie gemessen wurde, und die Vorabversionen v1.111.0-dev.* blieben unbeachtet, denn sie tragen kein Versprechen auf Stabilität. Die gemessene Version v1.106.4 bleibt im Einsatz, bis ein stabiles Release die Routen enthält und ein Test in einer eigenen Umgebung durchgelaufen ist. Offen ist die Frage, ob die Lane vorher auf den Patchstand v1.106.11 der eigenen Linie gehört; das ist eine eigene Entscheidung.

Weiterführende Quellen

Fragen?
In welcher LiteLLM-Version steckt Customer Management?+

Am 19. November 2026 nur im Release Candidate v1.111.0-rc.2. Die neueste stabile Version v1.110.1 enthält keine der neuen Routen und keine Migration, gemessen am Quellbaum des Release-Tags. Der Release Candidate hat acht Migrationen und ist laut Release-Zyklus der Doku noch nicht freigegeben. Ob ein Tag die Funktion enthält, zeigt die Baumliste des Tags: Sie muss customer_hierarchy_auth und Migrationen mit customer im Namen enthalten.

Wie setze ich ein Budget pro Kunde in LiteLLM, solange es keine stabile Version mit Customer Management gibt?+

Mit dem bisherigen End-User-Tracking: Die Kennung des Kunden geht in user, x-litellm-customer-id oder x-litellm-end-user-id, verwaltet wird sie über /customer/new, /customer/update und /customer/info. Laut LiteLLM-Doku vom 19. November 2026 läuft dieses Tracking weiter. Es kennt nur eine flache Kennung je End-User, keine Hierarchie aus Organisation, Team und Mitglied.

Was kostet Customer Management bei LiteLLM?+

Die Funktion ist in der Open-Source-Version enthalten, aber ohne Enterprise-Lizenz auf 5 Organisationen, 5 Teams je Organisation und 5 Mitglieder je Team begrenzt. GET /management/v1/customer_portal/limits zeigt die Grenze und den aktuellen Stand des eigenen Builds.

Reicht der Budget-Webhook von LiteLLM als Abrechnungsgrundlage für Kunden?+

Nein, und LiteLLM schreibt das selbst dazu. Die Zustellung ist best effort mit 10 Sekunden Timeout, es gibt keine dauerhafte Nachlaufschlange und kein Replay. Für Rechenwerke sind die Usage-Lesungen unter /management/v1 maßgeblich, mit Hintergrundbuchung und Nachlaufzeit.