LiteLLM Customer Management steckt nur im Release Candidate, in keiner stabilen Version
LiteLLM Customer Management ist am 19. November 2026 nur im Release Candidate v1.111.0-rc.2 enthalten. Die neueste stabile Version v1.110.1 vom selben Tag hat keine der neuen Routen und keine Migration, gemessen am Quellbaum der Release-Tags auf GitHub. Wer ein Budget pro Kunde braucht, kann auf der stabilen Linie das bisherige End-User-Tracking nutzen, das die Doku weiter unterstützt.
LiteLLM hat Customer Management am 13. November 2026 angekündigt: Verbrauch und Budgets pro Kunde, dessen Teams und einzelne Mitglieder, abgebildet auf einen einzigen Gateway-Schlüssel. Die Doku enthielt am 16. November den Satz „A published release containing the complete integration has not been verified.“ Ich habe an diesem Tag den Quellbaum von drei Versionsständen und unser laufendes Gateway nachgemessen, am 19. November den Quellbaum erneut. Der Satz ist inzwischen aus der Doku verschwunden. Am 16. November lagen auf main 152 Pfade mit customer im Namen, in der damals neuesten stabilen Version v1.108.9 sechs, und unsere Lane kennt die dokumentierten Routen nicht.
LiteLLM Customer Management ist ein Satz Verwaltungs-Routen unter /management/v1 im LiteLLM-Gateway, dazu zwei Header an der Inferenz: x-litellm-customer-org-alias und x-litellm-customer-member-id. Aus beiden leitet das Gateway eine Kundenhierarchie aus Organisation, Team und Mitglied ab, prüft vor jeder Anfrage die Budgets dieser drei Ebenen und schreibt den Verbrauch in Zähler, die man über Usage-Endpunkte wieder ausliest. Diese Kundenhierarchie ist von LiteLLMs internen Organisationen, Teams und Nutzern getrennt.
Kurz gefasst
- Angekündigt am 13. November 2026, Doku am 16. November abgerufen: Die Verfügbarkeits-Tabelle der Doku verweist auf
mainund auf sieben einzelne Pull Requests. Stand 19. November trägt dieselbe Doku stattdessen die Angabe „Since v1.111.0“. - Gemessene Verteilung am 16. November: 152 customer-Pfade auf
main, je 6 im Release v1.106.4 und im damals neuesten stabilen Release v1.108.9. Dazu die Nachmessung vom 19. November: 7 in der stabilen v1.110.1 (ein Test mehr, keine Migration), 154 im Release Candidate v1.111.0-rc.2, 184 aufmain. - Sieben SQL-Migrationen mit
customerim Namen lagen am 16. November aufmain, keine davon im stabilen Release. Inzwischen sind es 12 aufmainund 8 im Release Candidate. Ein Umstieg zieht also Datenbankschema-Änderungen nach. - Zwei der verlinkten Pull Requests sind geschlossen, ohne gemergt zu werden, betreffen aber Funktionen, die die Doku noch beschreibt.
- Unser Gateway (
v1.106.4) beantwortet die dokumentierten Routen mit 404, die Kontrollrouten mit 200.
Was LiteLLM verspricht
Die Ankündigung richtet sich an Firmen, die Agenten auf dem Gateway bauen und deren Kosten an eigene Kunden weiterverrechnen. Pro Kundenebene gibt es ein Budget-Objekt mit max_budget, soft_budget, rpm_limit, tpm_limit, allowed_models und budget_duration sowie zusätzliche Fenster in budget_limits. soft_budget blockiert keine Anfrage, er löst nur eine Meldung aus. Mitglieder erben eine Vorlage über budget_id und können mit budget_override abweichen, cap_policy bestimmt, ob jemand an seiner Obergrenze eine vorübergehende Erhöhung beantragen darf.
Als Rechenbeispiel zeigt die Ankündigung einen Kunden mit 100 Dollar gekauften Credits und 140 Dollar tatsächlichem Verbrauch, was eine Marge von minus 40 Prozent ergibt (Herstellerangabe, im Blog selbst als illustrativ gekennzeichnet, ohne weitere Nebenkosten).
Zwei Hinweise stehen in der Doku selbst und zählen für den Betrieb mehr als die Feature-Liste:
- Freigrenze: Ohne Enterprise-Lizenz gilt
limits_apply: truemit 5 Organisationen, 5 Teams je Organisation und 5 Mitgliedern je Team, das automatisch angelegte Standardteam zählt mit. Beim Anlegen des sechsten Objekts einer Ebene kommt ein 403 mit dem Typurn:litellm:error:customer-hierarchy-free-tier-limit. Für ein Beratungsangebot mit mehr als fünf Kunden ist das die eigentliche Preisschwelle. - Budget-Webhook: Er ist keine Buchhaltung. Die Zustellung ist best effort, 10 Sekunden Timeout, keine dauerhafte Nachlaufschlange, kein Replay. Die Doku sagt sinngemäß, man soll den Callback nicht als einzige Rechnungsgrundlage verwenden. Gebucht wird außerdem im Hintergrund, ein erfolgreicher Antrag kann also noch ohne Verbrauchseintrag dastehen.
Die Verfügbarkeits-Tabelle liest sich als Baustelle
Von neun in der Doku genannten Pull Requests waren am 16. November sieben gemergt und zwei geschlossen, ohne gemergt zu sein.
LiteLLM ordnet jede Fähigkeit einer Pull-Request-Nummer zu und unterscheidet main, Vorschau und „wird geprüft“. Diese Zuordnung habe ich am 16. November gegen die GitHub-API gemessen, denn der Zustand eines Pull Requests ist von der Ankündigung unabhängig:
| Pull Request | Doku sagt | Gemergt? | Gemessener Zeitpunkt (UTC) |
|---|---|---|---|
| #51546 Mitglieder beim ersten Antrag anlegen | auf main | ja | 13.11. 05:15 |
| #51568 Budgets über mehrere Worker hinweg | auf main | ja | 13.11. 15:33 |
| #51579 Budget-Ereignisse und Webhook | auf main | ja | 13.11. 17:16 |
| #51596 Kundenidentität in den Logs | auf main | ja | 13.11. 17:39 |
| #51645 Alarme nach Schema-Wechsel | auf main | ja | 13.11. 18:06 |
| #51607 sicheres Anlegen von Organisationen | wird geprüft | ja | 13.11. 18:21 |
| #51913 Mitglieder zwischen Teams verschieben | Vorschau | ja | 15.11. 04:22 |
| #51604 Kaltstart von Hierarchie-Anfragen | wird geprüft | nein, geschlossen | keiner |
| #51617 Mitglieder per E-Mail identifizieren | Vorschau | nein, geschlossen | – |
Die letzten zwei Zeilen sind der eigentliche Fund. Die Doku beschrieb am 16. November das Feld email am Mitglied und den Header x-litellm-customer-member-email als Funktion und verwies dafür auf #51617. Dieser Pull Request ist geschlossen, ohne dass etwas gemergt wurde, genau wie #51604. Die Doku vom 19. November hat das korrigiert: Laut API-Referenz hat v1.111 weder ein E-Mail-Feld noch den Header, eine E-Mail darf nur als gewöhnliche Mitglieds-ID dienen. Die PR-Tabelle selbst steht dort nicht mehr.
Nachgemessen am Quellbaum: main gegen die Releases
Am 16. November lagen 152 customer-Pfade auf main und 6 in der neuesten stabilen Version v1.108.9.
Die Release-Liste selbst hilft nicht weiter. In den zwölf neuesten Release-Beschreibungen kommt das Wort customer nur in den drei Vorabversionen v1.111.0-dev.1, -dev.2 und -dev.4 vor, in keiner stabilen Version und auch nicht in v1.110.0-rc.3. Neueste stabile Version ist v1.108.9, veröffentlicht am 14. November um 22:00 UTC.
Aussagekräftiger ist der Dateibaum. Die GitHub-API liefert den vollständigen Baum eines Tags oder Zweigs, das habe ich für drei Stände abgefragt und die Pfade mit customer im Namen gegen die Bereiche abseits von docs/ und ui/ gezählt:
| Versionsstand | Pfade gesamt | Pfade mit customer | Migrationen mit customer |
|---|---|---|---|
v1.106.4 (läuft bei uns) | 17.115 | 6 | 0 |
v1.108.9 (neueste stabile, 14.11.) | 17.164 | 6 | 0 |
main (Stand 16.11.) | 19.205 | 152 | 7 |
Die 152 Pfade auf main verteilen sich auf 87 Einträge im Paket litellm/ außerhalb des Proxy-Ordners, 26 im Proxy selbst, 27 unter tests/ und 12 Belege unter .github/pr-assets. Gezählt sind Pfade, also Ordner und Dateien zusammen. Die Zahlen sagen nichts über die Qualität der Funktion. Sie zeigen nur den Abstand zwischen dem angekündigten Stand und dem, was auslieferbar ist.
Dazu kommen die Migrationen (Stand 16. November). Auf main liegen sieben SQL-Migrationen mit customer im Namen, zwischen dem 12. und dem 15. November, darunter 20261112000000_customer_hierarchy, 20261113130000_customer_hierarchy_schema_cleanup und 20261115000000_customer_hierarchy_indexes. Im stabilen Release sind es null. Das Schema hat damit an drei Tagen bewegt, der letzte Schritt vom 15. November setzt nur noch Indizes. Verlangt wird beim Einsatz ausdrücklich, die kundenspezifischen Migrationen einzuspielen.
Nachgemessen am 19. November: Release Candidate gegen Stable
Am 19. November 2026 hat der Release Candidate v1.111.0-rc.2 154 customer-Pfade und 8 Migrationen, die stabile v1.110.1 hat 7 Pfade und keine Migration.
Seit dem 16. November hat sich der Stand bewegt. Um 05:40 UTC des 19. November erschien v1.111.0-rc.2, der erste Release Candidate v1.111.0-rc.1 kam am 18. November. Dessen Release-Notizen führen die Kundenhierarchie auf, darunter #51459 (Organisation, Team, Mitglied mit Budget-Vorlagen), #51489 (Prüfung auf dem Anfragepfad) und #51687 (Freigrenze). Neueste stabile Version ist v1.110.1 vom 19. November um 05:05 UTC. Ihr Quellbaum enthält dieselben Pfade wie v1.108.9 plus eine Testdatei.
| Versionsstand (GitHub, abgefragt 19.11.2026) | Pfade gesamt | Pfade mit customer | Migrationen mit customer |
|---|---|---|---|
v1.110.1 (neueste stabile) | 18.756 | 7 | 0 |
v1.111.0-rc.2 (Release Candidate) | 19.279 | 154 | 8 |
main | 19.900 | 184 | 12 |
Gezählt wurde wie am 16. November: vollständige Baumliste der GitHub-API, Pfadnamen mit customer, ohne docs/ und ui/. Gemessen mit denselben Mitteln, von Senn-IT; die Ergebnisse sind eine Momentaufnahme eines Zweigs, der sich stündlich ändert.
Wann aus dem Release Candidate eine stabile Version wird, regelt der Release-Zyklus der Doku: Nightly-Builds (dev) laufen nur durch die Pipeline, ein rc hat zusätzlich manuelle Prüfung und ein rund einwöchiges Fenster für frühe Tester, und am folgenden Dienstag wird ein bestandener rc zu stable befördert. Wenn v1.111.0-rc.1 die Prüfung besteht, wäre das Dienstag der 24. November (abgeleitet aus dem Zyklus, ohne Ankündigung des Herstellers). Fällt ein rc durch, wird er nicht befördert.
Zwei Randbedingungen aus der Doku betreffen die Wahl der Linie. Die Versionsunterstützung sieht Patches für die vier jüngsten stabilen Linien vor, ist aber seit der Woche des 2. November für einen einmonatigen LTS-Pilot ausgesetzt, dessen erste LTS-Linie 1.108 ist. Für unsere Linie 1.106 erschien am 19. November trotzdem v1.106.11, ein Backport einer Prompt-Caching-Korrektur für OpenAI-Modelle.
Budget pro Kunde auf der stabilen Linie
Auf einer stabilen Version bleibt das bisherige End-User-Tracking. Die LiteLLM-Doku zur Kundenverwaltung (abgerufen am 19. November 2026) schreibt, dieses Tracking laufe weiter, beide Systeme hätten aber getrennte Datensätze und getrennte Usage-Schnittstellen.
| Bisheriges End-User-Tracking | Customer Management | |
|---|---|---|
| Verfügbar ab | stabile Versionen vor v1.111 | v1.111.0 (am 19.11.2026 nur als Release Candidate) |
| Identität an der Anfrage | ein flacher End-User-Wert in user, x-litellm-customer-id oder x-litellm-end-user-id | Organisations-Alias und Mitglieds-ID in x-litellm-customer-org-alias und x-litellm-customer-member-id |
| Verwaltung | /customer/new, /customer/update, /customer/info | /management/v1/customer_organizations, customer_teams, customer_members |
| Budget | ein Wert je End-User | Obergrenzen je Organisation und Team, Vorlagen und Ausnahmen je Mitglied |
Quelle: LiteLLM-Doku „Customer Management and end-user tracking“, abgerufen am 19. November 2026, Herstellerangabe. Wir haben die bisherigen Routen auf unserem Gateway nicht nachgemessen. Beim Umstieg kopiert LiteLLM laut Doku keine alten Verbrauchs- oder Budgetzähler in die neuen Datensätze, die Umstellung eines Budgets mitten in der Periode kann einem Kunden also ein frisches Kontingent geben.
Nachgemessen an unserem eigenen Gateway
Unser Gateway auf LiteLLM v1.106.4 beantwortete am 16. November 2026 die beiden dokumentierten Customer-Management-Routen mit 404, die Kontrollrouten mit 200.
Unsere Lane läuft auf ghcr.io/berriai/litellm:v1.106.4, Container litellm-router, am 15. November um 22:33 UTC gestartet, ohne Neustartzähler. Für die Prüfung eines eigenen Builds nennt die Doku einen einfachen Weg: /openapi.json ansehen. Genau das haben wir getan, dazu eine Routenstichprobe:
| Messung am 16.11.2026, Senn-IT | Ergebnis |
|---|---|
GET /health/liveliness (Kontrolle) | 200 |
GET /v1/models (Kontrolle) | 200 |
GET /management/v1/customer_portal/limits | 404 |
GET /management/v1/customer_organizations | 404 |
GET /openapi.json | 200, 3.953 Bytes, kein Treffer auf customer_organizations, customer_portal oder /management/v1 |
Die beiden Kontrollrouten sind der wichtige Teil der Messung. Ohne sie wäre ein 404 bloß ein 404. So steht fest: Die Routen fehlen in unserem Stand, die API ist aber erreichbar. Das openapi-Feld auf unserem Gateway ist mit 3.953 Bytes klein und kann verkürzt ausgeliefert werden. Maßgeblich bleibt die Routenprobe, das JSON ist der zweite Beleg.
Was das für einen Betrieb heißt
Erstens ist die Freigrenze von 5 Organisationen eine Geschäftswert-Grenze, keine Technikgrenze. Ein Angebot, das pro Kunde abrechnet, stößt beim sechsten Kunden an eine 403-Antwort (abgeleitet aus der gemessenen Feldbedeutung von organization_limit und dem dokumentierten Fehlertyp). Für kleinere Betriebe mag das passen, für eine Firma, die Kundengruppen abbildet, ist es der Punkt, an dem aus Open Source ein Lizenzfall wird.
Zweitens ist der Zustand main kein Auslieferungszustand. Ein Build von main hängt an keiner Update-Linie, und die Migrationen (am 19. November zwölf) landen im selben Datenbestand wie Schlüssel und Verbrauchssätze. Wer das testen will, zieht einen leeren Zweitcontainer mit eigener Datenbank und prüft dort GET /management/v1/customer_portal/limits, bevor irgendetwas an einem produktiven Gateway geändert wird. Wer fertige Images erwartet: Die Docker-Tags main-latest und main-stable gehörten laut Vorfallsbericht von LiteLLM zu den Tags, die am 21. Oktober auf ein manipuliertes Image zeigten, und wurden danach auf sichere Quellen gesetzt. Seit v1.111.0-dev.3 sind Releases mit keyless cosign signiert, die Release-Notizen tragen den Prüfbefehl. Ein Release Candidate lässt sich also gegen seine Signatur prüfen, ein Nightly-Tag ohne Versionsnummer nicht sinnvoll. Wie wir am 24. Oktober 2026 nachgesehen haben, ob unsere Container im Schadcode-Fenster liefen, steht im Beitrag zu LiteLLM 1.107.0; dort ging es um eine andere Frage.
Drittens sind Kundenkosten ein Abrechnungsthema, und Abrechnung braucht Nachvollziehbarkeit. Ein Webhook ohne Wiedervorlage und ein Zähler, der im Hintergrund nachgezogen wird, genügen als Auslöser. Für einen Beleg braucht es die Usage-Lesung mit eigenem Zeitfenster. Bis dahin bleibt bei uns die Zuordnung über Schlüssel und eigene Kennzeichnungen, wie sie im eigenen AI Stack seit Monaten läuft, plus Auswertung der Verbrauchssätze. Wer das für mehrere Firmenbetriebe braucht, findet die Bausteine in unserem AI Gateway für Firmen.
Beobachten lohnt trotzdem: Die Funktion löst ein echtes Problem, das viele haben, die KI-Anfragen an Dritte weiterverrechnen. Der Haken liegt im Betrieb an der Auslieferung, und die misst man am besten selbst. Weitere Beiträge zum Betrieb von KI im Unternehmen sammelt der Hub KI im Betrieb.
Was nicht passiert ist
An unserem Gateway hat sich nichts geändert: kein Build von main, keine eingespielte Migration. Die Konfigurationsdatei blieb, wie sie gemessen wurde, und die Vorabversionen v1.111.0-dev.* blieben unbeachtet, denn sie tragen kein Versprechen auf Stabilität. Die gemessene Version v1.106.4 bleibt im Einsatz, bis ein stabiles Release die Routen enthält und ein Test in einer eigenen Umgebung durchgelaufen ist. Offen ist die Frage, ob die Lane vorher auf den Patchstand v1.106.11 der eigenen Linie gehört; das ist eine eigene Entscheidung.
Weiterführende Quellen
- LiteLLM: Introducing Customer Management, Ankündigung vom 13. November 2026
- Customer Management API reference und Track customer spend, abgerufen 16. und 19. November 2026
- LiteLLM: Customer Management and end-user tracking, abgerufen 19. November 2026
- LiteLLM Release Cycle, Version support und LTS pilot
- LiteLLM-Releases auf GitHub: v1.110.1, v1.111.0-rc.1, v1.108.9
- LiteLLM: Security Incident vom 21. Oktober 2026, Zeitangaben und Signierung
- Wikimedia Commons: LiteLLM Wordmark, Lizenz PD-textlogo, Marke bei LiteLLM
In welcher LiteLLM-Version steckt Customer Management?+
Am 19. November 2026 nur im Release Candidate v1.111.0-rc.2. Die neueste stabile Version v1.110.1 enthält keine der neuen Routen und keine Migration, gemessen am Quellbaum des Release-Tags. Der Release Candidate hat acht Migrationen und ist laut Release-Zyklus der Doku noch nicht freigegeben. Ob ein Tag die Funktion enthält, zeigt die Baumliste des Tags: Sie muss customer_hierarchy_auth und Migrationen mit customer im Namen enthalten.
Wie setze ich ein Budget pro Kunde in LiteLLM, solange es keine stabile Version mit Customer Management gibt?+
Mit dem bisherigen End-User-Tracking: Die Kennung des Kunden geht in user, x-litellm-customer-id oder x-litellm-end-user-id, verwaltet wird sie über /customer/new, /customer/update und /customer/info. Laut LiteLLM-Doku vom 19. November 2026 läuft dieses Tracking weiter. Es kennt nur eine flache Kennung je End-User, keine Hierarchie aus Organisation, Team und Mitglied.
Was kostet Customer Management bei LiteLLM?+
Die Funktion ist in der Open-Source-Version enthalten, aber ohne Enterprise-Lizenz auf 5 Organisationen, 5 Teams je Organisation und 5 Mitglieder je Team begrenzt. GET /management/v1/customer_portal/limits zeigt die Grenze und den aktuellen Stand des eigenen Builds.
Reicht der Budget-Webhook von LiteLLM als Abrechnungsgrundlage für Kunden?+
Nein, und LiteLLM schreibt das selbst dazu. Die Zustellung ist best effort mit 10 Sekunden Timeout, es gibt keine dauerhafte Nachlaufschlange und kein Replay. Für Rechenwerke sind die Usage-Lesungen unter /management/v1 maßgeblich, mit Hintergrundbuchung und Nachlaufzeit.
senn-tech