Sovereign AI: Datenhoheit ist keine Stimmung, sondern eine Architekturentscheidung

Jede KI, die über eine API läuft, hat ein Datenproblem, das man nicht wegreden kann: der Prompt verlässt das Haus. Bei internen Dokumenten, Buchungsdaten oder Personalthemen ist das kein theoretisches Risiko — es ist die Definition fehlender Datenhoheit.

Was „Sovereign AI“ tatsächlich verlangt

Verarbeitungsort: Eingabe, Modell und Ausgabe laufen auf Hardware, die man kontrolliert — nicht auf der eines API-Anbieters.
Kein Trainings-Teilen: Das Modell wird nicht mit den Prompts anderer Kunden verbessert, weil es schlicht nicht in der Cloud trainiert wird.
Nachvollziehbarkeit: Wer, wann, welche Anfrage gestellt hat, ist protokollierbar — intern, nicht bei einem externen Provider.
Auditierbarkeit: Im Zweifel kann man den Server zeigen, nicht nur ein Datenschutz-Datenblatt.

Wie on-prem LLM das löst

vLLM oder Ollama dienen ein offenes Gewichtsmodell (z. B. Qwen, Llama oder Mistral) auf eigener GPU aus. Die Eingabetexte erreichen nie ein fremdes Rechenzentrum.
RAG mit Qdrant bindet das Modell an die echten internen Dokumente — die Vektoren liegen im eigenen Netz, nicht in einer US-Vektordatenbank.
Kontrollierte Updates: Neue Modellversionen werden bewusst eingespielt, nicht über Nacht ausgerollt — was unter Stability-Gesichtspunkten ein Vorteil ist.

Wo die Grenzen liegen

Trainingsdaten des Modells kann man auch on-prem nicht vollständig auditieren — das offene Gewicht zeigt, was im Modell ist, aber nicht mit letzter Sicherheit, was im Training war. Das ist aber ein deutlich kleineres Risiko als die laufende Datenweitergabe an eine API.
Frontier-Modelle sind auf-API teils schärfer als das, was man lokal hosten kann. Wer absolute Reasoning-Spitze braucht, muss abwägen — für die meisten betrieblichen Anwendungen reicht eine gut geführte lokale 70B.
Betriebsaufwand fällt an: Monitoring, Backups, Patchen der GPU-Treiber. Das ist ehrlich aufzuwählen, kein Mangel.

Warum der API-Weg teuer endet

Der interessante Teil von API-Preisen ist nicht der Listenpreis, sondern die Skalierung: jeder Token kostet, jeder Retry kostet, jeder interne Test-Call kostet. On-prem ist der Token kostenlos — die Kosten sind die Hardware, und die ist amortisiert da. Ab einem gewissen Nutzungsgrad kehrt sich das Verhältnis um.

Unsere Sicht

Datenhoheit ist kein Zertifikat, das man kauft. Sie ist die Konsequenz einer Architektur, die von der ersten Zeile Code an auf den Verarbeitungsort achtet. Wer LLMs ernsthaft im Unternehmen einsetzt, kommt an on-prem nicht vorbei — nicht aus Ideologie, sondern weil die Alternativen entweder teuer oder datenschutzrechtlich unhaltbar sind.

FAQ

Ist Sovereign AI nicht einfach ein EU-Marketingbegriff?+

Das Label wird oft missbraucht — echte Datenhoheit entsteht aber nicht durch ein Zertifikat, sondern durch die Architektur. Entscheidend ist, wo Eingabe, Modell und Ausgabe verarbeitet werden: auf eigener Hardware oder beim API-Anbieter. Wer on-prem ein offenes Gewichtsmodell über vLLM oder Ollama ausrollt und RAG mit Qdrant im eigenen Netz betreibt, hat die Datenhoheit technisch gesichert — nicht nur behauptet.

Wann reicht eine Cloud-API statt lokaler Modelle?+

Für alles, was keine internen Dokumente, Buchungs- oder Personaldaten berührt, ist eine API vertretbar und oft einfacher. Sobald aber vertrauliche Inhalte im Prompt landen, verlässt die Information das Haus — und das ist datenschutzrechtlich meist unhaltbar. On-prem lohnt sich ab dem Moment, wo KI auf sensible oder kommerziell wertvolle Unternehmensdaten zugreifen soll.

Ist ein lokales Modell nicht zu schwach für ernsthafte Aufgaben?+

Frontier-Modelle über API sind teils schärfer, das stimmt — aber für die meisten betrieblichen Anwendungen reicht eine gut geführte lokale 70B völlig. Der eigentliche Hebel ist RAG an die internen Dokumente, nicht das reine Reasoning-Spektrum. Wer absolute Spitzengüte braucht, wägt ab; wer Alltagstauglichkeit will, ist lokal gut bedient.