Brauchen wir dafür eigene GPUs?

Nicht zwingend. Eine RTX 5090 trägt ein 30-Milliarden-Parameter-Modell und amortisiert sich gegen laufende API-Kosten oft in unter einem Jahr. Wenn die Anschaffung nicht passt, läuft derselbe Stack auf gemieteter GPU-Kapazität in der EU.

Sind offene Modelle so gut wie die großen Anbieter?

Für Fragen an deine eigenen Dokumente meist ja — dort entscheidet die Qualität des Retrievals mehr als die Modellgröße. Für freie Kreativarbeit liegen die großen Anbieter vorn. Wo ein externes Modell die bessere Wahl ist, sagen wir es.

Was ist RAG und brauchen wir das?

Retrieval Augmented Generation heißt: Das Modell bekommt vor der Antwort die passenden Stellen aus deinen Dokumenten vorgelegt. Ohne das rät ein Sprachmodell; mit dem kann es auf die Quelle verweisen. Das ist der Unterschied zwischen brauchbar und gefährlich.

Wie ist das datenschutzrechtlich zu bewerten?

Läuft die Inferenz auf eigener Hardware, gibt es weder Auftragsverarbeitung noch Drittlandtransfer — die Daten verlassen das Netz nicht. Bei gemieteter EU-Kapazität bleibt es ein gewöhnlicher AV-Vertrag innerhalb der EU.

02 · Corporate LLM Stack

KI auf eigener Hardware

KI im Betrieb über einen öffentlichen Dienst heißt: Angebote, Verträge und Kundendaten verlassen das Haus. Ein eigener Stack beantwortet dieselben Fragen auf denselben Dokumenten — nur bleibt die Antwort dort, wo die Frage gestellt wurde.

Eigene Sprachmodelle unter deiner Kontrolle — auf Hardware im Haus oder auf gemieteter GPU-Kapazität in der EU. Inferenz, RAG und Voice laufen DSGVO-konform, ohne Umweg über eine fremde Consumer-API.

›On-Prem-Inferenz auf RTX 5090 mit vLLM, Ollama, llama.cpp
›RAG über deine Dokumente mit Qdrant & OpenWebUI
›Voice-Agents fürs Telefon mit Pipecat & Asterisk
›Automatisierung & Agenten-Workflows, integriert in deine Systeme

vLLMOllamallama.cppQdrantOpenWebUIPipecat

Für wen das passt

Betriebe mit Dokumenten, die nicht nach außen dürfen: Angebote, Verträge, Personalakten, Konstruktionsunterlagen. Und alle, die gemerkt haben, dass ein Chatbot ohne Zugriff auf die eigenen Daten wenig hilft.

Was bei uns selbst läuft

Wir betreiben Sprachmodelle auf eigenen Grafikkarten im Dauerbetrieb, nicht als Versuchsaufbau. Was wir bei dir aufsetzen, läuft bei uns seit Monaten.

Eigene Modell-Server: Mehrere Maschinen mit aktuellen Grafikkarten, die offene Modelle rund um die Uhr bereitstellen. Kein Token verlässt das Haus.
Ein Zugang für alles: Ein Gateway davor bündelt eigene und zugekaufte Modelle hinter einer Schnittstelle. Der Anbieterwechsel ist damit eine Konfigurationszeile, kein Projekt.
Fragen an eigene Dokumente: Handbücher, Verträge und Ablagen werden durchsuchbar, ohne dass sie zu einem Anbieter hochgeladen werden.
Dokumente automatisch lesen: Rechnungen und Lieferscheine werden ausgewertet und in die Warenwirtschaft übernommen — mit Kontrollschritt, nicht blind.
E-Mail-Klassifizierung: Ein Modell bewertet eingehende Nachrichten am Mailgateway mit, bevor sie im Postfach landen.

Wie ein Projekt abläuft

Der häufigste Fehler ist, mit der Hardware anzufangen. Wir fangen mit der Aufgabe an — oft zeigt sich dabei, dass ein kleineres Modell reicht und die Rechnung völlig anders aussieht.

1Anwendungsfall schärfen
Welche Aufgabe, welche Datenmenge, welche Fehlertoleranz. Wir rechnen vor, was der Fall mit gemieteter und mit eigener Rechenleistung kostet.
1 Termin
2Messen statt raten
Wir testen mehrere Modelle an deinen echten Daten. Das Spitzenmodell gewinnt seltener, als die Werbung nahelegt — bei Massenverarbeitung fast nie.
1–2 Wochen
3Aufbauen
Modell-Server, Gateway, Rechteverwaltung, Protokollierung, Anbindung an eure Anwendungen. Bei Bedarf mit Ausweichweg in die EU-Cloud für Lastspitzen.
2–5 Wochen
4Betrieb
Überwachung, Modellwechsel bei neuen Versionen, Kostenkontrolle. Modelle veralten alle sechs bis acht Wochen — der Betrieb muss das aushalten.
laufend

Was es kostet

Die ehrliche Antwort hängt an einer Zahl: wie viel verarbeitest du im Monat. Darunter lohnt Miete, darüber lohnt eigene Hardware — wir rechnen beides durch, bevor etwas gekauft wird.

Gemietet: Kein Investitionsaufwand, Abrechnung nach Verbrauch, sofort startklar. Rechnet sich bei schwankender oder geringer Last — und bei Daten, die das Haus verlassen dürfen.
Eigene Hardware: Einmalige Anschaffung plus Strom. Rechnet sich ab konstanter Grundlast, und ist die einzige Variante, bei der personenbezogene Daten sicher im Haus bleiben.
Gemischt: Grundlast auf eigener Hardware, Spitzen und Spezialfälle zugekauft. In der Praxis die häufigste Antwort — und der Grund, warum das Gateway davor gehört.

Was du bekommst

✓Eine gemessene Empfehlung statt einer Modellmeinung
✓Betrieb auf eigener Hardware, in der EU-Cloud oder gemischt
✓Ein Gateway, das den Anbieterwechsel zur Konfigurationszeile macht
✓Protokollierung, die zeigt, wer was gefragt hat — Voraussetzung für den EU AI Act
✓Eine Kostenrechnung, die auch den Betrieb enthält, nicht nur die Anschaffung

Häufige Fragen

Brauchen wir dafür eigene GPUs?: Nicht zwingend. Eine RTX 5090 trägt ein 30-Milliarden-Parameter-Modell und amortisiert sich gegen laufende API-Kosten oft in unter einem Jahr. Wenn die Anschaffung nicht passt, läuft derselbe Stack auf gemieteter GPU-Kapazität in der EU.
Sind offene Modelle so gut wie die großen Anbieter?: Für Fragen an deine eigenen Dokumente meist ja — dort entscheidet die Qualität des Retrievals mehr als die Modellgröße. Für freie Kreativarbeit liegen die großen Anbieter vorn. Wo ein externes Modell die bessere Wahl ist, sagen wir es.
Was ist RAG und brauchen wir das?: Retrieval Augmented Generation heißt: Das Modell bekommt vor der Antwort die passenden Stellen aus deinen Dokumenten vorgelegt. Ohne das rät ein Sprachmodell; mit dem kann es auf die Quelle verweisen. Das ist der Unterschied zwischen brauchbar und gefährlich.
Wie ist das datenschutzrechtlich zu bewerten?: Läuft die Inferenz auf eigener Hardware, gibt es weder Auftragsverarbeitung noch Drittlandtransfer — die Daten verlassen das Netz nicht. Bei gemieteter EU-Kapazität bleibt es ein gewöhnlicher AV-Vertrag innerhalb der EU.

Projekt besprechen.← Leistungen