senn-techOffene Modelle auf eigener Hardware gegen geschlossene Cloud-APIs
Die Frage kommt in fast jedem Erstgespräch: eigene Hardware oder API? Und fast immer wird sie als Glaubensfrage gestellt, obwohl sie eine Rechenaufgabe ist.
Wir betreiben beides — GPUs im Haus für alles, was intern bleiben muss, und Anbieter-APIs für Aufgaben, bei denen es auf die letzte Stufe Qualität ankommt. Was hier steht, ist die Entscheidungsgrundlage, die wir selbst benutzen.
Der Qualitätsabstand, ehrlich beziffert
Zwei Dinge lassen sich daraus ablesen, und beide sind wichtig:
Der Abstand zur Spitze ist kleiner geworden. Die besten offenen Gewichte liegen wenige Indexpunkte hinter dem, was die grossen Anbieter liefern. Das war vor zwei Jahren noch anders.
Was auf eine einzelne GPU passt, liegt weiter zurück. Die starken offenen Modelle sind gross. Ein Modell mit 27 bis 30 Milliarden Parametern läuft quantisiert auf einer Karte mit 32 GB — die 200-Milliarden-Klasse braucht mehrere Karten und viel Hauptspeicher. Das ist der Punkt, an dem die meisten Rechnungen kippen: Man vergleicht die offene Spitze mit der geschlossenen Spitze und kauft dann Hardware, auf der die offene Spitze gar nicht läuft.
Wo der Abstand keine Rolle spielt
Bei Fragen an die eigenen Dokumente. Wenn ein Modell aus einem Angebot, einem Vertrag oder einem Wartungsprotokoll antworten soll, entscheidet die Qualität des Retrievals, nicht die Modellgrösse. Ein mittelgrosses offenes Modell mit gut gebauter Vektorsuche schlägt ein Spitzenmodell ohne Zugriff auf deine Daten deutlich.
Das ist der eigentliche Grund, warum sich eigene Inferenz für Betriebe lohnt: Der typische Anwendungsfall im Mittelstand ist nicht „schreib mir einen Roman", sondern „welche Zahlungsfrist steht in diesem Vertrag".
Die Kostenschwelle
Eine RTX 5090 mit 32 GB liegt bei etwa 2.500 Euro. Dazu ein Gehäuse, Strom und Betrieb. Auf dieser Karte läuft ein 30-Milliarden-Modell quantisiert mit brauchbarer Geschwindigkeit.
Die Rechnung dagegen: Was kostet dasselbe Volumen über eine API? Bei den günstigen Modellen im Cent-Bereich pro Million Token dauert die Amortisation lange. Bei den Spitzenmodellen mit zweistelligen Dollarbeträgen pro Million Ausgabe-Token ist die Karte in Monaten bezahlt.
Die entscheidende Grösse ist die Auslastung, nicht der Anschaffungspreis. Eine GPU, die zu fünf Prozent läuft, ist teurer als jede API. Eine GPU, die durchgehend arbeitet, ist konkurrenzlos günstig.
Deshalb der praktische Rat: erst messen, dann kaufen. Zwei bis drei Monate über eine API fahren, das echte Token-Volumen protokollieren, und daraus die Entscheidung ableiten.
Was für eigene Hardware spricht, jenseits der Kosten
Die Daten bleiben im Netz. Kein Auftragsverarbeitungsvertrag, kein Drittlandtransfer, keine Diskussion mit dem Betriebsrat über Beschäftigtendaten in einer fremden Cloud.
Keine Abhängigkeit von Modellwechseln. Anbieter setzen Modelle ab, ändern Verhalten mit einem Update oder ziehen ein Modell kurzfristig zurück. Ein Modell, das auf deiner Platte liegt, tut das nicht. Wer eine Anwendung um ein bestimmtes Modellverhalten herum gebaut hat, weiss, was das wert ist.
Kalkulierbare Kosten. Eine Karte kostet, was sie kostet. Ein API-Budget kann durch einen fehlerhaften Agenten-Lauf in einer Nacht explodieren.
Was für die API spricht
Kein Kapital gebunden. Für viele Betriebe ist das der wichtigste Punkt — und der Grund, warum „On-Premise zuerst" als pauschale Empfehlung falsch ist.
Die letzte Stufe Qualität. Für schwierige Reasoning-Aufgaben, lange autonome Agenten-Läufe und Bildverständnis auf komplexen Diagrammen liegen die grossen Anbieter weiter vorn.
Kein Betrieb. Treiber, Quantisierung, Kontextlängen, ein Modellwechsel im laufenden Betrieb — das ist Arbeit. Wer sie nicht leisten will oder kann, zahlt mit Recht dafür, dass ein anderer sie leistet.
Die Mischung ist meistens richtig
Bei uns läuft es so: Alles, was Kundendaten, Verträge oder Personaldaten berührt, läuft im Haus. Alles, was allgemeines Wissen und maximale Qualität braucht, geht über eine API — bewusst und ohne sensible Inhalte.
Ein Gateway davor macht diese Trennung erträglich: Die Anwendung spricht mit einer Adresse, die Weiche entscheidet je nach Aufgabe, welches Modell antwortet. Wechselt ein Modell, ändert sich eine Konfigurationszeile und nicht der Anwendungscode.
Wenn eigene Hardware nicht ins Budget passt, gibt es einen dritten Weg, der oft übersehen wird: gemietete GPU-Kapazität in der EU. Derselbe offene Modell-Stack, dieselbe Kontrolle über die Software, ein gewöhnlicher Auftragsverarbeitungsvertrag innerhalb der EU — nur ohne die Anschaffung.
Weiterführend
Wie gross ist der Qualitätsabstand zwischen offenen und geschlossenen Modellen?+
Im Intelligenz-Index liegen die besten offenen Gewichte 2026 rund zehn bis fünfzehn Punkte hinter der geschlossenen Spitze. Für Fragen an eigene Dokumente ist der Abstand praktisch bedeutungslos, weil dort die Qualität des Retrievals entscheidet. Für offene Kreativarbeit und schwierige Reasoning-Aufgaben ist er spürbar.
Ab wann rechnet sich eine eigene GPU?+
Eine RTX 5090 mit 32 GB kostet rund 2.500 Euro und trägt ein Modell mit 30 Milliarden Parametern quantisiert. Gegen API-Kosten amortisiert sie sich bei durchgehender Nutzung oft in unter einem Jahr — bei sporadischer Nutzung nie. Die entscheidende Grösse ist nicht der Preis, sondern die Auslastung.
Ist On-Premise-Inferenz automatisch DSGVO-konform?+
Sie beseitigt zwei Probleme: keine Auftragsverarbeitung durch einen Dritten und kein Drittlandtransfer. Sie beseitigt nicht die Pflichten, die du ohnehin hast — Rechtsgrundlage, Zweckbindung, Löschkonzept, Transparenz gegenüber Betroffenen. Eigene Hardware macht die Sache einfacher, nicht automatisch erledigt.
Kann ich klein anfangen?+
Ja, und das ist der vernünftige Weg. Beginne mit einer API und miss dein tatsächliches Volumen über einige Wochen. Aus dieser Zahl folgt die Hardware-Entscheidung — oder eben die Entscheidung, bei der API zu bleiben. Umgekehrt kauft man teuer und lastet nicht aus.