Zum Inhalt springen
senn-techsenn-tech
Zurück zum Blog
KI-Hardware
Lokale KI und GPU-Hardware2026-11-15· Von Franz Senn

NVIDIA Snapshot: Restore in Sekunden, Kaltstart in Minuten

Am 11. November haben wir den Host unserer Standby-Lane von Hand neu gestartet, und der Container kam nicht wieder hoch: Die Restart-Policy stand auf no. Erst die Alarmmail am Nachmittag und ein Handgriff brachten die Lane zurück, danach war sie nach rund 120 Sekunden gesund (so steht es in unserer Betriebsnotiz vom 11.11.2026; gemeint ist die Standby-Lane mit einem 27B-Modell auf einer Karte, die Produktiv-Lane folgt weiter unten). Genau diese Lücke will NVIDIA Snapshot schließen, open source seit 10. November 2026.

Was ein GPU-Checkpoint ist. Ein Checkpoint friert einen bereits initialisierten Prozess komplett ein: CPU-Speicher, GPU-Speicher, offene Dateien, Thread-Zustand. Beim Restore erwacht der Prozess an der Stelle, an der er schlafen gelegt wurde. Die Engine muss keine Gewichte lesen, keine Kernel kompilieren, keine CUDA-Graphen aufnehmen. Gespart wird der ganze Kaltstart, das Datei-Laden ist nur ein Teil davon.

Logo von NVIDIA
NVIDIA hat Snapshot am 10. November 2026 als Open Source veröffentlicht; alle Snapshot-Zahlen in diesem Beitrag sind Herstellerangaben. (Quelle: Simple Icons, CC0)

Was NVIDIA Snapshot liefert

Snapshot ist ein Baustein der DSX-Plattform und liegt als Apache-2.0-Repository im GitHub von ai-dynamo. Installiert wird eine Helm-Release mit zwei Teilen: ein Operator im Control-Plane, dazu ein privilegierter Node-Agent als DaemonSet auf jedem GPU-Knoten. Ein Pod wird über die Ressource PodSnapshot eingefroren, der Restore läuft über die Annotation nvidia.com/restore-from. Unter dem Strich arbeiten CRIU für den Prozess und cuda-checkpoint für den GPU-Anteil; das CUDA-Werkzeug cuda-checkpoint steht dabei laut dessen Repository unter der NVIDIA-SDK-EULA und nicht unter Apache.

Die Zahlen aus Repository und Blog (Blog vom 10.11.2026), am 15.11.2026 erneut gelesen und nachgerechnet, alles Herstellerangabe:

GrößeWertEinheit
Getestete Konfigurationen22 (vLLM, SGLang, TensorRT-LLM)Stück
Restore schneller als Kaltstart8,1 bis 35,9Faktor
Restore-Zeit im Blog genannt3,6 bis 42,7Sekunden
Checkpoint-Zeit15,3 bis 327,2Sekunden
Schwerstes Modell im Test913,09GB Gewichte
GPU-Anteil der Restore-Zeit bei acht Karten18,17 bis 28,98Sekunden

Die Checkpoint-Spanne stammt aus der Tabelle in Repository und Blog: vom kleinsten Modell mit 15,3 Sekunden bis zu GLM-5.3 mit SGLang bei 327,2 Sekunden, also 5,5 Minuten. Zwei Details aus der Tabelle verdienen Aufmerksamkeit. Beim kleinsten Modell des Tests (Qwen3-0.6B) stecken 3,66 der 4,66 Sekunden Restore in Agent-Vorbereitung und CRIU, der GPU-Anteil ist fast eine Randnotiz. Und der Restore braucht passende Hardware: gleiche GPU-Bestückung, gleicher Treiber. Wer vier Karten im Tensor-Parallel-Betrieb einfriert, braucht zum Wiedererwecken vier ebensolche. Der Blog rundet die Beschleunigung auf 8x bis 36x, die Tabelle im Repository sagt 8,1 bis 35,9. Die Checkpoint-Zeit steht im Blog als „15 Sekunden bis 5,5 Minuten“, 327,2 Sekunden sind 5,45 Minuten. Alle Messungen laufen laut performance.md auf B200-Karten mit NFS-Speicher (VAST, NFSv3) und vLLM 0.31.0, Treiber 615.71.09. Das ist dieselbe Versionsnummer wie bei uns, aber auf anderer Hardware; ob für B200 und GeForce dasselbe Treiberpaket gilt, haben wir nicht geprüft.

NVIDIA Snapshot: Einfrieren und Wiedererwecken eines GPU-ProzessesEngine läuftinitialisiertGewichte geladen, KernelbereitCheckpointCRIU sichert den Prozess,cuda-checkpoint denGPU-AnteilArtefakt im geteiltenStoreCPU-Zustand, GPU-Zustand,Rootfs-ArchivRestore perAnnotationnvidia.com/restore-from amPodProzess erwachtohne Gewichte lesen, Kernelkompilieren, Graphenaufnehmen
Ablauf nach Repository und Blog von NVIDIA, Herstellerangabe; von uns nicht ausprobiert. (Quelle: NVIDIA-Blog zu Snapshot, 10.11.2026)

Wo die Zeit bei uns wirklich liegt

Wir betreiben unsere Produktiv-Lane auf einem Metall-Host ohne Virtualisierung, vier RTX 5090, Docker statt Kubernetes, vLLM 0.32.0, Tensor-Parallelität 4, KV-Cache in nvfp4, 220.000 Token Kontext. Die Gewichte des laufenden Modells belegen 122,5 GiB auf der Platte (Summe der Dateigrößen mit ls -l), verteilt auf 53 safetensors-Dateien. Der Host hat 91 GiB Arbeitsspeicher; free -g zeigte am 15.11.2026 davon 1 GiB verfügbar. Die Gewichte passen damit nie komplett in den Page-Cache, jeder Kaltstart liest neu von der NVMe.

Wir haben sechs echte Neustarts vom 18.10. bis 02.11. aus den Container-Logs gelesen (docker logs --timestamps, am 15.11.2026 erneut ausgewertet, alle sechs Werte decken sich mit der Messung vom 12.11.), jeweils von der ersten Log-Zeile des Prozesses bis zur Meldung Application startup complete. Kein Laboraufbau, es sind die Starts von Bild- und Config-Änderungen:

StartGesamtzeit sdavon Engine-Initialisierung s
18.10.2026376,1122,48
28.10.2026 (1)273,846,12
28.10.2026 (2)275,447,07
28.10.2026 (3)300,057,75
28.10.2026 (4)293,357,95
02.11.2026292,463,79

Einheit Sekunden, Quelle: docker logs --timestamps des Produktiv-Containers auf unserem Host mit vier RTX 5090, erste Messung 12.11.2026, nachgelesen 15.11.2026. Drei weitere Starts am 05.11. liegen bei 302, 297 und 347 Sekunden (zwei abgebrochene Versuche davor) und damit in derselben Spanne. Sie stehen nicht in Tabelle und Diagramm, weil wir sie erst nachträglich gefunden haben und ihre Engine-Initialisierung nicht ausgewertet ist; ein festes Auswahlkriterium haben wir nicht protokolliert. Der Median über alle neun Starts liegt bei 297 Sekunden, über die sechs in der Tabelle bei 293 (derived), die Aussage ändert sich nicht.

Gemessene Kaltstarts unserer vLLM-Lane (Sekunden)18.10.376 · langsamer Start28.10. (1)27428.10. (2)27528.10. (3)30028.10. (4)29302.11.2920400
Sechs echte Neustarts, Median 293 Sekunden (alle neun bekannten Starts: 297). Die Spanne von 274 bis 376 haben wir nicht weiter aufgeschlüsselt. (Quelle: eigene Messung, Container-Logs, 15.11.2026)

Zwischenfazit: Unsere 274 bis 376 Sekunden liegen innerhalb der Kaltstart-Spanne in NVIDIAs Tabelle, die von 87 bis 1.111 Sekunden reicht (B200, geteiltes NFS). Am nächsten kommen gpt-oss-120b auf vier Karten mit 156 bis 269 Sekunden und GLM-5.3 auf acht Karten mit 364 bis 427 Sekunden; dasselbe Modell haben wir nicht verglichen. Rechnet man die Engine-Initialisierung ab, bleiben bei uns 228 bis 254 Sekunden für Start und Gewichte. Das sind 0,48 bis 0,54 GiB je Sekunde. Ob daran die Platte oder die Deserialisierung schuld ist, haben wir nicht getrennt gemessen. Die Initialisierung selbst schwankt bei uns um den Faktor 2,7, weil Profiling, KV-Cache-Anlage und Warmlauf vom Zustand der Maschine abhängen. Wer nur den Datendurchsatz verbessert, arbeitet am falschen Ende.

Was Snapshot bei uns blockiert

Die Voraussetzungen der Dokumentation, Stand 12.11.2026, gegen den gemessenen Stand von heute gerechnet:

VoraussetzungStand bei uns, gemessen 15.11.2026Urteil
Kubernetes mit Helmkein kubectl, kein kubelet, Docker 29.8.0Einbau nötig
NVIDIA GPU Operator 26.3 oder neuernicht installiertEinbau nötig
Linux-Kernel 5.13 oder neuer7.0.0-42-genericerfüllt
Kernel-Treiber 580 oder neuer615.71.09erfüllt
containerd oder CRI-O als RuntimeDocker 29.8.0, kein CRI-Betrieboffen
MIG deaktiviertkeine MIG-fähige Karteerfüllt
Privilegierter Agent mit hostPID, hostIPC, hostNetworktechnisch möglich, greift tief in den Hostabzuwägen
Geteilter Store: ReadWriteMany oder S3lokal, 1,6 TB frei auf der NVMeEinzelhost-Pfad
Treiber im Nutzerraum (libcuda) 615 bei Mehr-GPU-WorkloadsZwei Workload-Prozesse laden libcuda.so.615.71.09 (/proc/<pid>/maps); PageBroker und Agent gibt es bei uns nichtfür den Workload erfüllt

Beim Speicher: Die Snapshot-Artefakte enthalten CPU-Zustand, GPU-Zustand und ein Rootfs-Archiv. In NVIDIAs Tabelle liegen sie bei den vLLM-Läufen mit vier bis acht Karten zwischen dem 1,1- und dem 1,8-fachen der Gewichte, ein SGLang-Lauf mit vier Karten kommt auf gut das Zehnfache. Dabei gilt eine Einschränkung: NVIDIA hat die Engines vor dem Checkpoint den KV-Cache freigeben lassen. Unsere Lane belegt über 90 Prozent des Grafikspeichers und hat einen fest dimensionierten KV-Cache, und ohne vorherige Freigabe käme der KV-Cache in das Artefakt hinein. Nach NVIDIAs Tabelle liegt das Verhältnis bei vLLM mit mehreren Karten zwischen 1,09 (DeepSeek-V4-Pro, 996,53 zu 913,09 GB) und 1,83 (gpt-oss-120b auf vier Karten, 119,69 zu 65,25 GB). Auf unsere 122,5 GiB Gewichte übertragen sind das 134 bis 224 GiB je Snapshot (abgeleitet, ohne eigene Messung), und zwar nur mit freigegebenem KV-Cache. Ohne die Freigabe wird das Artefakt größer. Der Vorrat auf der Platte reicht dafür trotzdem, auch für mehrere Artefakte.

Der eigentliche Preis ist die Bühne. Für einen Einzelhost mit Docker heißt das: Kubernetes aufsetzen, GPU Operator einführen, zwei Namespaces pflegen, nur um eine Annotation zu setzen. Ob der GPU Operator eine GeForce 5090 sauber verwaltet, steht in den Voraussetzungen nicht; die Limitations sagen nur, dass Snapshot auf GPUs läuft, die der benötigte CUDA-Treiber unterstützt. Diese Frage beantworten wir erst, wenn wir den Operator installiert haben.

Auffällig für unsere Konfiguration ist die Bedingung für Mehr-GPU-Workloads: Sie baut laut Dokumentation auf GPU CustomStorage auf und verlangt deshalb den Treiber im Nutzerraum (libcuda) in Version 615 oder neuer. Erfüllt der Workload das nicht, bleibt der Checkpoint in cuCheckpointProcessLock hängen und scheitert nach dem Timeout mit CUDA_ERROR_OPERATING_SYSTEM. Ein Kernel-Treiber unter 580 lässt den Restore am Check driver-minimum abprallen. Unsere Lane spricht über NCCL mit vier Karten, und der Workload lädt libcuda 615.71.09. Ob NCCL-Multicast (NVLS) beim Einfrieren zusätzlich Ärger macht, nennt die Dokumentation nicht, und wir haben es auf unserer Strecke nicht geprüft.

Die Abkürzung liegt schon im Image

Unsere Produktion enthält vLLM 0.32.0, und die Kommandozeile der Engine bietet zwei Dinge, die denselben Zweck ohne Kubernetes verfolgen (vllm --help im Container, 15.11.2026). vllm snapshot mit den Unterpunkten create, inspect und restore. Die Hilfe sagt: „Create a snapshot from an initialized TP1 engine“ und „Restore a same-host TP1 snapshot“. Den Befehl haben wir nicht ausprobiert, nur die Hilfe gelesen. Unsere Lane läuft mit Tensor-Parallelität 4, fällt also raus. Für eine Einkarten-Lane wäre das der schnelle Weg.

vllm preload startet je GPU einen Daemon, der die fertig quantisierten Gewichte im Grafikkartenspeicher hält und sie anderen Engines über CUDA-IPC übergibt. Das klingt nach unserem Kaltstart-Problem, kostet aber Grafikkartenspeicher. Unsere Lane belegt über 90 Prozent des Grafikspeichers, der Puffer fehlt (abgeleitet, ohne Test). vllm download-kernels holt schließlich vorcompilierte Kernel und senkt damit die Kompilierzeit beim Start.

Was wir daraus machen

Für einen einzelnen Inferenz-Rechner bleibt der Restore ein Ausbau-Projekt. Die Handgriffe bis dahin sind jetzt möglich:

  • Restart-Policy und systemd-Unit so setzen, dass die Lane ohne Menschen hochkommt. Genau daran ist die Standby-Lane am 11. November gescheitert.
  • Das Kaltstart-Zeitbuch weiterführen: 102 Sekunden Unterschied zwischen dem langsamsten und dem schnellsten Start (376,1 gegen 273,8) wollen einer Erklärung zugeführt werden, bevor wir Speicher dafür kaufen.
  • Eine Einkarten-Lane mit vllm snapshot durchtesten, sobald eine 5090 frei ist. TP1, gleicher Rechner, ohne Kubernetes.
  • Snapshot ernst nehmen, sobald ein zweiter Grund dazukommt: mehrere GPU-Knoten, Autoscaling oder Mandanten mit ungleichem Traffic.

Wie unsere KI-Strecke heute steht, steht im Beitrag eigene KI-Strecke mit LiteLLM und vLLM, mehr Betriebsthemen im Sammelbereich KI im Betrieb.

Wer prüfen will, ob sich so ein Ausbau für die eigene Firma rechnet, kann uns Traffic-Kurve und Hardware-Liste schicken. Wir messen den Kaltstart zuerst auf der vorhandenen Maschine, bevor jemand kauft: Corporate LLM Beratung.

Was bleibt

Die Technik ist solide dokumentiert, die Zahlen sind nachvollziehbar. Für uns mit einem Host, Docker und GeForce-Karten hängt der Restore hinter drei Dingen: einer Kubernetes-Bühne, einem geteilten Store und der Frage nach dem GPU Operator. Den Hebel bis dahin haben wir selbst in der Hand, nämlich Startpolitik, vorcompilierte Kernel und eine Karte, die im Zweifel frei ist.

Offene Punkte: Wir haben weder Snapshot noch vllm snapshot ausprobiert; alle Snapshot-Zahlen sind Herstellerangaben auf B200-Karten, unsere Größenspanne ist abgeleitet. Ob der GPU Operator mit GeForce-Karten läuft und ob NCCL-Multicast beim Einfrieren stört, wissen wir nicht. Die Startzeiten unserer Produktiv-Lane sind sechs Läufe aus den Container-Logs; was den Ausreißer vom 18.10. verursacht hat, ist nicht aufgeklärt. Die Standby-Lane (120 Sekunden) haben wir nicht erneut gestartet, die Zahl stammt aus unserer Betriebsnotiz vom 11.11.2026.

Weiterlesen: H100-Mietpreise im Anbietervergleich · Arbeitsspeicher als Grenze lokaler KI-Agenten · Inkling 2 Small gegen unser VRAM-Limit

Weiterführende Quellen

Kennzeichnung: Herstellerangabe = von NVIDIA, am 15.11.2026 abgerufen und gelesen, nicht von uns nachgemessen; abgeleitet = von uns daraus gerechnet; eigene Messung = Messweg im Text.

  • NVIDIA-Blog: Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot, Herstellerangabe, 10.11.2026, Messreihe auf B200 mit geteiltem NFS
  • Repository ai-dynamo/snapshot, Herstellerangabe, Apache 2.0, Hinweis, dass die API sich ändern kann und der Einsatz in kritischen Produktivlasten nicht empfohlen ist
  • Voraussetzungen, Herstellerangabe, Treiber 580 und libcuda 615, Verhalten bei Verstoß
  • Messwerte im Repository, Herstellerangabe, Checkpoint-Größe und -Zeit je Modell; Größenverhältnisse und Spannen von uns nachgerechnet, abgeleitet
  • CUDA-Treiber prüfen, Herstellerangabe, welcher Prozess welche libcuda lädt
  • Bekannte Einschränkungen, Herstellerangabe, Einzelknoten, kein vGPU, keine Interception-Werkzeuge
  • cuda-checkpoint, Herstellerangabe, Lizenz: NVIDIA-SDK-EULA
  • CRIU, Projektseite des Prozess-Checkpoint-Werkzeugs
  • Eigene Messung: Treiber, Kernel, Docker, Arbeitsspeicher, Dateigrößen, Prozess-Maps und vllm --help per SSH read-only auf dem Produktiv-Host mit vier RTX 5090, 15.11.2026; Startzeiten aus docker logs --timestamps desselben Containers (Logs ab 18.10.2026)
Fragen?
Funktioniert NVIDIA Snapshot mit GeForce-Karten?+

Entscheidend ist der Treiber. Auf unserem Host steht 615.71.09, gemessen am 15.11.2026 mit nvidia-smi, die Dokumentation verlangt Kernel-Treiber 580 und für Mehr-GPU-Betrieb libcuda 615. NVIDIA schränkt auf GPUs ein, die der benötigte CUDA-Treiber unterstützt. Offen bleibt, ob der GPU Operator mit einer RTX 5090 mitmacht.

Wie groß wird ein Snapshot bei einem 122-GiB-Modell auf vier Karten?+

Rund 134 bis 224 GiB, abgeleitet aus dem Verhältnis von Artefakt zu Gewichten in NVIDIAs vLLM-Mehrkartenläufen (1,09 bis 1,83) mal unsere 122,5 GiB. Das setzt voraus, dass der KV-Cache vor dem Checkpoint freigegeben wird, so hat NVIDIA gemessen. Ohne Freigabe würde das Artefakt größer. Gemessen haben wir keinen Snapshot.

Ist NVIDIA Snapshot produktionsreif?+

Nein, das Repository rät selbst noch von produktionskritischen Workloads ab, die API kann sich ändern. Für einen Einzelhost mit Docker kommt dazu, dass Kubernetes, der GPU Operator und ein geteilter Store erst aufgebaut werden müssten. Wir würden es zuerst auf einer Testlane anfassen.