Nemotron 3.5 Embed, Rerank, Parse: Nvidias offene RAG-Modelle ab 1B

Nvidia hat am 21. Oktober 2026 auf der GTC Berlin drei offene Modelle für Retrieval-Pipelines vorgestellt, wie The Register berichtet: ein Embedding-Modell, einen Reranker und einen Dokumenten-Parser. Die Gewichte liegen auf Hugging Face, die Modellkarten nennen den 20. Oktober als Veröffentlichungsdatum. Wer ein RAG-System selbst betreibt, findet hier eine Alternative zu Qwen3-Embedding und bge-reranker. Die Benchmarkzahlen sind allerdings alle Herstellerangaben. Eine unabhängige Messung haben wir bei einer Suche nicht gefunden.

Die Einordnung in diesem Beitrag folgt drei Labels: verifiziert (auf der Modellkarte oder in zwei Quellen nachgelesen), abgeleitet (von uns aus den Angaben gerechnet) und Herstellerangabe (Zahl von Nvidia, ohne unabhängige Bestätigung).

Die drei Modelle und ihre Größen

Embed gibt es als 8B und als 1B, Rerank nur als 8B, Parse als eigenes Modell. Verifiziert nach den Modellkarten:

• Embed 8B hat 8,38 Milliarden Parameter und liefert Vektoren mit 4096 Dimensionen.
• Embed 1B hat 1,55 Milliarden Parameter, also mehr, als der Name sagt, und liefert 2048 Dimensionen. Es gibt BF16- und NVFP4-Fassungen.
• Beide Embed-Modelle verarbeiten 32.768 Token Kontext. Anfragen sind reiner Text, Dokumente dürfen Text, Bild oder beides sein.
• Parse hat laut Karte 630.800.496 Parameter, rund 0,631 Milliarden. The Register nennt "one billion", das ist gerundet; unite.ai nennt 631 Millionen, das deckt sich mit der Karte.

Die Vektoren lassen sich kürzen: Die Karte beschreibt, dass man sie am Ende abschneiden kann (danach neu normieren). Das spart Speicher im Vektorindex. Die Karte nennt gekürzte Vektoren weiterhin brauchbar für die Suche (Herstellerangabe), Zahlen dazu stehen nicht in unseren Quellen.

The Register schreibt außerdem, die Modelle unterstützten Embeddings für Bilder und Text in 34 Sprachen.

Herstellerzahlen zur Qualität

Alle folgenden Werte sind Herstellerangaben, wiedergegeben von unite.ai vom 21. Oktober 2026.

Weitere Herstellerangaben aus derselben Quelle:

• Der Reranker 8B erreicht 60,49 auf einer kombinierten Rangliste, Qwen3-VL-Reranker-8B kommt auf 59,17. Das sind 1,3 Punkte Abstand.
• Mit vorgeschaltetem Reranker sinken die Token-Kosten pro Anfrage in einem Agenten-Aufbau um etwa 14 Prozent (Embed 8B) und 13 Prozent (Embed 1B), bei besserer Genauigkeit. LLM, Werkzeuge, Aufgaben und Korpus waren dabei konstant.
• Parse erreicht auf ParseBench 75,20 bei 10,5 Seiten pro Sekunde auf einer H100 (Dreifachdurchlauf) oder 72,74 bei 16,1 Seiten pro Sekunde (Einzeldurchlauf). Die Karte nennt leicht abweichende Durchsatzwerte (10,62 und 15,42 Seiten pro Sekunde auf 2.078 Seiten).
• Die NVFP4-Fassung von Embed 1B soll auf GB200 27,1 Prozent mehr Durchsatz bringen und 99,85 Prozent der Genauigkeit behalten. NVFP4 zielt auf Blackwell-Karten.

Vectorize, Perplexity und Turbopuffer melden laut einer Websuchzusammenfassung eigene Gewinne. Diese Meldungen haben wir nicht im Original gelesen, und alle drei Firmen haben ein eigenes Interesse am Ergebnis.

Lizenz und Betrieb

Die Modelle stehen unter der OpenMDW License 1.1. Die Basismodelle unter Embed und Rerank sind Apache 2.0, Embed, Rerank und Parse selbst nicht. Die Karte nennt kommerzielle Nutzung ausdrücklich als zulässig, auf Hugging Face steht beim NVFP4-Repository allerdings nur license:other. Den Lizenztext haben wir nicht geprüft.

Für den Betrieb pinnt die Karte vllm==0.32.0 und transformers>=5.16.1,<5.20.0. Der Reranker muss über den Endpunkt /classify laufen. Die Karte warnt, dass /score und /rerank die Bildplatzhalter dieses Checkpoints falsch behandeln können.

Was ein Wechsel in unserem Stack bedeuten würde

Am 24. Oktober 2026 haben wir lesend nachgesehen, womit unser RAG-Stack heute arbeitet. Gemessen haben wir:

• Das Embedding läuft auf einem kleinen GPU-Host mit einer RTX 4060 Ti (16 GB) in vLLM 0.30.0. Das Modell ist Qwen3-Embedding-0.6B mit 32.768 Token Kontext, eine Testabfrage lieferte 1024 Dimensionen.
• Der Reranker ist bge-reranker-v2-m3 in einem eigenen Container auf demselben Host. Beide Container belegen zusammen 11.925 von 16.380 MiB.
• LibreChats RAG-Dienst spricht über unser LiteLLM mit dem Modellnamen embed. Die Vektoren liegen in einer Postgres-Datenbank. Wie die Qdrant-Sammlungen des Wissens-MCP einbetten, haben wir nicht geprüft.

Daraus abgeleitet, ohne eigene Messung:

• Die Dimension steigt von 1024 auf 2048 oder 4096. Das heißt neue Tabelle oder Sammlung und komplettes Neu-Einbetten.
• Die Modellkarte verlangt vLLM 0.32.0, wir fahren 0.30.0. Nemotron bräuchte also einen eigenen Container mit eigenem Image.
• Embed 8B hat in BF16 rechnerisch rund 16,8 GB Gewichte und passt nicht auf eine 16-GB-Karte. Embed 1B wären rechnerisch etwa 3,1 GB. Die NVFP4-Fassung zielt auf Blackwell, die 4060 Ti ist eine Ada-Karte.
• Ein Rerank-Aufruf im üblichen Cohere-Format passt nicht zur Nemotron-Karte, die /classify verlangt.

Einen eigenen Vergleich von Nemotron gegen Qwen3-Embedding gibt es bei uns nicht. Ob sich ein Wechsel lohnt, ist offen.

So prüft man einen Wechsel

1. Aufschreiben, womit der Stack heute einbettet: Modellname, Dimension, maximale Länge.
2. 50 bis 100 Fragen aus den eigenen Dokumenten mit bekannter Antwort sammeln und altes und neues Modell in zwei getrennten Sammlungen vergleichen, etwa nach recall@5.
3. Das neue Modell in einem eigenen Container mit vLLM 0.32.0 starten, getrennt vom Produktions-Image, und vorher den OpenMDW-Lizenztext lesen.

Den produktiven Index stellt man erst nach diesem Vergleich um.

Weiterführende Quellen

• The Register: Nvidia woos wary Europeans with more open-weights models: Ankündigung auf der GTC Berlin, 21. Oktober 2026
• unite.ai: Benchmarkzahlen zu Embed, Rerank und Parse: Herstellerangaben, 21. Oktober 2026
• Hugging Face: Nemotron-3.5-Embed-8B-BF16: Modellkarte, Dimensionen, Kürzung der Vektoren
• Hugging Face: Nemotron-3.5-Embed-1B-BF16: Modellkarte mit 1,55 Milliarden Parametern
• Hugging Face: Nemotron-3.5-Rerank-8B-BF16: Lizenz, vLLM-Pin, Hinweis zu /classify
• Hugging Face: Nemotron-3.5-Parse: Parameterzahl und Durchsatz
• Simple Icons: nvidia.svg: Logo, CC0
• Videos: Zum Redaktionsschluss haben wir kein Video von Nvidia oder einem etablierten Kanal gefunden, das genau diese drei Modelle der Version 3.5 behandelt, und deshalb keines eingebunden.