Themen

Lokale KI und GPU-Hardware

Name: senn-tech
Address: Weissachstraße 67, Kufstein, Tirol, 6330, AT
Telephone: +4369917602100
Price range: €€

Beiträge zu eigenen Sprachmodellen im eigenen Haus: GPUs, Mini-Workstations und Inferenz-Server, mit Messwerten zu Durchsatz, Leistungsaufnahme und Preis pro Token.

33 Beiträge

2026-10-24 · HardwareOlares One im Ersteindruck: KI-Mini-PC mit 24 statt 32 GB VRAMDer Olares One steckt eine RTX 5090 Mobile mit 24 GB in ein 3,5-Liter-Gehäuse. Caschy hat ihn am 24. Oktober angeschaut. Wir rechnen nach, welche Modelle in den Speicher passen, und trennen Herstellerwerte von Prüfbarem.
2026-10-24 · HardwareFSR 4.1 auf Radeon RX 6000: INT8-Variante für RDNA 2 im TestMit dem Treiber 26.10.1 bekommt auch die RDNA-2-Generation FSR Upscaling 4.1. ComputerBase sieht deutlich bessere Bildqualität, aber auf der RX 6950 XT zwischen 10 und 19 Prozent weniger FPS als mit FSR 3.1. Technik, Messwerte und offene Punkte.
2026-10-19 · KI-HardwareRTX 5090 nicht eingestellt, aber 6.800 bis 9.999 Euro: was das für lokale LLM-Rechner heißtNvidia dementiert das Ende der RTX 5090, der deutsche Handel hat kaum noch Karten, und die letzten kosten das Dreifache der UVP. Eine Rechnung für alle, die einen lokalen LLM-Rechner planen.
2026-10-19 · KI-HardwareLlmspeed nachgemessen: Die Tempo-Schätzung für lokale LLMs und unsere Messwerte auf R9700 und RTX 5090Ein Open-Source-Tool verspricht, das Tempo lokaler Modelle vor dem Kauf spürbar zu machen. Wir halten die Schätzungen für R9700 und RTX 5090 gegen unsere Zwei-Karten-Messung vom 16. Oktober.
2026-10-18 · KI-HardwareQwen3.8-Flash-Next auf vLLM 0.32: MTP verdoppelt den Einzelstrom, der Cache wird kleinervLLM 0.32 bringt Flash-Next nativ mit. Auf unseren vier RTX 5090 steigt die Antwortgeschwindigkeit eines einzelnen Nutzers von 104 auf 217 Token pro Sekunde, der Cache für gleichzeitige Sitzungen schrumpft von 8,2 auf 6,1 volle Kontexte. Wir zeigen, was dafür nötig war und was beim Umbau fast schiefgegangen wäre.
2026-10-18 · KI-HardwareKI-Rechenzentren stocken, Neoclouds unter Druck: was das für gemietete GPU-Kapazität heißt47 große US-Projekte verzögert, abgesagt oder blockiert, CoreWeave minus 25 Prozent in einer Woche, Gartner rechnet mit dem Ende der Selbstständigkeit für 80 Prozent der Neoclouds. Was daran belegt ist und was es für Mieter von GPU-Kapazität bedeutet.
2026-10-18 · KI-InfrastrukturBifrost statt LiteLLM? Ein Open-Source-AI-Gateway und seine 50-fach-BehauptungBifrost bietet eine OpenAI-kompatible API, Failover, Budgets und MCP und soll 50-mal schneller sein als LiteLLM. Die Zahl stammt von der Projektwebsite, die Repo-Seite nennt etwas anderes. Eine Anleitung zum eigenen Vergleich.
2026-10-17 · KI-HardwareRTX Spark nach dem Launch: erste Messwerte, die Varianten-Falle und die Linux-FrageSeit 16. Oktober 2026 sind die RTX-Spark-Notebooks im Handel, ab 2.599 US-Dollar laut Pressemitteilung. Zwei Labore messen 14,5 bis 89 Token/s, NVIDIAs eigene Seiten widersprechen sich, und der Speicher entscheidet über Nutzen oder Frust.
2026-10-16 · KI-HardwareRadeon R9700 gegen RTX 5090: dieselbe Datei, zwei Karten, ein Preis pro Token120 bis 146 Tokens pro Sekunde auf der RTX 5090 gegen 41 bis 45 auf der Radeon R9700, mit derselben Modelldatei und derselben Engine. Die Preise stehen im Verhältnis 3,10 zueinander. Übrig bleiben Watt und Kapazität.
2026-10-16 · KI-HardwareMeta Muse Spark Open: 816B-Modell lokal, was die Hardware wirklich verlangtMeta hat Muse Spark Open freigegeben: 816 Milliarden Parameter, 42 Milliarden aktiv, 1 Million Token Kontext. Lokal läuft es laut Meta auf zwei Mac Studios mit je 512 GB, die erst Ende Oktober erwartet werden.
2026-10-16 · HardwareLedger-Wallets mit Spion-Platine: Was zum Hardware-Implantat belegt ist und wie man Geräte sicher kauftIn Ledger-Wallets steckte eine Zusatzplatine mit LTE-Modem und eSIM, die die Wiederherstellungsphrase mitliest. Die Schadenszahlen reichen von 86 bis 102 Millionen Dollar, der Weg in den Handel ist offen. Was die Quellen belegen und was für jedes Sicherheitsgerät gilt.
2026-10-15 · KI-HardwareNvidia RTX Spark (N1X) im Test: wie schnell laufen lokale LLMs auf dem Notebook-Chip?Nvidias erster Notebook-Chip bringt bis zu 128 GB gemeinsamen Speicher. c't misst 14,5 Token/s für ein dichtes 27B-Modell und knapp 61 für ein MoE. Die Preise ab 2.899 Euro machen den Vergleich mit Strix Halo und Mac schwierig.
2026-10-13 · ProsumerApple HomeView, HomePod mini 2 und Apple TV 4K: Preise, Termine, nicht für die EUApple zeigt am 13. Oktober 2026 HomeView als Smart-Home-Zentrale mit Display, dazu HomePod mini 2 und Apple TV 4K. Preise, Termine, Hardware und die Lücke: kein Verkauf in der EU, und zu Matter und Thread schweigen die Quellen.
2026-10-11 · KI-HardwareToken-Preise fallen, GPU-Mieten bleiben hoch: Jevons im KI-MarktJe billiger ein Token wird, desto mehr werden verbraucht, und die Nachfrage nach GPUs bleibt hoch. Was a16z zeigt, welche Zahlen belegt sind und was daraus für Mieten oder Kaufen folgt.
2026-10-05 · KI-HardwareZwei GB300-Stationen, zwei 400-G-Kupferkabel: Was das zweite Gehäuse wirklich multipliziertStorageReview hat zwei GB300-Türme von ASUS und HP per 400-G-DAC zum Paar verbunden und gemessen. Die Zahlen zeigen, warum das zweite Gehäuse bei Auslagerungsmodellen mehrfach skaliert und wo nur Zwei- bis Dreifaches bleibt.
2026-10-03 · HardwareSpeicherpreise im vierten Quartal 2026: Enterprise-SSDs ziehen um bis zu 28 Prozent an, Micron erwartet 2027 noch knapperTrendForce erwartet für das vierte Quartal 2026 Vertragspreise für DRAM 10 bis 15 Prozent und für NAND 15 bis 20 Prozent über dem Vorquartal, bei Enterprise-SSDs 23 bis 28 Prozent. Micron meldet am selben Tag 54,23 Milliarden US-Dollar Quartalsumsatz und sagt für 2027 und 2028 ein knapperes Angebot voraus als für 2026. Für Server- und SSD-Käufe mit Projektstart 2027 stellt sich damit die Frage nach dem Bestellzeitpunkt.
2026-10-03 · KI-HardwareNVIDIA schließt 114 Lücken in GPU-Treiber und vGPU: welche Version welchen Zweig absichertAm 30. September 2026 hat NVIDIA ein Sicherheitsbulletin mit 114 CVEs für GPU-Treiber und vGPU-Software veröffentlicht, 78 davon mit Schweregrad hoch und 36 mittel. Unter Linux sind 615.71.09, 610.57.04, 595.91.07 und 580.178.04 die gefixten Stände, für vGPU die Versionen 20.2 und 19.6. Fast alle Lücken brauchen lokalen Zugriff, und der Fix wirkt erst nach dem Neuladen des Kernelmoduls.
2026-10-03 · HardwareNotebooks unter 800 Euro: HP OmniBook 5 mit Wildcat Lake und Lenovo V15 mit Snapdragon C gegen das MacBook NeoHP hat am 1. Oktober 2026 das OmniBook 5 14 mit Intel Wildcat Lake ab 699,99 US-Dollar vorgestellt, Lenovo am 30. September das V15 G7 Q7X mit Snapdragon C, noch ohne Preis. Das MacBook Neo kostet in Österreich 799 Euro, in den USA 699 Dollar und damit so viel wie das HP. Notebookcheck hat den Wildcat-Lake-Chip auf dem Niveau eines Core i7-1355U gemessen, und für das HP gibt es im DACH-Raum weder Euro-Preis noch Termin.
2026-10-03 · KI-HardwareZwei DGX Spark im Eigenversuch: DeepSeek V4-Flash läuft, V4.1-Flash geht nicht reinEin DGX Spark-Verbund mit zwei Geräten bringt 256 GB gemeinsamen Speicher und 546 GB/s Bandbreite. DeepSeek V4-Flash läuft darauf, der Nachfolger V4.1-Flash passt nicht hinein, und die Ursache ist eine Speichertrick, der auf dieser Hardware nichts einspart.
2026-10-02 · KI-HardwareKV-Cache in 4 Bit: INT4 fiel im Betrieb durch, NVFP4 hält 8,2 volle SitzungenAm 2. Oktober haben wir den KV-Cache von Qwen3.8-Flash-Next auf INT4 umgestellt, am 3. Oktober wieder zurück: Im Betrieb waren 3 von 248 Modellschritten Zeichensalat, obwohl alle Prüfungen bestanden waren. Seit dem 3. Oktober läuft NVFP4 mit 1.810.884 Token Pool, das sind 8,2 volle Sitzungen à 220.000 Token gegen 5,2 mit FP8. Der Beitrag zeigt beide Tage und die neue Prüfung.
2026-09-29 · KI-HardwareCUDA 13 als Pflicht: vLLM 0.30.0 und llama.cpp 0.5.0 haben ihr Fundament umgezogenvLLM 0.30.0 vom 22. September baut standardmäßig gegen CUDA 13.0, llama.cpp v0.5.0 vom 23. September liefert CUDA-13.4-Bauten und RPC-Protokoll major v7. Das heißt für jeden Betrieb: Treiberstand messen, bevor das Image gezogen wird, und llama.cpp über alle Hosts synchron halten. Auf unserer Fallback-Lane läuft 0.30.0 am Treiber 610.57.04, gemessen am 29.09.
2026-09-24 · KI-HardwareZwei vLLM-Builds für Qwen3.8-Flash-Next im Vergleich: schneller im Decode, knapper im SpeicherDer vLLM-Nightly vom 24. September hält den KV-Cache von Qwen3.8-Flash-Next ohne eigenen Patch in FP8. Auf 4× RTX 5090 dekodiert er fast 50 Prozent schneller als unser gepatchter Produktions-Build, kommt aber bei langen parallelen Anfragen an die Speichergrenze. Deshalb läuft vorerst weiter der alte.
2026-09-22 · KI-HardwareM5 Ultra: die ersten Messwerte für lokale SprachmodelleAm 21. und 22. September sind die ersten Messungen für den M5 Ultra erschienen: 1.039 von beworbenen 1.200 GB/s, Decode 1,4-fach, Prefill 3- bis 4-fach. Dazu die Bedingung, die Apple dazuschreibt.
2026-09-21 · KI-HardwareASUS Ascent QN10 im Test: 18 Kerne, 80 TOPS NPU und keine Software, die sie erreichtASUS baut einen 18-Kern-Mini-PC als Agenten-Rechner und liefert 80 TOPS NPU mit. Die Messwerte zeigen, dass die große Zahl dort nicht ankommt, wo die Modelle laufen.
2026-09-18 · KI-HardwareRTX 5090 vergriffen, RTX Pro 5500 mit 84 GB: die Kaufrechnung neu gemachtDrittverkäufer rufen bis 9.500 USD für die RTX 5090 auf, NVIDIAs RTX Pro 5500 bringt 84 GB auf demselben Chip. Neu gerechnet wird über Bandbreite und Kapazität, nicht über den Preis.
2026-09-14 · KI-HardwareEin Wort im vLLM-Fork: Warum unsere Flash-Next-Spur jeden Token dreimal bezahlt hatEin Agent wollte auf unserer Qwen3.8-Flash-Next-Spur mehr gleichzeitige Sitzungen herausholen, hat dabei die Produktion umgeworfen und lag mit seiner Ursache falsch. Richtig war seine Messung: Jeder Token kostete 2,6-mal so viel KV-Cache wie die Blockgeometrie erlaubt. Die Ursache war ein einzelnes Wort im Code des vLLM-Forks.
2026-09-09 · KI-HardwareQwen3.8-Flash-Next in Produktion: Wie ein Community-Patch den KV-Cache auf 4× RTX 5090 verdoppelt hatVor einer Woche hieß es noch: stabil, aber keine Produktionsspur. Seit dieser Woche bedient Qwen3.8-Flash-Next bei uns alle Agentenspuren. Der Weg dorthin führte über einen selbstgebauten Hybrid-Checkpoint, eine falsche Messung, einen Warteschlangenstau und einen Patch aus einem offenen GitHub-Ticket.
2026-09-08 · KI-HardwareMac Studio M5 Ultra, Strix Halo oder DGX Spark: Welche Box lokale Sprachmodelle wirklich schnell machtDrei Desktop-Boxen mit 128 GB und mehr einheitlichem Speicher werben um dieselben Käufer. Die Datenblätter reden von TOPS und Petaflops, die Messwerte reden von Bandbreite: 1.200 gegen 273 gegen 256 GB/s. Dazu ein Preisjahr, in dem jede Box teurer wurde, und ein Nachfolger mit 192 GB, der auf der IFA steht.
2026-09-03 · KI-HardwareQwen3.8-Flash-Next im Vier-Tage-Test: Warum die Produktion beim 27B bleibtNach der Ankündigung von Qwen3.8-Flash-Next haben wir das Modell auf unserem 4×-RTX-5090-Host tatsächlich zum Laufen gebracht: eigener llama.cpp-Build, zwei Abstürze, ein RAM-Ausbau und am Ende ein Urteil, das anders begründet ist als am ersten Tag gedacht.
2026-09-01 · KI-Hardware4× RTX 5090: Wenn DRAM-Bandbreite der echte Flaschenhals istVier RTX 5090 mit 128 GB VRAM klingen nach Overkill. Die Überraschung auf unserem kipc5090-Host: Der limitierende Faktor ist nicht die GPU-Rechenleistung, sondern der Speicherbus, weil nur zwei von sechs DDR5-Kanälen bestückt sind.
2026-08-03 · Hardware & GadgetsVivo X300 Ultra im Praxistest: Fünf Tage mit dem Kamera-FlaggschiffDas Vivo X300 Ultra nach fünf Tagen im Einsatz: Die Fotos sind Klasse, die Android-Version überrascht positiv. Die Kopflastigkeit vom Kameramodul merkt man zwar, aber für ein China-Handy ist das Gesamtpaket echt super.
2026-07-29 · Prosumervivo X300 Ultra gegen iPhone, Galaxy und Pixel: warum wir das Kamera-Flaggschiff kaufenEin Kamera-Flaggschiff aus China gegen die westliche Oberklasse: Was das vivo X300 Ultra für 1.999 Euro besser macht, und was man dafür aufgibt.
2026-07-28 · Prosumer5K-Display für den Mac: Studio Display, XDR oder BenQ?Apple hat das Studio Display 2026 neu aufgelegt, aber das Panel ist unverändert. Was das für die Kaufentscheidung bedeutet, und wann ein BenQ die bessere Wahl ist.

Lokale KI und GPU-Hardware

Andere Themen