Open-Weight-Modelle bringen Künstliche Intelligenz (KI) auf eigene Rechner und in selbst gewählte Rechenzentren. Neue Modelle wie Inkling 2 Small, Ripple-65B Preview und NVIDIA Dory 4B zeigen jedoch, dass «offen» nicht automatisch lokal, günstig oder zuverlässig bedeutet. Für dich zählt deshalb weniger die Rangliste als die Frage, welches Modell zu deinem Gerät, deiner Aufgabe und deinem Kontrollbedarf passt.
Open-Weight- und lokale KI erklärt
Bei einem Open-Weight-Modell sind die trainierten Modellgewichte verfügbar, also die Zahlenwerte, in denen das erlernte Verhalten gespeichert ist. Das ist nicht zwingend dasselbe wie vollständig quelloffene Software: Lizenz, Trainingsdaten, Werkzeuge und Nutzungsrechte können weiterhin eingeschränkt oder unvollständig dokumentiert sein. Ein lokales Modell läuft auf einem eigenen Computer oder einer selbst kontrollierten Infrastruktur, statt jede Eingabe an einen externen Cloud-Dienst zu senden.
Die Begriffe beschreiben daher zwei verschiedene Eigenschaften. Ein Modell kann offene Gewichte besitzen, aber so gross sein, dass es für typische private Hardware unpraktisch bleibt. Umgekehrt kann ein kleineres Modell lokal laufen, obwohl sein Anbieter nicht alle Bestandteile offenlegt.
Das zeigt sich besonders deutlich bei Inkling 2 Small von Thinking Machines. Das Modell umfasst insgesamt 594 Milliarden Parameter, also einstellbare Modellwerte, aktiviert pro Verarbeitungsschritt aber nur 17 Milliarden davon. Diese sogenannte Mixture-of-Experts-Architektur (MoE) verteilt Aufgaben auf ausgewählte Teilbereiche des Modells und soll dadurch Rechenleistung gezielter einsetzen.
Zum Start war Inkling 2 Small allerdings nur über die Plattform Tinker für Nutzung und Feintuning verfügbar. Feintuning bezeichnet das gezielte Nachtrainieren eines bestehenden Modells für bestimmte Aufgaben oder Verhaltensweisen. Eine Veröffentlichung der Gewichte unter Apache-2.0-Lizenz war nach externen Sicherheitstests angekündigt, während die nötige Hardware für den Eigenbetrieb laut der technischen Zusammenfassung zu Inkling 2 Small noch nicht genannt wurde.
Leistung zwischen Spitzenmodell und Spezialwerkzeug
Inkling 2 Small verarbeitet Text und Bilder und erlaubt eine variable Denktiefe, mit der sich Geschwindigkeit und Gründlichkeit gegeneinander abwägen lassen. Auf dem Artificial Analysis Intelligence Index erreichte es laut Anbieter 31 Punkte, gegenüber 13 Punkten beim Vorgänger. Das entspricht ungefähr dem Niveau von Googles Gemini 3.8 Flash, ist aber noch keine unabhängige Garantie für gleich gute Ergebnisse in deinem Alltag.
Bei agentischen Aufgaben, also mehrstufigen Abläufen, die ein Modell teilweise selbstständig ausführt, meldet Thinking Machines deutliche Fortschritte. Auf AutomationBench-AA stieg der Wert laut Anbieter von 5 auf 46 Prozent, auf FrontierCode 2.0 von 5 auf 25 Prozent. Gleichzeitig schwankt die Leistung je nach Test stark: In der von MarkTechPost wiedergegebenen Tabelle erreichte das Modell 86,3 Prozent auf SWE-Bench Pro v2 Hard, aber nur 13,1 Prozent auf Terminal-Bench 4.0.
Ripple-65B Preview verfolgt einen anderen Ansatz. Das Modell besitzt 65 Milliarden Parameter, ist für NVIDIA-Hardware optimiert und steht laut dem Bericht über Ripple-65B Preview unter Apache-2.0-Lizenz auf Hugging Face bereit. Es bleibt in mehreren genannten Tests hinter Inkling 2 Small zurück, dürfte sich aber einfacher auf eigener Hardware einrichten lassen.
Für einen beruflichen Anwendungsfall könnte das bedeuten: Ein Team lässt Ripple beim Bearbeiten und Prüfen von Programmieraufgaben auf eigener Infrastruktur arbeiten, statt Quelltext an einen allgemeinen Cloud-Dienst zu übertragen. Inkling wäre eher interessant, wenn höhere agentische Leistung wichtiger ist als ein sofortiger Eigenbetrieb. Beide Beispiele betreffen spezialisierte Arbeitsabläufe und nicht automatisch das alltägliche Schreiben von E-Mails oder Zusammenfassen von Dokumenten.
Noch kleiner ist NVIDIA Dory 1.0 4B. Das Modell kann denselben internen Block pro Token ein- bis viermal durchlaufen und dadurch mit vier verschiedenen Rechenbudgets arbeiten, ohne neu trainiert zu werden. Eine Anleitung für den lokalen Betrieb von Dory verwendet eine 3,7 Gigabyte grosse GGUF-Datei, ein für lokale Ausführung optimiertes Modelldateiformat, und untersucht, wie zusätzliche Durchläufe Geschwindigkeit, Antwortlänge und Genauigkeit verändern.
Pro und Kontra offener und lokaler Modelle
Pro:
- Mehr Kontrolle – Du kannst Modellversion, Infrastruktur und Aktualisierungszeitpunkt selbst bestimmen, sofern Gewichte und Lizenz den Eigenbetrieb erlauben.
- Spezialisierung – Feintuning kann ein Basismodell an einen klar abgegrenzten Arbeitsbereich oder gewünschte Antwortregeln anpassen.
- Flexible Rechenkosten – Modelle wie Dory erlauben unterschiedliche Rechenbudgets, während MoE-Modelle nur einen Teil ihrer Parameter gleichzeitig aktivieren.
- Breitere Auswahl – Neben allgemeinen Sprachmodellen stehen spezialisierte Modelle für Programmierung, Robotik und Fahrsimulation zur Verfügung.
Kontra:
- Hoher Ressourcenbedarf – Offene Gewichte helfen wenig, wenn Speicher, passende Hardware oder ein praktikables Ausführungsprogramm fehlen.
- Tokenhunger – Mehr erzeugte Textbausteine können Aufgaben verteuern und verlangsamen, ohne dass die Antwort entsprechend besser wird.
- Schwankende Zuverlässigkeit – Gute Gesamtwerte können schwache Ergebnisse in einzelnen Tests und unbrauchbare Ausreisser verdecken.
- Aufwendige Anpassung – Feintuning verlangt geeignete Daten, klare Bewertungsmassstäbe und anschliessende Kontrollen.
Der Kostenpunkt ist bei Inkling 2 Small besonders sichtbar. Laut Leitmeldung erzeugt es mehr Ausgabe-Token, also Textbausteine der Modellantwort, und kostet pro Aufgabe sechsmal so viel wie sein Vorgänger. Eine höhere Punktzahl kann damit wirtschaftlich unattraktiv werden, wenn du viele einfache Aufgaben statt weniger anspruchsvoller Abläufe bearbeitest.
Feintuning als Chance und Einflussfaktor
Open Weights erlauben nicht nur fachliche Anpassungen, sondern auch Eingriffe in politische und kulturelle Antwortmuster. Nous Research trainierte Alibabas Qwen3.8-27B mit 53 Millionen zusätzlichen Token nach und veröffentlichte das Ergebnis als Arete-27B. Laut dem Bericht über dieses Feintuning sank die vom Unternehmen gemessene Propagandaquote von 22 auf unter ein Prozent, ohne dass allgemeine Fähigkeiten gelitten hätten.
Diese Werte beruhen allerdings auf dem eigenen Verfahren von Nous Research. Der Test umfasste 803 Eingaben zu Themen wie Meinungsfreiheit, Bildung, Datenschutz, Überwachung und Demokratie; ein anderes KI-Modell bewertete die Antworten. Das Beispiel zeigt damit zugleich die Stärke und die heikle Seite des Feintunings: Verhalten lässt sich verändern, doch jemand muss festlegen, welche Daten, Fakten und Werte dabei als Massstab dienen.
Spezialisierung reicht zudem weit über Textmodelle hinaus. NVIDIA veröffentlichte vier offene Checkpoints der Cosmos-3-Familie für interaktive Weltsimulationen, darunter Modelle für variierende Wetter- und Lichtbedingungen, synchronisierte Kamera- und LiDAR-Daten sowie die Vorhersage visueller Folgen von Roboteraktionen. Laut NVIDIAs Vorstellung der Cosmos-Modelle besitzen diese Varianten jeweils 16 Milliarden trainierbare Parameter und dürfen unter den Bedingungen von OpenMDW1.1 kommerziell und nicht kommerziell eingesetzt werden.
Ein konkretes Berufsbeispiel ist die Erzeugung mehrerer Ansichten einer Fahrszene bei unterschiedlichem Wetter, Licht und Tageszeit. Ein weiteres ist eine Robotiksimulation, in der das Modell vorhersagt, wie sich eine Aktion visuell auswirkt. Solche Modelle sind keine universellen Chat-Assistenten, können für eng umrissene Aufgaben aber nützlicher sein als ein grösseres allgemeines Sprachmodell.
Zuverlässigkeit und der praktische Einstieg
Gute Benchmark-Werte schützen nicht vor merkwürdigen Einzelfällen. Eine Auswertung von 2.655 Inkling-Durchläufen in 13 Benchmarks fand in 50 Durchläufen englische Flüche oder Varianten davon; 241 von insgesamt 316 Nennungen stammten aus nur zwei entgleisten Abläufen. Bei einer Asteroidenberechnung erzeugte das Modell eine Antwort mit mehr als 500.000 Zeichen und wiederholte dabei dieselben Sätze.
Die Flüche waren laut der Auswertung der Inkling-Denkprotokolle trotzdem kein brauchbares Warnsignal. Zwar scheiterten 46 der 48 bewerteten Durchläufe mit Flüchen, doch rund 75 Prozent aller bewerteten Durchläufe scheiterten, und 96 Prozent der gescheiterten Durchläufe enthielten keinen Fluch. Meist sehen Nutzende diese internen Denkschritte ohnehin nicht oder nur gefiltert.
Für Einsteiger: Der sinnvollste erste Schritt ist ein kleines Modell mit klar begrenzter Aufgabe. Du könntest Dory lokal mit unterschiedlichen Rechenstufen testen und dabei dieselben einfachen Aufgaben wiederholen, etwa kurze Texte zusammenfassen oder vorgegebene Rechenschritte prüfen. Entscheidend ist nicht nur, ob eine Antwort plausibel klingt, sondern wie oft sie korrekt, schnell und reproduzierbar entsteht.
Für Fortgeschrittene: Mehr Nutzen entsteht durch einen eigenen Testsatz aus typischen Arbeitsfällen und problematischen Grenzfällen. Du kannst dann Modellgrösse, Antwortlänge, Laufzeit und Fehlerquote vergleichen, bevor du über Feintuning nachdenkst. Bei agentischen Abläufen sollten Zwischenresultate und externe Aktionen kontrolliert werden, weil ein Modellfehler sonst mehrere Schritte weitergetragen wird.
Für die Schweiz können lokale Modelle interessant sein, wenn Organisationen Eingaben und Modellbetrieb stärker unter eigener Kontrolle halten möchten. Die Quellen nennen jedoch weder eine besondere Verfügbarkeit für die Schweiz noch gesicherte Angaben zu Deutsch, Französisch, Italienisch oder Rätoromanisch. Lokaler Betrieb kann den Datenfluss begrenzen, ersetzt aber keine Prüfung von Lizenz, Zugriffsrechten, gespeicherten Protokollen und den jeweils geltenden Datenschutzanforderungen.
Was bei Auswahl und Kosten offen bleibt
Der direkte Vergleich wird durch unterschiedliche Architekturen, Lizenzen und Tests erschwert. Inkling kombiniert hohe Gesamtgrösse mit wenigen gleichzeitig aktiven Parametern, Ripple setzt auf ein dichtes 65-Milliarden-Modell, und Dory tauscht über zusätzliche Schleifen mehr Rechenzeit gegen potenziell bessere Ergebnisse. Ein einzelner Benchmark bildet diese Unterschiede nur unvollständig ab.
Auch der Begriff «kostengünstig» braucht einen konkreten Bezug. Eine kleine Modelldatei kann lokal günstig nutzbar sein, während Einrichtung und Auswertung weiterhin Zeit beanspruchen. Ein leistungsfähigeres Modell kann eine schwierige Aufgabe besser lösen, aber wegen langer Antworten oder hoher Rechenlast pro Auftrag deutlich teurer sein.
Bei Inkling kommt hinzu, dass die Ankündigung offenen Gewichten zeitlich vorausging. Solange Hardwarebedarf und praktische Eigenbetriebswerte fehlen, lässt sich die lokale Eignung nicht zuverlässig beurteilen. Ripple und Dory sind greifbarere Beispiele für den Eigenbetrieb, decken aber andere Leistungsbereiche ab.
Open-Weight-KI erweitert deine Auswahl zwischen Cloud-Komfort, lokaler Kontrolle und fachlicher Spezialisierung. Die aktuellen Beispiele reichen vom kompakten lokalen Denkmodell bis zur interaktiven Fahrsimulation, doch Offenheit allein löst weder Hardwarebedarf noch Zuverlässigkeitsprobleme. Das grösste offene Risiko bleibt, dass überzeugende Durchschnittswerte seltene, teure oder schwer erkennbare Fehlabläufe verdecken.
Quellen
- Inkling 2 Small soll das stärkste westliche Open-Weight-Modell sein und erreicht Googles Gemini 3.8 Flash – The Decoder, 2026-11-06
- Thinking Machines Releases Inkling 2 Small, a 594B MoE With 17B Active – MarkTechPost, 2026-11-06
- “FUCK. NOTHING WORKS.” – KI-Modell Inkling 2 Small flucht in seinen Denkprotokollen – The Decoder, 2026-11-07
- Neues Open-Weight-Modell Ripple-65B Preview soll besonders gut agentisch programmieren – The Decoder, 2026-11-06
- How to Run NVIDIA Dory 4B with llama.cpp: Loop by Loop Guide – MarkTechPost, 2026-11-07
- Feintuning gegen Propaganda: US-Start-up trainiert Alibabas Qwen-Modell auf “westliche Werte” um – The Decoder, 2026-11-07
- New NVIDIA Cosmos 3 Open Models for Interactive World Simulation – Hugging Face, 2026-11-05
Bild: Matheus Bertelli via Pexels