Nvidia bringt mit Nemotron 3.5 Transcribe ein offenes Sprachmodell für Transkription, Übersetzung und Sprechererkennung auf den Markt. Es richtet sich zwar vor allem an Hersteller von Anwendungen, zeigt aber auch Anwenderinnen und Anwendern, was lokale Künstliche Intelligenz (KI) inzwischen leisten kann. Parallel machen Werkzeuge wie Anything LLM und leistungsfähigere Computer persönliche Assistenten möglich, deren Daten nicht zwingend in einer Cloud verarbeitet werden.
Was offene lokale KI leistet
Lokale KI läuft auf deinem eigenen Computer oder einer anderen Hardware in deiner unmittelbaren Kontrolle. Nach dem Herunterladen benötigt ein Modell für seine Kernaufgaben nicht zwingend eine Internetverbindung, und Eingaben müssen nicht automatisch an den Cloud-Dienst eines US-Anbieters übertragen werden. Der Hardware-Ratgeber von t3n nennt deshalb Datenhoheit, Offline-Nutzung und den möglichen Verzicht auf ein Abonnement als zentrale Vorteile.
«Offen» kann dabei Unterschiedliches bedeuten. Bei einem Modell mit offenen Gewichten kannst du die trainierten Modellwerte herunterladen und auf geeigneter Hardware ausführen; das ist nicht automatisch dasselbe wie vollständig quelloffene Software. Nvidia bezeichnet Nemotron 3.5 Transcribe als kostenloses Open-Weight-Modell, während Granary v2 als offener Sprachdatensatz samt Werkzeugen zur Aufbereitung und Anpassung angeboten wird.
Lokale Modelle sind nicht nur für Sprachaufnahmen gedacht. Sie können je nach Modell beim Formulieren von Texten, bei der Bilderstellung oder bei Arbeiten mit lokal gespeicherten Dateien helfen. Mit agentenbasierter Software, also Programmen, die mehrere Arbeitsschritte selbstständig ausführen, kann ein Modell laut t3n beispielsweise den Download-Ordner aufräumen.
Ein weiterer Ansatz ist Anything LLM als lokaler Assistent. Das Werkzeug kombiniert laut Praxistest einen Wissensspeicher, agentische Funktionen und eine Websuche. Ein grosses Sprachmodell (Large Language Model, LLM) kann damit lokal als Chatoberfläche für eigene Inhalte dienen; für einen konsequenten Offline-Betrieb bleiben netzbasierte Funktionen wie die Websuche naturgemäss ausgeschaltet.
Was Nemotron 3.5 Transcribe bietet
Nemotron 3.5 Transcribe verarbeitet aufgezeichnete Sprache in bis zu 40 Sprachen. Nach Angaben von Nvidia kann es 31 Sprachen ins Englische oder aus dem Englischen übersetzen, in 13 Sprachen Sprecher zuordnen und Aufnahmen mit bis zu acht Personen verarbeiten. Eine Aufnahme darf bis zu eine Stunde lang sein; Livestreams unterstützt das Modell laut der Leitmeldung von TechCrunch dagegen nicht.
Der praktische Unterschied zu einem einfachen Diktierprogramm liegt in der Steuerung per Textanweisung. Aus derselben Besprechungsaufnahme kann das Modell ein Transkript mit Sprecherzuordnung, eine englische Übersetzung oder eine Zusammenfassung der Beschlüsse erstellen. Bei einer medizinischen Aufnahme lassen sich Medikamentennamen als Hinweis mitgeben, wobei das Modell diese laut Nvidia nur einsetzen soll, wenn sie tatsächlich in der Aufnahme vorkommen.
Das sind zwei konkrete Einsatzfelder: Ein Team kann aus einer einstündigen Sitzung ein nach Personen getrenntes Protokoll erzeugen, während eine medizinische Fachperson ein Diktat mit vorgegebenem Fachwortschatz verschriftlichen kann. Auch Fragen zum Inhalt einer Aufnahme sollen möglich sein. Die Genauigkeit solcher Ergebnisse hängt allerdings von Sprache, Aufnahmequalität, Akzent und Fachgebiet ab.
Technisch umfasst das Modell 30 Milliarden Parameter, also während des Trainings gelernte Werte. Pro Verarbeitungsschritt sollen jedoch nur rund vier Milliarden davon aktiv sein, weshalb Nvidia den Betrieb auf einem einzelnen Grafikprozessor (GPU) vorsieht. The Decoder beschreibt zudem Granary v2 mit 844’000 Stunden Audiomaterial und Werkzeugen zur Anpassung an Fachgebiete.
Nvidia meldet führende Ergebnisse bei mehreren Vergleichstests, darunter dem Open ASR Leaderboard von Hugging Face. Automatische Spracherkennung (Automatic Speech Recognition, ASR) bezeichnet die Umwandlung gesprochener Sprache in Text. Diese Werte stammen vom Anbieter und sind für die Einordnung nützlich, ersetzen aber keinen unabhängigen Test mit deinen eigenen Aufnahmen.
Pro und Kontra lokaler KI
Pro:
- Mehr Datenkontrolle – Aufnahmen, Dokumente und Eingaben können auf dem eigenen Gerät bleiben, statt automatisch an einen Cloud-Dienst zu gehen.
- Offline-Nutzung – Ein heruntergeladenes Modell kann seine lokalen Kernfunktionen ohne Internetverbindung und damit auch bei instabiler Verbindung ausführen.
- Keine zwingende Abogebühr – Nemotron 3.5 Transcribe wird kostenlos angeboten, und lokale Modelle benötigen nicht grundsätzlich ein laufendes Cloud-Abonnement.
- Anpassbare Ergebnisse – Textanweisungen und Fachbegriffe erlauben unterschiedliche Ausgaben aus derselben Aufnahme, etwa ein Protokoll oder eine Übersetzung.
Kontra:
- Hohe Hardware-Anforderungen – Nicht jedes Modell läuft sinnvoll auf jedem Computer; Grösse, Arbeitsspeicher und verfügbare Rechenleistung begrenzen die Auswahl.
- Einrichtung statt Sofortstart – Lokale Werkzeuge erfordern mehr Auswahl und Konfiguration als ein fertiger Chatdienst im Browser.
- Begrenzte Funktionen – Nemotron verarbeitet nur Aufzeichnungen und keine Live-Übertragungen; Online-Suche funktioniert ebenfalls nicht vollständig offline.
- Ungeprüfte Fehler – Gute Ranglistenplätze schliessen falsche Wörter, verwechselte Sprecher oder fehlerhafte Zusammenfassungen nicht aus.
Was du praktisch ausprobieren kannst
Als Einsteigerin oder Einsteiger solltest du zuerst eine klar begrenzte Aufgabe wählen, statt sofort einen vollständigen Ersatz für einen Cloud-Chatbot aufzubauen. Ein lokaler Assistent wie Anything LLM eignet sich laut t3n für die Arbeit mit einem integrierten Wissensspeicher. Du kannst damit prüfen, ob deine vorhandene Hardware ein passendes Modell flüssig ausführt und ob die Qualität für deine eigenen Texte oder Dokumente genügt.
Bei Sprachaufnahmen ist ein aufgezeichnetes Gespräch mit wenigen Personen ein sinnvoller erster Test. Vergleiche das Transkript mit der Aufnahme und prüfe besonders Namen, Zahlen, Fachbegriffe und die Zuordnung der Stimmen. Bei vertraulichen Sitzungen oder medizinischen Diktaten bleibt eine menschliche Kontrolle nötig, auch wenn die Verarbeitung lokal erfolgt.
Fortgeschrittene können die Ausgabe von Nemotron per Textanweisung genauer festlegen oder das Modell an Fachsprache und Akzente anpassen. Der Beitrag von Nvidia auf Hugging Face beschreibt dafür Granary v2, eine wiederverwendbare Datenpipeline und Werkzeuge zur Feinabstimmung, also zur gezielten Nachschulung eines vorhandenen Modells. Das richtet sich eher an technisch versierte Personen oder Organisationen als an jemanden, der lediglich gelegentlich ein Gespräch verschriftlichen möchte.
Auch lokale Assistenten lassen sich weiter ausbauen. Anything LLM verbindet einen Wissensspeicher mit agentischen Fähigkeiten und Websuche, während andere agentenbasierte Programme Aufgaben auf dem Computer ausführen können. Sobald ein Assistent jedoch auf das Web oder externe Dienste zugreift, ist «lokal» nicht mehr automatisch gleichbedeutend mit «alle Daten bleiben offline».
Was Hardware und Kosten begrenzen
Die entscheidende Hürde lokaler KI ist häufig nicht das Modell, sondern der Computer. Nvidia nennt für Nemotron 3.5 Transcribe unter anderem DGX Spark, RTX Spark, Jetson AGX Thor und Blackwell-Systeme. Laut TechCrunch soll das 30-Milliarden-Parameter-Modell auf einem einzelnen Chip laufen, während Nvidia auf Hugging Face quantisierte Versionen erst ankündigt; Quantisierung reduziert den Speicher- und Rechenbedarf eines Modells.
Diese Aussagen sind kein Beleg dafür, dass Nemotron auf jedem üblichen Laptop komfortabel läuft. Der t3n-Ratgeber betont, dass die Eignung von Modell und Hardware zusammen betrachtet werden muss und das verfügbare Budget eine wesentliche Rolle spielt. Ein kleineres Modell kann auf bestehender Hardware vernünftiger sein als das leistungsfähigste verfügbare Modell, das den Computer dauerhaft auslastet.
Apple stellt lokale KI inzwischen ausdrücklich als Kaufargument heraus. Das neue 14-Zoll-MacBook Pro mit M6-Chip soll laut Hersteller bei lokalen KI-Aufgaben wie der Verarbeitung von LLM-Eingaben bis zu 25 Prozent mehr Leistung als das Vorgängermodell bieten. Die Schweizer Ankündigung zum MacBook Pro nennt einen Einstiegspreis von 1’899 Franken für 16 Gigabyte Arbeitsspeicher und den Auslieferungsstart am 6. November.
Für die Schweiz ist das ein konkretes, aber kostspieliges Hardware-Angebot. Bei Nemotron nennen die Quellen zwar 40 unterstützte Sprachen, führen diese jedoch nicht vollständig auf; daraus lässt sich weder eine verlässliche Aussage zu Schweizerdeutsch noch zur Qualität in den Schweizer Landessprachen ableiten. Lokale Verarbeitung kann die Kontrolle über sensible Aufnahmen verbessern, ersetzt aber keine Prüfung der verwendeten Software, Modelllizenz und aktivierten Online-Funktionen.
Lokale und offene KI ist damit bereits für klar umrissene Aufgaben brauchbar: Transkription, Arbeit mit eigenen Dokumenten und einfache Computeraktionen müssen nicht zwingend in der Cloud stattfinden. Der Preis dafür sind mehr Hardware-Abhängigkeit, Einrichtung und Qualitätskontrolle. Das offene Risiko bleibt, dass Anbieter-Benchmarks und breite Sprachangaben im eigenen Arbeitsalltag deutlich besser aussehen können als ein schwieriges Gespräch mit mehreren Stimmen, Akzenten und Fachbegriffen.
Quellen
- Voice AI in vogue: Nvidia releases new open transcription model – TechCrunch, 2026-10-28
- Nemotron 3.5 Transcribe: Nvidias offenes Modell vereint Transkription, Übersetzung und Sprechererkennung – The Decoder, 2026-10-28
- NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt – Hugging Face, 2026-10-28
- Anything LLM im Praxistest: So baust du dir deinen eigenen ChatGPT-Ersatz – komplett offline – t3n, 2026-10-28
- Apple setzt mit neuem Macbook Pro auf lokale KI – Netzwoche, 2026-10-28
- Reicht schon ein Macbook mit M1? Diese Hardware brauchst du für lokale KI – t3n, 2026-10-28
Bild: Jeremy Enns via Pexels