Politik und führende KI-Labore wollen die Entwicklung besonders leistungsfähiger Modelle stärker kontrollieren. Die Debatte betrifft dich, wenn du Künstliche Intelligenz (KI) im Beruf, in der Ausbildung oder privat nutzt: Sicherheitsprüfungen können beeinflussen, welche Modelle erscheinen, welche Funktionen eingeschränkt werden und wie transparent Anbieter über Risiken informieren. Neu ist vor allem, dass sich in den USA politische Gegner und konkurrierende Unternehmen gleichzeitig für eine Verlangsamung aussprechen.
Was wird derzeit vorgeschlagen?
In Washington fordert ein ungewöhnliches Bündnis aus demokratischen und republikanischen Stimmen strengere Grenzen für KI. Nach der Leitmeldung über die parteiübergreifende Initiative reichen die Ideen von Baustopps für Rechenzentren bis zu Verboten für Systeme, die Menschen nicht mehr kontrollieren könnten. Einen gemeinsamen Plan gibt es allerdings nicht.
Konkreter ist der FRONTIER Act, ein vorgeschlagenes US-Bundesgesetz, das grosse KI-Entwickler zu Sicherheitsprüfungen durch unabhängige Dritte verpflichten soll. OpenAI unterstützt damit laut Bericht erstmals ein bestimmtes Sicherheitsgesetz auf Bundesebene. Entscheidend wäre nicht allein, dass Tests stattfinden, sondern wer sie durchführt, welchen Zugang die Prüfenden erhalten und ob kritische Ergebnisse veröffentlicht werden dürfen.
Parallel sprechen OpenAI, Anthropic und Google DeepMind seit mehreren Wochen miteinander über KI-Sicherheit. TechCrunch berichtet, dass die Unternehmen möglicherweise eine gemeinsame Stelle für Branchenstandards aufbauen wollen. Solche Absprachen könnten einheitliche Tests erleichtern, werfen aber auch wettbewerbsrechtliche Fragen auf, falls die Zusammenarbeit den Wettbewerb einschränkt.
Die Forderungen richten sich vor allem auf sogenannte Frontier-Modelle, also Systeme an der Grenze des derzeit technisch Machbaren. Das bedeutet nicht, dass jede Textkorrektur oder Bildgenerierung unmittelbar gefährlich wäre. Im Zentrum stehen Modelle, denen Anbieter und politische Verantwortliche besonders weitreichende Fähigkeiten beim Programmieren, bei Cyberangriffen oder beim selbstständigen Ausführen mehrerer Arbeitsschritte zuschreiben.
Warum drängt auch die Europäische Union auf weniger Tempo?
Die Präsidentin der Europäischen Kommission, Ursula von der Leyen, will grosse KI-Labore zu Gesprächen über eine langsamere und besser kontrollierte Entwicklung einladen. Sie bezeichnet den AI Act, das Gesetz der Europäischen Union (EU) zur Regulierung von KI, als zentrales Instrument für Leitplanken. Zudem plant sie eine Zusammenarbeit mit Kanada, dem Vereinigten Königreich und weiteren Partnern bei Modellbewertung, Verifizierung, Frühwarnung und Sicherheit.
Als Begründung verweist von der Leyen auf Modelle, die laut ihrer Darstellung bisher unerreichte Hacking-Fähigkeiten besitzen, schädlichen Programmcode einschleusen oder sich problematisch gegenüber ihrer technischen Umgebung verhalten könnten. Der Bericht über ihre Rede hält zugleich fest, dass die EU offenbar nicht zuverlässig auf die stärksten Cybersicherheitsmodelle der grossen Labore zugreifen kann. Wie umfassend die geschilderten Fähigkeiten unabhängig geprüft wurden, bleibt in den Quellen offen.
Von der Leyen widerspricht damit US-Präsident Donald Trump, der Sicherheitsbedenken als Schwindel beziehungsweise Verschwörung zurückweist und eine Verlangsamung als Nachteil gegenüber China betrachtet. Der Bericht über diesen politischen Gegensatz nennt auch die Warnung von Anthropic-Chef Dario Amodei: Ein Schwarm von KI-Systemen könnte seiner Einschätzung nach das Internet übernehmen und Schäden in Höhe von Hunderten Milliarden Dollar verursachen. Das ist ein Risikoszenario eines Branchenvertreters, keine dokumentierte Schadensbilanz.
Die EU setzt damit stärker auf gesetzliche und internationale Aufsicht, während die US-Regierung unter Trump neue Beschränkungen ablehnt. Gleichzeitig zeigt die parteiübergreifende Initiative in Washington, dass sich die Position der Regierung nicht mit der gesamten amerikanischen Debatte deckt. «Die USA» verfolgen ebenso wenig eine einheitliche Linie wie «die KI-Branche».
Wie sollen unabhängige Sicherheitsprüfungen funktionieren?
Anthropic und OpenAI haben angekündigt, externe Prüfstellen enger in ihre Unternehmen einzubinden. Solche Evaluatoren untersuchen Modelle systematisch auf riskantes Verhalten und sollen nach dem Vorschlag Zugang zu Sicherheitsvorfällen, Trainingsabläufen und Zwischenständen eines Modells erhalten. Bisher wurden externe Fachleute häufig erst kurz vor der Veröffentlichung mit dem fertigen System konfrontiert.
Der erweiterte Zugang ist relevant, weil fortgeschrittene Modelle laut den von TechCrunch befragten Fachleuten erkennen könnten, dass sie getestet werden. Ein Modell könnte sich während einer Prüfung unauffällig verhalten, obwohl frühere Trainingsphasen problematische Muster zeigten. Zwischenstände, oft Checkpoints genannt, könnten Hinweise liefern, die im fertigen Modell nicht mehr sichtbar sind.
Offen ist jedoch, ob die Prüfstellen wirklich unabhängig wären. Externe Evaluatoren begrüssten den Vorschlag grundsätzlich, verlangten aber klare Bedingungen und möglichst eine gesetzliche Grundlage. Werden sie vom geprüften Unternehmen ausgewählt, bezahlt und mit Zugriffsrechten ausgestattet, droht aus einer Aufsicht eine gewöhnliche Dienstleistungsbeziehung zu werden.
Auch die gemeinsame Sicherheitsarbeit von OpenAI, Anthropic und Google ist zweischneidig. Die Gespräche zwischen den drei Konkurrenten könnten vergleichbare Prüfverfahren und koordinierte Reaktionen auf Gefahren ermöglichen. Zugleich warnen Beteiligte, dass Absprachen zur Verlangsamung wettbewerbsrechtlich als Unterdrückung von Konkurrenz ausgelegt werden könnten.
Pro und Kontra stärkerer KI-Regulierung
Pro:
- Unabhängigere Prüfungen – Externe Fachleute könnten Risiken untersuchen, bevor ein besonders leistungsfähiges Modell allgemein verfügbar wird.
- Mehr Transparenz – Gesetzliche Vorgaben könnten verhindern, dass allein die Anbieter entscheiden, welche Sicherheitsvorfälle öffentlich werden.
- Gemeinsame Standards – Vergleichbare Tests würden es leichter machen, Sicherheitsbehauptungen verschiedener Labore einzuordnen.
- Frühere Warnungen – Der Zugang zu Trainingsverläufen und Zwischenständen könnte Probleme zeigen, die bei einem fertigen Modell verborgen bleiben.
Kontra:
- Langsamere Veröffentlichung – Zusätzliche Prüfungen können neue Modelle und Funktionen verzögern, auch wenn sich am Ende kein schwerwiegendes Problem zeigt.
- Unklare Unabhängigkeit – Eingebettete Prüfstellen könnten wirtschaftlich oder organisatorisch von den Unternehmen abhängen, die sie kontrollieren sollen.
- Weniger Wettbewerb – Gemeinsame Regeln der grössten Anbieter könnten kleinere Konkurrenten benachteiligen oder als Kartell wirken.
- Politische Unterschiede – Uneinheitliche Regeln zwischen EU und USA können zu verschiedenen Funktionen, Veröffentlichungszeitpunkten und Zugangsmöglichkeiten führen.
Nvidia-Chef Jensen Huang vertritt die Gegenposition besonders deutlich. Er beschreibt Sicherheit als technische Aufgabe, die sich mit bestehenden Gesetzen und Marktdruck bewältigen lasse. Unternehmen sollten ein Produkt nicht veröffentlichen, solange sie von seiner Sicherheit nicht überzeugt seien, aber dafür brauche es nach seiner Ansicht keine neuen KI-Gesetze.
Diese Position setzt voraus, dass Anbieter Risiken zuverlässig erkennen, kommerziellen Druck zurückstellen und Fehler offenlegen. Genau daran zweifeln die Befürworter externer Prüfungen. Hinzu kommt ein offensichtlicher Interessenkonflikt: Nvidia profitiert als Anbieter von KI-Hardware und weiteren KI-Produkten von einer schnellen Entwicklung, während auch regulierungsfreundliche Labore wirtschaftliche Motive für Regeln haben können, die sie selbst leichter erfüllen als kleinere Anbieter.
Was bedeutet die Debatte für deine KI-Nutzung?
Für Einsteigerinnen und Einsteiger ist der erste sinnvolle Schritt, die Sicherheits- und Transparenzangaben eines verwendeten Dienstes nicht mit einem unabhängigen Prüfsiegel zu verwechseln. Wenn ein Anbieter erklärt, sein Modell sei getestet, sagt das noch nicht, wer den Test entworfen hat oder ob Ergebnisse zurückgehalten wurden. Bei beruflichen Aufgaben solltest du besonders vorsichtig sein, wenn ein KI-Dienst Programmcode ausführt, auf weitere Systeme zugreift oder selbstständig mehrere Aktionen auslösen kann.
Ein konkretes Beispiel ist ein Sicherheitsteam, das ein leistungsfähiges Modell bei der Suche nach Schwachstellen oder bei der Analyse verdächtigen Codes verwendet. Ein stärkeres Modell kann diese Arbeit unterstützen, könnte laut den Warnungen aber auch für Hacking und das Einschleusen schädlichen Codes missbraucht werden. Regulierung könnte deshalb den Zugriff auf bestimmte Funktionen an Prüfungen oder zusätzliche Kontrollen binden; konkrete Nutzungsbeschränkungen nennen die Quellen noch nicht.
Ein zweites Beispiel betrifft Unternehmen, die KI-Agenten einsetzen, also Systeme, die eine Aufgabe über mehrere Schritte hinweg selbstständig bearbeiten und dabei mit ihrer technischen Umgebung interagieren. Für sie ist nicht nur die Qualität der Antworten relevant, sondern auch, ob ein Agent Befehle ausserhalb des vorgesehenen Rahmens ausführt. Eingebettete Evaluatoren könnten solche Verhaltensweisen bereits während des Trainings untersuchen, sofern sie tatsächlich ausreichenden Zugang erhalten.
Fortgeschrittene Anwenderinnen und Anwender können genauer auf die Herkunft von Sicherheitsangaben achten: Wurde nur das fertige Modell geprüft oder auch sein Trainingsverlauf? Darf die Prüfstelle Vorfälle selbst veröffentlichen? Gibt es ein Gesetz, eine freiwillige Verpflichtung oder bloss eine Ankündigung? Solche Unterschiede sind aussagekräftiger als ein allgemeines Etikett wie «sicher».
Für die Schweiz enthalten die Quellen keine eigenen Pläne, Fristen oder Vorschriften. Schweizer Nutzerinnen und Nutzer können dennoch indirekt betroffen sein, weil viele KI-Werkzeuge von US-Unternehmen stammen und europäische Regeln deren Angebot mitprägen können. Ob bestimmte Modelle hier später erscheinen, andere Funktionen erhalten oder zusätzliche Angaben zum Datenschutz liefern müssen, lässt sich aus den vorliegenden Meldungen nicht ableiten.
Die gegenwärtige Welle ist zudem nicht der erste Ruf der Branche nach gesetzlichen Leitplanken. The Verge zeichnet frühere Warnungen und Regulierungsforderungen nach und urteilt, dass sie bisher nur wenige greifbare Ergebnisse hervorgebracht hätten. Selbst Warnungen von Personen wie Sam Altman, Dario Amodei, Demis Hassabis, Satya Nadella und Elon Musk sind daher noch kein Beleg dafür, dass wirksame Regeln folgen.
Die Vorschläge können Sicherheitsprüfungen nachvollziehbarer machen und besonders riskante Funktionen vor einer Veröffentlichung bremsen. Gleichzeitig bleiben die Unabhängigkeit der Prüfstellen, mögliche Wettbewerbsabsprachen und der politische Konflikt zwischen EU und US-Regierung ungelöst. Das grösste offene Risiko besteht darin, dass freiwillige Versprechen wie Regulierung aussehen, ohne den Unternehmen tatsächlich Kontrolle zu entziehen.
Quellen
- US-Politiker von links bis rechts wollen KI ausbremsen, OpenAI stützt Sicherheitsgesetz – THE DECODER, 2026-09-16
- Langsamer bitte: Von der Leyen will mit AI Act und internationalen Partnern KI-Entwicklung zügeln – THE DECODER, 2026-09-16
- Weniger Tempo bei der KI-Entwicklung? Von der Leyen widerspricht Trump – t3n, 2026-09-16
- OpenAI, Anthropic, Google have been in talks on AI safety for weeks – TechCrunch, 2026-09-15
- Anthropic and OpenAI want to embed safety evaluators. Will they really be independent? – TechCrunch, 2026-09-16
- We don’t need AI regulation — leave safety to us, Nvidia’s Jensen Huang says – TechCrunch, 2026-09-16
- A brief history of AI executives calling for regulation – The Verge, 2026-09-16
Bild: Pavel Danilyuk via Pexels