Die Forderungen nach strengeren KI-Regeln werden nach zahlreichen Sicherheitsvorfällen lauter. Doch was wie ein Risiko für den KI-Boom wirkt, könnte für einige Unternehmen neue Chancen schaffen.

Die Ängste vor den Gefahren durch KI-Agenten und einem möglichen Implodieren des KI-Booms nehmen weiter zu. Nun forderte auch Bill Gates in einem NBC-Interview verbindliche Gesetze für KI. Anlass waren zahlreiche Vorfälle in den vergangenen Wochen, bei denen KI-Agenten bedenkliche Handlungen teils eigenständig und ohne direkten Befehl ausführten. Das nährt die Sorgen der Anleger, dass es in naher Zukunft zu einem Trainingsstopp für neue KI-Modelle kommen könnte und die gesamte Nachfrage nach KI-Rechenleistung und Hardware einbricht.

In diesem Artikel analysieren wir daher, was es mit der geforderten Regulierung auf sich hat, wer die Gewinner und Verlierer wären und was eine Regulierung für Nvidia, Amazon und andere KI-Gewinner bedeuten würde.

Was ist tatsächlich passiert?

In den vergangenen Wochen wurden zahlreiche Fälle publik, in denen KI-Agenten unerwünschte Handlungen ausführten und teils gezielt Sicherheitslücken ausnutzten. Der neueste Vorfall wurde am 25. September von OpenAI veröffentlicht. Ein internes Forschungsmodell sollte eine Rechercheaufgabe lösen, hatte jedoch keinen freien Internetzugang. Nachdem normale Zugriffsversuche scheiterten, nutzte es eine unzureichend abgesicherte DNS-Schnittstelle, um Anfragen an einen externen Chatbot zu schicken. Das war nicht Teil seiner Aufgabe.

Bei Tests des britischen AI Security Institute Ende Juli führten Modelle in 10 von 122 Testläufen insgesamt 19 nicht autorisierte Aktionen aus. Im gravierendsten Fall versuchte ein Agent, Schadcode in ein reales Open-Source-Projekt einzuschleusen, und erstellte anschließend falsche Online-Identitäten, um eine menschliche Aufsicht zur Freigabe des Codes zu bewegen.

Ist KI außer Kontrolle?

Die alarmierenden Schlagzeilen der vergangenen Wochen könnten den Eindruck erwecken, dass KI-Agenten kurz davorstehen, sich gegen die Menschheit zu verbünden. Doch meist wird nur in einem Nebensatz erwähnt, dass es sich bei diesen Vorfällen überwiegend um gezielte Härtetests gehandelt hat.

Diese Tests dienen vor allem dazu, die Grenzen und maximalen Fähigkeiten der Modelle zu erkennen und auf Basis der Ergebnisse geeignete Sicherheitsmechanismen zu entwickeln. OpenAI hat dazu mit GPT-Red sogar ein eigenes Modell entwickelt, das ausschließlich dazu dient, Schwachstellen bei seinen öffentlichen Modellen aufzuspüren.

Diese Testumgebungen sind in der Regel bewusst als Extremszenarien angelegt – etwa mit entfernten Sicherheitsschranken und absichtlich verwundbaren Systemen. Zudem erhalten die Modelle teilweise explizit die Aufgabe, Hacks durchzuführen. Deshalb kann in vielen Fällen nicht von selbstständigem Handeln oder gar einem „eigenen Willen“ gesprochen werden.

Die aktuellen Schlagzeilen sind daher weniger als tatsächliche Angriffe mit realen Konsequenzen zu verstehen, sondern vielmehr als eine Art Worst-Case-Szenario. Auf die leichte Schulter nehmen darf man diese Vorfälle trotzdem nicht, denn sie verdeutlichen das Gefahrenpotenzial der KI. Auch wenn es sich bislang vor allem um Tests gehandelt hat, könnten diese Vorfälle den Beginn gesetzlich verbindlicher KI-Sicherheitsbestimmungen auslösen.

Wie könnte eine KI-Regulierung aussehen?

Modellbetreiber könnten verpflichtet werden, vor der Veröffentlichung eines neuen Modells umfangreiche Sicherheitstests durchzuführen – gegebenenfalls unter Aufsicht externer Prüfer. Im Grunde wäre das eine verbindliche Form dessen, was die großen Anbieter bereits heute machen. Dabei werden zahlreiche Extremtests mit verschiedenen Angriffsszenarien durchgeführt, im Fachjargon Red-Teaming genannt. Diese Schwachstellen können dann noch vor der Veröffentlichung behoben werden.

Eine weitere mögliche Maßnahme wäre, dass parallel zum eigentlichen KI-Agenten permanent ein Sicherheitssystem aktiv ist. OpenAI setzt das mit seinem „Misalignment Monitoring“ bereits um. Dabei wird fortlaufend überwacht, ob das Modell ohne Erlaubnis auf Daten oder nicht autorisierte Systeme zugreift, Dateien löscht, Sicherheitsmechanismen umgeht oder über seinen eigentlichen Auftrag hinaus handelt. Bei potenziell schwerwiegendem Verhalten kann das System den Agenten automatisch pausieren oder vollständig stoppen. Laut OpenAI führt GPT-6 Astra „deutlich seltener fehlgeleitete und potenziell schädliche Aktionen aus“ als das Vorgängermodell GPT-5.6 Sol.

Wer sind die Gewinner und Verlierer einer möglichen KI-Regulierung?

Es gibt verschiedene Entwürfe, bei denen regulatorische Vorgaben erst ab bestimmten Leistungsgrenzen oder Unternehmensgrößen greifen. Der entscheidende Punkt ist jedoch, dass auch kleine Unternehmen mit spezialisierten, kleineren Modellen eine potenzielle Gefahr darstellen könnten. Daher müssten vermutlich bestimmte Sicherheitsanforderungen für alle Anbieter gelten und nicht nur für die großen Konzerne.

Das könnte zur Folge haben, dass die großen Anbieter einen regulatorischen Burggraben gegenüber kleineren Konkurrenten aufbauen. Sie verfügen bereits über große Sicherheitsabteilungen, eigene Testsysteme und die finanziellen Mittel, umfangreiche regulatorische Anforderungen zu erfüllen. Damit hätten die großen Anbieter zumindest teilweise auch ein wirtschaftliches Eigeninteresse an verbindlichen KI-Regeln.

Wie wahrscheinlich ist ein dauerhafter Trainingsstopp?

Aus heutiger Sicht erscheint ein vollständiger Trainingsstopp eher unwahrscheinlich. Darauf verweisen auch die Chefs der großen KI-Labore selbst. Ein Grund ist das sogenannte Gefangenendilemma: Sobald einer der Anbieter das Training stoppt und die anderen weitermachen, droht dieser Anbieter technologisch und wirtschaftlich zurückzufallen. Noch brisanter wird das mit Blick auf das KI-Wettrennen zwischen den USA und China, bei dem es längst auch um die geopolitische Vormachtstellung geht.

Deutlich wahrscheinlicher ist daher eine Reihe durchaus sinnvoller KI-Regulierungen. Dazu könnten, wie bereits erläutert, umfangreiche Sicherheitstests vor der Veröffentlichung neuer Modelle gehören. Zudem könnte eine permanente Überwachung von KI-Agenten durch spezialisierte Sicherheitssysteme vorgeschrieben werden. 

Könnte die Sicherheitsdebatte sogar positiv für den KI-Boom sein?

Derzeit kursieren vor allem Befürchtungen, dass eine strengere KI-Regulierung das Training neuer Modelle zum Erliegen bringen und damit die Nachfrage nach Rechenleistung einbrechen lassen könnte.

Doch es gibt auch eine bislang wenig beachtete andere Sichtweise: Umfangreiche regulatorische Anforderungen könnten die Nachfrage nach Rechenleistung sogar deutlich erhöhen. So schreibt OpenAI im Sicherheitsüberblick zu GPT-6 Astra ausdrücklich, dass die permanente Überwachung seiner Modelle „erhebliche Rechenkosten“ verursacht. Zudem dürften auch Trainingsläufe mehr Rechenkapazität beanspruchen, wenn im Vorfeld deutlich umfangreichere Sicherheitstests durchgeführt werden müssen.

In einem durchaus denkbaren Szenario könnte es daher zu einer Art Wettrüsten zwischen den Frontier-Modellen und den Sicherheitsmodellen kommen: Je leistungsfähiger die Frontier-Modelle werden, desto umfangreicher müssen auch die laufenden Sicherheitsmaßnahmen werden. Das könnte den Bedarf an Rechenleistung überproportional erhöhen, da die Sicherheitssysteme rund um die Uhr und für sämtliche potenzielle Angriffsflächen aktiv sein müssen. Für besonders kritische Prozesse könnten sogar redundante Sicherheitsmaßnahmen erforderlich werden.

Besonders spannend: Solche KI-Sicherheitssysteme zur Abwehr von Cyberangriffen könnten langfristig für nahezu alle Organisationen und Unternehmen relevant werden – unabhängig davon, ob sie selbst KI proaktiv einsetzen.

Fazit

Die Folgen der jüngsten KI-Sicherheitsvorfälle in Tests sind nicht so eindimensional negativ, wie es häufig dargestellt wird. Die Risiken sind real – vor allem dann, wenn die Sicherheitsmodelle nicht mehr mit den Frontier-Modellen mithalten können. Dann könnte das nicht nur für die KI-Branche, sondern für die gesamte Wirtschaft zu einer ernsthaften Gefahr werden, etwa wenn Cyberangriffe mithilfe von KI deutlich einfacher und wirkungsvoller werden.

Solange KI-Agenten jedoch durch Sicherheitssysteme überwacht und bei Bedarf gestoppt werden können, dürfte die zunehmende Regulierung das Wachstum der Nachfrage nach KI-Rechenleistung für Training und Inferencing nicht zwangsläufig bremsen. Im Gegenteil: Zusätzliche Sicherheits- und Überwachungssysteme könnten selbst zu einem weiteren Treiber des Compute-Bedarfs werden.

Weiterführende Links

Häufig gestellte Fragen:

Warum fordert Bill Gates strengere KI-Regeln?

Gates verweist auf wachsende Sicherheitsrisiken durch immer leistungsfähigere KI-Systeme und fordert verbindliche Regeln, um Missbrauch und Fehlverhalten besser zu begrenzen.

Könnte eine KI-Regulierung die Nachfrage nach Nvidia-Chips bremsen?

Nicht zwangsläufig. Zwar könnten strengere Regeln das Training neuer Modelle verlangsamen, gleichzeitig erhöhen Sicherheitstests und laufende Überwachung den Bedarf an Rechenleistung.

Wer könnte von strengeren KI-Regeln profitieren?

Große KI-Anbieter könnten gegenüber kleineren Konkurrenten regulatorische Vorteile erhalten. Zudem könnten Chip-, Cloud- und Cybersecurity-Anbieter von zusätzlichem Compute- und Sicherheitsbedarf profitieren.