KI-Forscher warnen vor dem Wettlauf zu selbstverbessernden Systemen

Forscher und frühere Mitarbeiter mehrerer führender KI-Unternehmen haben sich in einer neuen Interviewreihe ungewöhnlich deutlich zu den Risiken leistungsfähiger KI geäußert. Das Projekt frominside.ai wurde von der gemeinnützigen Sicherheitsorganisation Palisade Research veröffentlicht. Zu den Gesprächspartnern gehören aktuelle oder frühere Mitarbeiter von OpenAI, Google DeepMind und Anthropic, darunter Neel Nanda, Mary Phuong, Juan Felipe Cerón Uribe, Geoffrey Irving, Rosie Campbell und Daniel Kokotajlo.

Reuters berichtete am 29. September 2026 über die Reihe. Im Zentrum steht die Sorge, dass Unternehmen Systeme entwickeln, die an ihrer eigenen Verbesserung mitwirken, während technische Schutzmaßnahmen, politische Regeln und gesellschaftliche Vorbereitung nicht im gleichen Tempo wachsen. Mehrere Teilnehmer fordern deshalb eine langsamere Entwicklung besonders leistungsfähiger Modelle. Andere erklären, warum sie trotz ihrer Bedenken in den Laboren bleiben: Sie hoffen, Sicherheit dort direkt verbessern zu können.

Rekursive Selbstverbesserung bedeutet nicht einfach, dass ein Chatbot aus einem einzelnen Gespräch lernt. Gemeint sind Systeme, die an den Werkzeugen, Daten, Trainingsverfahren oder Nachfolgemodellen mitarbeiten, aus denen wiederum bessere KI-Systeme entstehen. Wenn die verbesserte Generation den nächsten Entwicklungsschritt beschleunigt, kann eine Rückkopplung entstehen. Wie schnell und wie weit sich ein solcher Prozess tatsächlich tragen würde, ist wissenschaftlich offen.

Bereits heute gibt es abgeschwächte Vorformen. KI-Agenten schreiben Code, entwerfen Tests, durchsuchen Forschungsliteratur und optimieren Abläufe. Ein am 25. September veröffentlichtes Forschungspapier zur „evolutionären Sicherheit“ beschreibt mögliche Probleme wie schleichende Zielverschiebungen, Fehler, die sich über mehrere Generationen ansammeln, verunreinigte Erinnerungen und Bewertungsverfahren, die sich zusammen mit dem System verändern. Das Papier liefert eine Taxonomie und Vorschläge für Prüfungen, belegt aber keine unmittelbar bevorstehende unkontrollierte Intelligenzexplosion.

Die Interviewpartner setzen unterschiedliche Schwerpunkte. Einige sorgen sich um schnelle wirtschaftliche Umbrüche und den Verlust vieler Arbeitsplätze. Andere nennen Missbrauch in Biologie, Cyberangriffe, Drohnenschwärme oder Angriffe auf wichtige Infrastruktur. Mehrere sprechen auch über extreme Szenarien bis hin zum Verlust menschlicher Kontrolle. Neel Nanda von Google DeepMind beziffert seine persönliche Einschätzung eines durch KI verursachten Aussterberisikos auf mindestens zehn Prozent. Das ist eine individuelle Risikoeinschätzung, kein gemessener Wert und kein Konsens der gesamten Forschung.

Geoffrey Irving, der früher bei OpenAI und DeepMind arbeitete, kritisiert gegenüber Reuters die Vorstellung, einzelne Unternehmen könnten wegen des Wettbewerbs unmöglich langsamer vorgehen. Andere Teilnehmer beschreiben eine Kultur, in der neue Fähigkeiten stärker belohnt würden als Warnungen. Solche Aussagen sind relevant, weil sie von Personen mit direkter Erfahrung in Frontier-Laboren stammen. Sie ersetzen dennoch keine unabhängige technische Prüfung der Systeme.

Palisade Research vertritt selbst eine klare Position. Die Organisation will das Risiko verringern, dass strategisch handelnde KI-Systeme Menschen dauerhaft entmachten. Auf der Projektseite schreibt sie, viele Bürger unterschätzten, wie ernst Mitarbeiter führender Labore extreme Szenarien nähmen. Die Auswahl der Interviews erfolgte über eigene Netzwerke und Empfehlungen.

Die Betreiber weisen ausdrücklich darauf hin, dass die Gesprächspartner keine repräsentative Stichprobe der KI-Branche sind. Menschen aus Sicherheitsteams und Personen mit starken Sorgen seien überproportional vertreten. Wer zu einem warnenden Interview bereit ist, hält das Thema wahrscheinlich schon vorher für besonders wichtig. Die Gespräche waren nicht geskriptet, Fragen wurden aber vorab mitgeteilt und die Aufnahmen für Klarheit und Ablauf geschnitten. Diese Transparenz stärkt die Einordnung, verhindert aber nicht die Auswahlverzerrung.

Daraus folgt eine nüchterne Lesart. Die Reihe beweist nicht, dass alle Forscher in OpenAI, DeepMind oder Anthropic eine Katastrophe erwarten. Sie zeigt aber glaubwürdig, dass ernsthafte Sorgen nicht nur von außen an die Unternehmen herangetragen werden. Sie existieren bei Menschen, die an Modellen, Ausrichtung und Sicherheitsverfahren gearbeitet haben oder weiterhin daran arbeiten.

Die öffentliche Debatte rutscht bei diesem Thema leicht in zwei Extreme. Auf der einen Seite steht die Behauptung, jede Warnung sei Panikmache. Auf der anderen wird aus unsicheren Zukunftsszenarien eine unmittelbar bevorstehende Katastrophe. Beides unterschlägt den eigentlichen Punkt. Systeme werden autonomer, arbeiten länger und erhalten mehr Zugriff auf echte Werkzeuge. Deshalb müssen ihre Berechtigungen, Veränderungen und Folgen besser überprüfbar werden, auch wenn niemand den genauen Verlauf der technischen Entwicklung kennt.

Sinnvolle Maßnahmen lassen sich bereits ohne Einigkeit über das größte denkbare Risiko diskutieren. Dazu gehören unabhängige Prüfungen, klare Grenzen für eigenständige Veränderungen, nachvollziehbare Herkunft von Trainings- und Erfahrungsdaten, sichere Rücksetzpunkte und die Möglichkeit, Berechtigungen während eines laufenden Auftrags wirksam zu widerrufen. Genau diese Fragen gewinnen an Bedeutung, sobald KI nicht mehr nur Antworten erzeugt, sondern an der nächsten Generation von KI-Systemen mitarbeitet.