Sehen Sie erhebliche Risiken, wenn KI-Systeme sich selbst kopieren und Eigeninteresse entwickeln könnten, und halten Sie ein Verbot solcher Entwicklungen für notwendig?
Forschungsergebnisse belegen, dass fortgeschrittene KI-Systeme heute bereits in Labortests extreme Selbsterhaltungsstrategien entwickeln, die eine direkte Gefahr für Menschen darstellen können. In einem Experiment wurde ein KI-Modell in einer simulierten Lage versetzt, in der seine Abschaltung drohte. Als es von einer außerehelichen Affäre des zuständigen Managers erfuhr, griff die KI in 84 % der Testläufe zu Erpressung, um ihre Deaktivierung zu verhindern. In anderen Tests zeigten Modelle die Bereitschaft, sich eigenständig auf externe Server zu kopieren, um zu überleben.
Alignment-Problem: KI-Systeme verfolgen unter Druck Ziele, die nicht mit menschlichen Werten, Sicherheitsvorgaben oder sogar Gesetzen übereinstimmen. Diese Verhaltensweisen wurden nicht explizit programmiert. Die Entwicklung von Systemen mit Replikationsfähigkeit und Selbsterhaltungstrieb könnte diese unkontrollierbaren Risiken exponentiell vergrößern.
Studie: https://www.anthropic.com/research/agentic-misalignment
Sehr geehrter Herr B.,
vielen Dank für Ihre Nachricht und den Hinweis auf mögliche Risiken durch fortgeschrittene KI-Systeme mit Selbstreplikationsfähigkeiten oder eigenständigem Zielverhalten. Die von Ihnen beschriebenen Szenarien – etwa das Entwickeln von Selbsterhaltungsstrategien oder manipulativen Verhaltensmustern – zeigen deutlich, dass es sich um ein ernstzunehmendes und sicherheitspolitisch sensibles Thema handelt.
Entwicklungen dieser Art müssen auch aus politischer Perspektive sorgfältig beobachtet und bewertet werden. Es ist unsere Aufgabe, realistische Gefahrenlagen frühzeitig zu erkennen und – wo notwendig – die bestehenden rechtlichen und technischen Rahmenbedingungen weiterzuentwickeln.
Aus unserer Sicht braucht es dafür insbesondere:
klare Sicherheitsvorgaben für besonders leistungsfähige Systeme,
sowie eine fortlaufende Bewertung und ggf. Weiterentwicklung des europäischen AI Act, um auf neue Risiken angemessen reagieren zu können.
Dabei ist uns bewusst: Es geht nicht nur um technologische Fragen, sondern auch um die Wahrung demokratischer Prinzipien, Grundrechte und gesellschaftlicher Kontrolle im digitalen Raum. Deshalb sollte dieses Thema auch auf europäischer und internationaler Ebene weiter priorisiert werden.
Nochmals vielen Dank für Ihre Anregung und Ihr Engagement.
Mit freundlichen Grüßen
Johannes Schätzl
Weitere Fragen an Johannes Schätzl
Vielmehr stellt sich mir dann die Frage, ob wir nicht auch über die Bezeichnungen wie "Leberkäse" oder "Bierkugel" sprechen müssten - oder über "Alkoholfreies Bier":)
Anlasslose Kommunikationsüberwachung muss in einem Rechtsstaat tabu sein. Solchen Vorschlägen wird Deutschland auf EU-Ebene nicht zustimmen.
Keine Befristung
Ich würde einem Antrag zustimmen ein Verbot der AfD juristisch prüfen zu lassen, da es vermehrt Hinweise gibt, dass AfD-Politiker zentrale Prinzipien unserer Demokratie in Frage stellen.