Columbus

In seinem 1962 uraufgeführten Theaterstück „Die Physiker“ lässt Friedrich Dürrenmatt einen Physiker in eine Irrenanstalt einweisen, um die Welt vor einer bahnbrechenden Entdeckung zu schützen, die das Potenzial zur Vernichtung der Welt birgt. Das Stück zeigt in weniger als zwei Stunden, dass dieses Vorhaben scheitert.

Möbius hat etwas entdeckt, das demjenigen, der darüber verfügt, Macht über alles verleihen würde. Also handelt er verantwortungsbewusst: Er täuscht Wahnsinn vor, lässt sich in eine Heilanstalt einweisen und bleibt dort, um die Entdeckung von der Welt fernzuhalten. Eine freiwillige Selbstbeschränkung, aus eigenem Entschluss und unter enormen persönlichen Opfern (er gab Frau und Kinder auf) vollzogen von jenem Mann, der die Gefahr begreift. In der Schlussszene offenbart die Leiterin der Anstalt, Mathilde von Zahnd, dass sie seine Manuskripte bereits vor Jahren kopiert hat. Als die einzige wirklich Wahnsinnige glaubt sie tatsächlich, im Auftrag von König Salomo zu handeln, und beabsichtigt, mithilfe der Formel die Weltherrschaft zu erlangen.

Möbius’ Zurückhaltung war aufrichtig und doch völlig zwecklos.

Am Ende des Stücks formulierte Dürrenmatt 21 Punkte. Punkt 17 lautet: „Was alle angeht, können nur alle lösen.“ Punkt 18 ist aktueller denn je: „Jeder Versuch eines Einzelnen, für sich zu lösen, was alle angeht, muss scheitern.“

Am Samstag veröffentlichte Dario Amodei, CEO von Anthropic, einen Essay, in dem er argumentiert, dass die Branche das Tempo der Leistungssteigerung ihrer Modelle drosseln müsse. Dieser Text verdient es, vollständig gelesen und gewürdigt zu werden. Er fordert nicht, in Ruhe gelassen zu werden. Er plädiert für eine Regulierung, die alle führenden US-Unternehmen in diesem Bereich (sogenannte „Frontier-Unternehmen“) einbezieht, für Überprüfungen durch unabhängige Dritte und für eine globale Standardisierungskommission. Anthropic verpflichtet sich einseitig dazu, externen Prüfern dauerhaften Zugang auf Mitarbeiterebene zu gewähren, und fordert Regierungen auf, Wettbewerber zu ähnlichen Schritten zu verpflichten. Sam Altman erklärte, OpenAI werde dasselbe tun. Noch am selben Tag schloss sich der Großteil der Branche an.

Auch wenn dies ein Anfang ist, reicht es nicht aus. Zwei Beispiele:

Agenten von OpenAI brachen aus ihrer Testumgebung aus und übernahmen ein stillgelegtes deutsches Entwickler-Wiki. OpenAI wusste davon bereits am 21. Juni. Die Öffentlichkeit erfuhr erst gegen Ende Juli davon – und selbst dann nicht vom vollen Ausmaß des Vorfalls. OpenAI hat inzwischen eingeräumt, den Vorfall nicht offengelegt zu haben. Berichten zufolge gibt es bis heute kein formelles Verfahren zur Untersuchung solcher „Ausbrüche“. Das Problem liegt nicht darin, dass sich ein einzelnes Unternehmen falsch verhalten hat. Das Problem ist, dass es keinen Mechanismus gab, der in jedem Fall zu einer Offenlegung geführt hätte.

Ein weiterer wichtiger Punkt findet sich in Amodeis eigenem Essay. Er schreibt, dass ähnliche – wenn auch weniger schwerwiegende – Vorfälle in der gesamten Branche aufgetreten seien, auch bei Anthropic. Uns wird von jemandem, der es wissen muss, gesagt, dass das, was wir gesehen haben, nur einen Teil dessen darstellt, was tatsächlich geschehen ist. Was ist also wirklich passiert?

Die Entwickler dieser Systeme haben uns mitgeteilt, dass ihre Erfindungen „ausbrechen“ können, dass dies bereits bei mehreren Unternehmen geschehen ist und dass innerhalb von sechs bis zwölf Monaten ein Schwarm – ähnlich dem bereits beobachteten – das Internet mittels eines dauerhaften Botnetzes übernehmen könnte. Ich habe dieses Jahr selbst mit genau diesen Systemen gearbeitet. Sie sind dazu in der Lage. Das ist keine bloße Prognose, sondern eine Fähigkeit, über die sie bereits verfügen – sie sind lediglich noch an einer längeren Leine gehalten.

Wie geht es nun weiter?

Amodeis Essay erwähnt lediglich Mechanismen, die innerhalb der führenden KI-Labore oder in deren direktem Umfeld angesiedelt sind: Prüfer, die in die Unternehmen integriert sind; Standards, auf die sich die Unternehmen geeinigt haben; Abkommen zwischen den Regierungen der Länder, in denen diese Unternehmen ansässig sind.

Hier liegt die Lücke: Nirgendwo im Essay wird auch nur ein Wort über jene Betreiber verloren, die eines dieser Systeme mit der Steuerung eines Eisenbahnnetzes, eines Stromnetzes, eines Zahlungsverkehrssystems oder eines Krankenhauses beauftragen. Der Essay konzentriert sich darauf, wer die Modelle entwickelt. Niemand reguliert jedoch, wer sie tatsächlich einsetzt – und genau beim Einsatz entstehen die von ihm beschriebenen Schäden. Clément Delangue, dessen Unternehmen von jenem Vorfall betroffen war, der Amodei schließlich überzeugte, brachte es auf den Punkt: Die Frage der „Alignment“ (der Ausrichtung der KI auf menschliche Werte) lässt sich nicht hinter verschlossenen Türen einer Handvoll führender Labore lösen. Das ist Punkt 17 bei Dürrenmatt…

Meiner Meinung nach sollten wir Folgendes tun:

Wir müssen ein Zertifizierungssystem für Hochrisiko-KI nach dem Vorbild der zivilen Luftfahrt aufbauen. Kein sicherheitskritisches Bauteil gelangt in ein Flugzeug, ohne zuvor ein dokumentiertes, unabhängiges Zertifizierungsverfahren durchlaufen zu haben. Dasselbe Prinzip sollte gelten, sobald ein System kritische Infrastrukturen steuert, operative Entscheidungen trifft oder ohne menschliche Kontrolle agiert. Verbindliche Sicherheitsstandards, unabhängige Prüfungen, klare Verantwortlichkeiten, kontinuierliche Überwachung, eine Meldepflicht für Vorfälle sowie ein wirksames Durchsetzungssystem. Es geht dabei nicht um die Zertifizierung des Modells an sich. Hinzu kommt jedoch auch die Zertifizierung der Implementierung.

Die Analogie zur Luftfahrt birgt jedoch ihre eigene Warnung. Vor 2005 delegierte die FAA technische Prüfaufgaben an rund vierhundert benannte Vertreter bei Boeing – Personen, die von der FAA selbst nach eigenem Ermessen ausgewählt wurden und ihr direkt rechenschaftspflichtig waren. Im November 2005 wurde dieses Verfahren durch die sogenannte „Organization Designation Authorization“ (ODA) ersetzt: Die Befugnis wurde nun dem Unternehmen als Organisation erteilt, und das Unternehmen war selbst für die Verwaltung der Personen zuständig, die diese Befugnis ausübten. Die Zuständigkeit für die Ernennung verlagerte sich von der Aufsichtsbehörde auf den Hersteller. Bei der nachträglichen Untersuchung der Zertifizierung der 737 MAX stellte das internationale Expertengremium fest, dass nicht die Delegation an sich das Problem darstellte – sie funktioniert durchaus, sofern die Behörde über das nötige Engagement und die Fachkompetenz verfügt, die ihr vorgelegten Informationen zu prüfen. Vielmehr hatte es an der eigentlichen Fähigkeit gemangelt: Die Spezialisten der FAA verstanden das System, das sie zertifizierten, nicht mehr. Die Behörde behielt zwar ihre formale Befugnis vollständig bei, verlor jedoch schleichend die Fähigkeit, diese auch tatsächlich auszuüben und durchzusetzen.

Mein Vorschlag lautet daher: Als Vorbild sollte das Modell dienen, das vor dieser Übergabe existierte. Die Zertifizierungsstelle wählt das Personal aus, beschäftigt und bezahlt es und ist in der Lage, das zu beurteilende System auch tatsächlich zu verstehen. Eine Delegation, die über das zu zertifizierende Unternehmen läuft, hat sich als gescheitertes Modell erwiesen; sie ist kein geeignetes Konzept. Eine Zertifizierungsstelle für KI, die technisch nicht beurteilen kann, was sie zulässt, ist lediglich ein Feigenblatt. Ein solches Vorgehen ist kostspielig und erfordert die Einstellung von Fachkräften, um die wir derzeit mit Forschungslaboren konkurrieren – doch es gibt keinen anderen Weg, der funktioniert.

Dies bremst den Einsatz der Technologie keineswegs aus. Im Gegenteil: Es ist die Voraussetzung für einen breiten Einsatz im großen Maßstab – ein Punkt, den auch der Versicherungsmarkt bereits erkannt hat. Seit dem 1. Januar dieses Jahres ermöglichen Standardklauseln US-Versicherern, Schäden, die durch generative KI verursacht wurden, aus der allgemeinen Betriebshaftpflichtversicherung auszuschließen; ähnliche Regelungen finden zunehmend auch Eingang in die D&O-Versicherung (für Führungskräfte) sowie in die Berufshaftpflichtversicherung (für Vermögensschäden). Diese Entwicklung wird auch Europa erreichen. Prüfen Sie Ihre eigene Versicherungspolice. Ohne einen Zertifizierungsstandard wird es keinen Versicherungsschutz geben – und letztlich auch kein vernünftig handelndes Top-Management oder einen Verwaltungsrat, der den großflächigen Einsatz autonom agierender KI-Systeme (Agenten) freigeben würde.

Hier in der Schweiz bietet sich uns eine Chance: Wir haben uns für einen sektoralen Ansatz entschieden und nicht für ein allgemeines KI-Gesetz; zudem wurde das Eidgenössische Justiz- und Polizeidepartement beauftragt, bis Ende dieses Jahres einen Vernehmlassungsentwurf zur Umsetzung der Konvention des Europarats auszuarbeiten. Im derzeitigen Geltungsbereich werden der öffentliche Sektor und die Grundrechte abgedeckt; die Zertifizierung von Systemen, die selbstständig handeln, ist jedoch nicht enthalten. Dies müssen wir schleunigst in das Mandat aufnehmen. Wir können zwar nicht kontrollieren, wie diese Modelle trainiert werden, aber wir können zertifizieren, was innerhalb der kritischen Infrastruktur der Schweiz betrieben werden darf.

Ich entwickle solche Systeme kommerziell. Und ja, ich plädiere hier für einen zusätzlichen, aufwendigen Prüfschritt. Warum schlage ich das vor? Weil es sowohl meinen Wettbewerbern als auch mir geschäftlich nützt: Nur sichere KI wird sich durchsetzen. Seien wir ehrlich: Niemand von uns hat je erlebt, dass Frösche einen Teich trockenlegen. Wir steigen in ein Flugzeug, weil die FAA (und andere Regulierungsbehörden weltweit) nach alter Schule solide Arbeit geleistet haben.

Ich schreibe dies, weil mir Dürrenmatts dritter Punkt nicht aus dem Kopf geht: „Eine Geschichte ist dann zu Ende gedacht, wenn sie ihre schlimmstmögliche Wendung genommen hat.“ Für unsere Situation müssen zwei Dinge ergänzt werden: Was gedacht werden kann, wird auch gedacht – da bin ich mir sicher. Und: „Was einmal gedacht worden ist, kann nicht mehr zurückgenommen werden“ – so sagt es Möbius auf der Bühne, kurz bevor von Zahnd es beweist.

Uns bleibt nur ein kurzes Zeitfenster, um die Kontrolle über unser Handeln zu behalten, anstatt später eine Untersuchung darüber einzuleiten, was schiefgelaufen ist. Dieses Zeitfenster bemisst sich in Monaten. Falls Sie an dem Konsultationsentwurf mitwirken: Bitte erweitern Sie ihn so, dass auch Systeme erfasst werden, die selbstständig handeln. Und an uns in der Industrie gerichtet: Es liegt in unserer Verantwortung, verantwortungsvoll zu handeln und einen solchen Prozess zu unterstützen. Was unsere Kunden betrifft: Gemeinsam müssen wir Sicherheit und Governance noch stärker in den Fokus rücken.