Leitplanken und Governance von KI-Agenten: Definition und Mechanismen

Einem KI-Agenten die Macht zu geben, allein und auf eigenen Werkzeugen zu handeln, wirft sofort eine Vertrauensfrage auf: Wer entscheidet, was er tun darf, und wie lässt sich im Nachhinein prüfen, dass er diesen Rahmen nicht überschritten hat? Leitplanken und Governance beantworten diese Frage gemeinsam, die eine auf der technischen Ebene jeder Aktion, die andere auf der organisatorischen Ebene des gesamten Systems.

Definition im Detail

Leitplanken (Guardrails) sind die konkreten Mechanismen, die einschränken, was ein KI-Agent tun darf: präzise Berechtigungen pro Aktion, eingeschränkter Zugriffsumfang, Quotas, Punkte menschlicher Validierung bei sensiblen Entscheidungen. Governance ist der weitere Rahmen, in dem diese Leitplanken konzipiert, entschieden und geprüft werden: wer sie konfigurieren darf, wie Risiken dokumentiert werden, wie im Nachhinein verifiziert wird, dass sich das System wie vorgesehen verhalten hat.

Zwei Referenzen prägen heute die Diskussion um KI-Governance, mit unterschiedlicher Logik. Das AI Risk Management Framework des NIST (AI RMF 1.0), im Januar 2023 in den USA veröffentlicht, ist ein freiwilliges Rahmenwerk, strukturiert um vier Funktionen: Govern (steuern, die übergreifende Funktion, die Kultur und Verantwortlichkeiten festlegt), Map (die Risiken eines bestimmten Systems kartieren), Measure (diese Risiken messen) und Manage (sie steuern). Der AI Act der Europäischen Union ist dagegen ein bindender Rechtstext: Für als hochriskant eingestufte Systeme schreibt er ein Risikomanagementsystem (Artikel 8), eine Governance der Trainingsdaten (Artikel 10), technische Dokumentation (Artikel 11), automatische Protokollierung von Ereignissen (Artikel 12), Transparenz gegenüber Nutzern und eine wirksame menschliche Aufsicht (Artikel 13 und 14) vor. Die Hauptpflichten für Hochrisikosysteme gelten ab Dezember 2027 für die von Anhang III erfassten Systeme und ab August 2028 für jene aus Anhang I.

Der gemeinsame Nenner dieser beiden Rahmenwerke, trotz ihrer unterschiedlichen Natur (freiwillig gegenüber bindend), ist die Betonung von Nachvollziehbarkeit (protokollieren, was geschieht) und menschlicher Aufsicht als nicht verhandelbare Bestandteile einer ernsthaften KI-Governance, unabhängig von der Rechtsordnung.

So funktioniert es

Ein wirksames Leitplanken-System wirkt auf mehreren Ebenen, von der weitesten zur präzisesten. Auf der weitesten Ebene wird entschieden, welche Werkzeuge mit einem System verbunden werden und welche Aktionskategorien überhaupt infrage kommen. Auf der mittleren Ebene wird festgelegt, wer, Mensch oder Agent, welches Werkzeug mit welchem Umfang nutzen darf (nur Lesen, oder Lesen und Schreiben). Auf der präzisesten Ebene wird jede einzelne Aktion in dem Moment geprüft, in dem sie angefordert wird: Existiert die Berechtigung, deckt sie genau diese Aktion ab, mit gültigen Argumenten.

Das solideste Prinzip zum Aufbau dieser Leitplanken ist Deny-by-Default (Ablehnung als Standard): Nichts ist erlaubt, solange keine explizite Berechtigung erteilt wurde, statt von einem breiten Zugriff auszugehen, der danach Fall für Fall eingeschränkt wird. Das ist aufwendiger in der Einrichtung, vermeidet aber den häufigsten Fehler in der Sicherheit, das Vergessen einer Einschränkung statt das Vergessen einer Erlaubnis.

Governance fügt eine Schicht aus Verantwortlichkeit und Prüfbarkeit hinzu: wer welche Leitplanke wann konfiguriert hat, und ob ein Audit erlaubt, im Nachhinein zu rekonstruieren, was tatsächlich geschehen ist, falls eine Frage aufkommt.

Konkretes Beispiel bei Atako

Bei Atako beruht das Berechtigungsmodell genau auf diesem Deny-by-Default-Prinzip. Ein Werkzeug (Slack, GitHub, HubSpot oder eine andere Integration) auf Unternehmensebene zu verbinden, gibt keinem Agenten Zugriff, solange kein expliziter "Grant" erstellt wurde. Ein Grant verknüpft einen bestimmten Agenten mit einer bestimmten Verbindung, mit einer Liste präziser erlaubter Aktionen (kein generischer Zugriff auf ganz GitHub, sondern zum Beispiel nur list_issues und create_issue), einem Umfang (nur Lesen oder Lesen-Schreiben) und einem optionalen Ablaufdatum. Selbst wenn eine Schreibaktion versehentlich zur Liste eines nur lesenden Grants hinzugefügt würde, würde der Umfang ihre Ausführung trotzdem blockieren: Das ist eine doppelte Kontrolle.

Der von Atako dokumentierte Entscheidungsweg folgt diesem Schema: Der Agent äußert eine Handlungsabsicht, die Plattform prüft, ob ein Grant existiert, ob die Aktion auf der erlaubten Liste steht, ob der Umfang ausreicht, ob die Argumente gültig sind, und führt erst dann den Aufruf beim externen Anbieter aus und gibt das Ergebnis an den Agenten zurück, nie das Zugriffsgeheimnis selbst. Jeder gescheiterte Schritt erzeugt eine protokollierte Ablehnung, was direkt in die Observability des Agenten einfließt.

Bei der Widerrufung ist die Kappung des Zugriffs sofort und endgültig: Eine Verbindung zu widerrufen löscht das verschlüsselte Geheimnis auf der Stelle, ohne Gnadenfrist, und alle davon abhängigen Agenten verlieren den Zugriff sofort. Das ist eine Leitplanke als letztes Mittel, konzipiert, um im Zweifelsfall schnell zu handeln.

Häufige Fehler

Ein häufiger Fehler besteht darin zu glauben, den Zugriff auf ein Werkzeug zu gewähren entspreche einem vollständigen Zugriff auf dieses Werkzeug. Ein gutes Governance-System unterscheidet immer den Zugang zu einem Dienst (die Verbindung) von der Erlaubnis, dort zu handeln (der Grant, mit seinen präzisen Aktionen und seinem Umfang).

Zweiter Fehler: glauben, KI-Governance beschränke sich auf regulatorische Papierarbeit ohne praktische Wirkung. Ob über ein freiwilliges Rahmenwerk wie das des NIST oder einen bindenden Text wie den europäischen AI Act, es kehren dieselben konkreten Anforderungen wieder: Risiken dokumentieren, Aktionen protokollieren, bei sensiblen Entscheidungen einen Menschen in der Schleife behalten. Das sind operative Mechanismen, keine Formalität.

Dritter Fehler: technische Leitplanken mit menschlicher Validierung verwechseln. Berechtigungen und Quotas gelten automatisch, ohne dass jedes Mal ein Mensch eingreift. Die menschliche Validierung ist eine andere Leitplanke, vorbehalten für Aktionen, deren Risiko rechtfertigt, den Prozess bewusst zu verlangsamen, damit eine Person schaut, bevor es losgeht.

Schließlich ist es ein klassischer Fehler, die Notwendigkeit eines zugänglichen Audits zu unterschätzen. Leitplanken, die falsche Aktionen korrekt blockieren, sind nützlich, aber ohne einsehbare Historie dessen, was erlaubt, abgelehnt oder ausgeführt wurde, wird es unmöglich, die Frage gelassen zu beantworten, die ein Kunde oder Regulierer irgendwann stellen wird: Was genau hat dieser Agent getan, und warum.