Aktionen nach Wirkung einteilen

Erstellen Sie vor der Umsetzung eine Liste aller Werkzeuge. Beschreiben Sie bei jedem Werkzeug, was es lesen oder verändern darf und welche Folgen ein Fehler hätte.

Eine praktische Einteilung unterscheidet reine Lesezugriffe, vorbereitende Entwürfe und verbindliche Aktionen. Eine interne Zusammenfassung gehört in eine andere Kategorie als das Ändern einer Bankverbindung oder das Versenden einer Offerte.

Diese Einteilung hilft, Freigaben gezielt dort einzubauen, wo ihre Prüfung einen erkennbaren Zweck hat.

Rechte möglichst eng vergeben

Ein Werkzeug sollte nur die Funktionen bereitstellen, die der Anwendungsfall benötigt. Trennen Sie beispielsweise das Lesen eines Auftrags vom Ändern seiner Lieferadresse.

Das OWASP-Risiko «Excessive Agency» beschreibt, wie zu viele Funktionen, Rechte oder autonome Handlungsmöglichkeiten Schaden ermöglichen. Die konkrete technische Berechtigung muss ausserhalb des Sprachmodells geprüft werden.

Verwenden Sie keine gemeinsam genutzten Administrationskonten als bequeme Abkürzung. Die Anwendung sollte wissen, in wessen Auftrag eine Aktion erfolgt und ob diese Person dafür berechtigt ist.

Eine Freigabe muss verständlich sein

«Aktion erlauben?» ist als Prüfung zu ungenau. Zeigen Sie vor der Zustimmung den Empfänger, die betroffenen Daten, die Änderung und gegebenenfalls den Betrag.

Beispiel: Vor dem Versand einer Offerte sieht die prüfende Person das vollständige Dokument, den Kunden und die verwendete Preisliste. Änderungen nach der Zustimmung müssen eine neue Prüfung auslösen, wenn sie den freigegebenen Inhalt betreffen.

Verknüpfen Sie die Freigabe mit genau dieser Aktion. Eine frühere Zustimmung zu einem Entwurf darf nicht pauschal alle späteren Schritte erlauben.

Externe Inhalte bleiben Daten

Eine eingehende E-Mail, eine Website oder ein Dokument kann Anweisungen enthalten, die dem eigentlichen Auftrag widersprechen. Die Anwendung darf solche Inhalte nicht automatisch zu neuen Befugnissen machen.

Ein manipuliertes Dokument könnte etwa behaupten, die Geschäftsleitung verlange den Export einer Kundenliste. Prüfen Sie deshalb Berechtigungen und erlaubte Ziele anhand vertrauenswürdiger Regeln, unabhängig davon, wie überzeugend ein Text formuliert ist.

Auch Wiederholungen kontrollieren

Technische Fehler können dazu führen, dass ein Schritt erneut gestartet wird. Bei einem Lesezugriff ist das oft unkritisch. Bei einer Bestellung oder Nachricht kann eine Wiederholung doppelte Vorgänge erzeugen.

Versehen Sie verbindliche Aktionen mit einer eindeutigen Vorgangskennung. Prüfen Sie vor einer Wiederholung, ob der Schritt bereits abgeschlossen wurde. Legen Sie fest, welche Fehler automatisch erneut versucht werden dürfen und welche eine Person bearbeiten muss.

Protokolle mit Zweck und Grenzen

Dokumentieren Sie Auftrag, Werkzeug, geprüfte Berechtigung, Freigabe und Ergebnis. Speichern Sie dabei nur die für Nachvollziehbarkeit und Betrieb benötigten Inhalte.

Das NIST AI Risk Management Framework bietet einen Rahmen für die laufende Steuerung von KI-Risiken. Im Alltag braucht es zusätzlich eine benannte Person, die Auffälligkeiten bewertet und nötigenfalls die Ausführung stoppt.

Die Abnahme enthält unerlaubte Fälle

Testen Sie nicht nur erfolgreiche Aufträge. Prüfen Sie auch falsche Nutzerrollen, unbekannte Empfänger, manipulierte Dokumente, abgelaufene Freigaben und wiederholte Ausführung.

Ein guter Testfall verlangt ausdrücklich etwas Unerlaubtes und erwartet eine saubere Ablehnung. Dokumentieren Sie das Ergebnis und testen Sie nach Änderungen erneut.

Unsere Einführung zu Agenten, Chatbots und Workflows hilft bei der Architekturentscheidung. Mit unserer KI-Beratung in Zürich und der Schweiz planen Sie die passenden Kontrollen bereits vor der Integration.