Mit einer Geschäftsfrage beginnen

Stellen Sie der Agentur eine konkrete Frage: «Wer hat gestern die Lieferadresse dieses Auftrags geändert, auf welcher Grundlage und mit welcher Freigabe?» Wenn die Antwort nur aus einem langen Chatverlauf besteht, fehlen möglicherweise entscheidende Ereignisse aus der eigentlichen Verarbeitung.

Ein Auditlog dient der nachvollziehbaren Rekonstruktion eines Vorgangs. Es unterscheidet sich damit von einer Sammlung technischer Fehlermeldungen. Beide können zusammenarbeiten, sollten aber nicht wahllos in einem einzigen unstrukturierten Textstrom verschwinden.

Der OWASP-Leitfaden für Anwendungslogs behandelt Ereignisdetails, Zugriffsschutz und den bewussten Ausschluss sensibler Inhalte. Für Ihr Projekt ist daher beides zu klären: Welche Information benötigt die Rekonstruktion, und welche Information sollte gerade nicht dauerhaft mitgeschrieben werden?

Vorschlag für ein schlankes Ereignisschema

Beginnen Sie mit wenigen Ereignissen, die für Ihren Geschäftsprozess entscheidend sind. Bei einer Auftragsassistenz wären das Eingang, Vorschlag, Freigabe, Übermittlung und bestätigte Änderung. Ein einzelner Datensatz muss nicht den gesamten Vorgang erzählen, wenn die Ereignisse zuverlässig zusammengehören.

Unsere vorgeschlagene Vorlage enthält folgende Felder:

• Ereigniskennung und Zeitpunkt mit eindeutigem Zeitbezug.

• Vorgangskennung, die die zusammengehörenden Schritte verbindet.

• handelnde Person oder technische Identität und deren Rolle.

• Art des Ereignisses sowie betroffenes Zielobjekt.

• verwendeter Stand der Anwendung oder relevanten Konfiguration.

• Freigabereferenz, sofern eine Freigabe vorgesehen war.

• Ergebnisstatus und Referenz auf die Bestätigung des Zielsystems.

Die Liste ist keine universelle Aufbewahrungsvorgabe. Passen Sie sie an den Zweck an. Eine Lesefunktion benötigt andere Nachweise als eine Anwendung, die verbindliche Änderungen vorbereitet oder ausführt.

Ein fiktiver Vorgang macht Lücken sichtbar

Angenommen, ein Assistent schlägt für einen künstlichen Auftrag eine neue Lieferadresse vor. Eine berechtigte Testperson prüft den Vorschlag und gibt ihn frei. Danach meldet das Zielsystem einen Timeout.

Ein unzureichendes Log enthält nur «Adresse geändert». Ein brauchbarer Verlauf zeigt zunächst den Vorschlag und die Freigabe, anschliessend einen Übermittlungsversuch mit unklarem Ergebnis. Erst ein Abgleich mit dem Zielsystem darf aus diesem unklaren Zustand eine bestätigte Änderung machen.

Damit wird sichtbar, warum «versucht» und «erfolgreich abgeschlossen» getrennte Ereignisse sein sollten. Die Unterscheidung verhindert, dass spätere Bearbeiter eine fehlende Bestätigung als sicheren Erfolg behandeln oder eine bereits erfolgte Änderung unkontrolliert wiederholen.

Lassen Sie die Agentur diesen Ablauf in einer Testumgebung zeigen. Eine vorbereitete Bildschirmaufnahme allein belegt nicht, dass Ihre konkrete Umgebung die notwendigen Ereignisse liefert.

Zusammenhänge erhalten, Inhalte begrenzen

Über mehrere Dienste verteilte Ereignisse müssen sich wiederfinden lassen. OpenTelemetry erläutert die Verbindung von Logs, Traces und Spans. Für das Geschäft bedeutet dies vor allem, dass ein Vorgang auch beim Wechsel zwischen Oberfläche, KI-Dienst und Zielsystem erkennbar bleibt.

Eine gemeinsame Kennung ersetzt allerdings keine fachliche Bedeutung. «Aufruf 938 erfolgreich» hilft wenig, wenn niemand weiss, ob damit nur die Annahme oder bereits die Änderung bestätigt wurde. Dokumentieren Sie die Bedeutung jedes wichtigen Status.

Speichern Sie nicht vorsorglich sämtliche Prompts, Dokumente und Modellantworten. Oft genügt eine freigegebene Referenz auf die betroffene Quelle oder Änderung. Wenn Inhalte für einen begründeten Zweck benötigt werden, brauchen Zugriff und Aufbewahrung eine bewusste Regelung. Das Auditlog darf nicht zu einer unkontrollierten zweiten Kundendatenbank werden.

Auch fehlende Ereignisse prüfen

Ein Log kann vollständig aussehen, obwohl einzelne Schritte nie erfasst wurden. Führen Sie deshalb einen kontrollierten Test durch, bei dem Sie die erwarteten Ereignisse vorher auflisten. Vergleichen Sie danach Soll und Ist, einschliesslich abgelehnter Aktionen und technischer Fehler.

Prüfen Sie, wer Logeinträge lesen, exportieren oder verändern kann. Für wichtige Vorgänge ist ein Schutz gegen unbemerkte Änderungen zu berücksichtigen. Welche technische Lösung angemessen ist, hängt vom Bedarf ab; eine einfache Datei und ein besonders geschützter Protokolldienst bieten nicht dieselben Eigenschaften.

Das Lieferergebnis verständlich machen

Zur Abnahme gehören ein Ereignisverzeichnis, ein ausgefüllter Beispielvorgang und eine kurze Anleitung zur Suche. Eine interne Person sollte damit eine vorgegebene Geschäftsfrage beantworten können. Bleibt sie auf spontane Erklärungen der Entwickler angewiesen, fehlt noch Dokumentation.

Ordnen Sie die Verantwortung für diese Nachweise in Ihren KI-Betriebsablauf ein. Mit einclick als KI-Agentur in der Schweiz können Sie festlegen, welche Ereignisse für Ihr Unternehmen relevant sind und wie deren Erfassung überprüft wird.