Zuerst den Cache-Typ benennen

Wenn eine Agentur von KI-Caching spricht, kann sie unterschiedliche Dinge meinen. Vielleicht werden gefundene Dokumente zwischengespeichert, vielleicht fertige Antworten oder wiederkehrende Teile eines Modellaufrufs. Diese Verfahren haben andere Auswirkungen auf Aktualität, Kosten und Zugriffsrechte.

Dieser Beitrag konzentriert sich auf Zwischenspeicher in Ihrer Anwendung, insbesondere fertige Antworten und Suchergebnisse. Anbieterinternes Prompt-Caching ist damit nicht automatisch gleichzusetzen. Lassen Sie erklären, welche Daten tatsächlich gespeichert und bei einer neuen Anfrage wiederverwendet werden.

Microsofts Caching-Leitfaden behandelt unter anderem die Frage, wie viel Veraltung eine Anwendung tolerieren kann. Für Ihre Planung ist daher wichtig, zwischen stabilen allgemeinen Informationen und schnell wechselnden kundenbezogenen Angaben zu unterscheiden.

Gleiche Frage bedeutet nicht gleiches Ergebnis

Zwei Personen fragen «Welcher Preis gilt für dieses Produkt?» Die Wörter sind identisch, die berechtigte Antwort kann aber vom Kundenvertrag, Datum und Produktzustand abhängen. Ein Cache, der nur den Fragetext berücksichtigt, würde diese Unterschiede übersehen.

Lassen Sie die Agentur beschreiben, welche Merkmale den gespeicherten Eintrag eindeutig zuordnen. Dazu können Mandant, relevanter Rechtekontext, Sprache, Quellenstand und Anwendungskonfiguration gehören. Nicht jedes Merkmal muss immer enthalten sein; die Auswahl muss zur Aufgabe passen und begründet werden.

Für geteilte Caches beschreibt Microsoft am Beispiel von Azure Managed Redis, dass die Anwendung eine wesentliche Verantwortung für die Mandantentrennung trägt. Ein gemeinsamer technischer Speicher ist deshalb kein Nachweis einer automatisch richtigen Datentrennung.

Ein fiktiver Preisfall

Ein künstlicher Testkunde darf eine Preisliste mit einem Beispielpreis von CHF 120 sehen. Nach einer freigegebenen Änderung gilt im Testbestand CHF 135. Diese Zahlen sind erfunden und beziehen sich auf kein tatsächliches Angebot.

Die erste Frage wird vor der Änderung beantwortet und erzeugt einen Cacheeintrag. Nach der Änderung stellt dieselbe Person dieselbe Frage erneut. Der Test prüft, wann die alte Antwort ungültig wird und ob die vereinbarte Aktualitätsgrenze eingehalten wird.

Danach fragt eine zweite Testperson ohne Zugang zur Preisliste. Sie darf die gespeicherte Antwort nicht einfach übernehmen. Dieser zweite Schritt prüft eine andere Eigenschaft als die Aktualität: die Berechtigung zur Verwendung des vorhandenen Ergebnisses.

Eine Testmatrix für die Abnahme

Die folgenden Fälle helfen, das Cache-Verhalten mit Ihrer Agentur konkret zu besprechen. Verwenden Sie künstliche Dokumente und kontrollierte Testkonten.

• Wiederholung ohne Änderung: Das Ergebnis bleibt fachlich richtig und kann schneller bereitstehen.

• Änderung der Quelle: Eine veraltete Antwort wird innerhalb der vereinbarten Regel ersetzt oder verworfen.

• Entzug einer Berechtigung: Ein früher erlaubter Inhalt wird nicht über den Cache weitergegeben.

• Wechsel des Kundenkontexts: Ein Ergebnis bleibt dem richtigen Mandanten zugeordnet.

• Änderung einer wichtigen Promptregel: Antworten aus einem unpassenden alten Stand werden nicht unbemerkt genutzt.

• Sprachwechsel: Die Antwort entspricht weiterhin dem vereinbarten sprachlichen Verhalten.

Dokumentieren Sie jeweils den beobachteten Cachetreffer, den Quellenstand und die fachliche Prüfung. Ohne diese Verbindung lässt sich eine schnelle Antwort schwer als korrekt oder veraltet einordnen.

Gültigkeitsdauer und gezieltes Verwerfen kombinieren

Eine zeitliche Gültigkeitsdauer begrenzt, wie lange ein Eintrag verwendet wird. Sie garantiert jedoch nicht, dass er bis dahin fachlich richtig bleibt. Wenn sich eine kritische Information unmittelbar ändert, kann ein gezieltes Verwerfen nötig sein.

Besprechen Sie deshalb, welche Änderungen ein Ereignis auslösen und welche erst beim nächsten Abruf erkannt werden. Prüfen Sie auch, was passiert, wenn eine solche Änderungsmeldung verloren geht. Die konkrete Lösung muss die benötigte Verlässlichkeit erreichen, ohne unnötige technische Komplexität aufzubauen.

Für besonders aktuelle Informationen kann es sinnvoll sein, den Cache zu umgehen. Eine ältere allgemeine Bedienungsbeschreibung ist anders zu bewerten als ein verbindlicher verfügbarer Lagerbestand. Die Entscheidung sollte aus dem Geschäftsprozess entstehen und in der Dokumentation erkennbar sein.

Geschwindigkeit gemeinsam mit Qualität bewerten

Ein Vergleich vor und nach Einführung des Caches sollte Antwortzeiten, Trefferanteil und korrekte Ergebnisse enthalten. Ein hoher Trefferanteil allein ist kein Erfolgsbeweis. Er kann auch bedeuten, dass zu viele unterschiedliche Situationen als gleich behandelt werden.

Verlangen Sie eine kurze Betriebsanleitung: Wer darf einen Cache leeren, welche Auswirkungen hat das und wie wird danach geprüft? Eine unkontrollierte Löschung kann zusätzliche Last erzeugen, wenn alle Antworten gleichzeitig neu berechnet werden müssen.

Die Basis für geschützten Dokumentzugriff behandelt unser Beitrag zur KI-Suche mit bestehenden Rechten. Mit einclick als KI-Umsetzungspartner können Sie die Cache-Regeln passend zu Ihren Daten, Nutzern und Aktualitätsanforderungen festlegen.