Eine KI-Demo reagiert schnell, solange nur eine Person eine kurze Frage stellt. Für die Beauftragung brauchen Sie eine klare Vereinbarung darüber, wie lange echte Aufgaben dauern dürfen und wie diese Zeit gemessen wird.
Zuerst die Nutzeraufgabe beschreiben
«Die KI muss schnell sein» lässt sich weder entwickeln noch abnehmen. Schreiben Sie zuerst auf, was Mitarbeitende tatsächlich erledigen möchten: eine kurze Auskunft lesen, einen mehrseitigen Vertrag zusammenfassen oder einen vollständigen Auftrag im ERP anlegen. Diese Aufgaben brauchen unterschiedliche Zeitziele.
Ein sichtbarer Ladehinweis kann nach wenigen Augenblicken erscheinen, obwohl noch keine verwertbare Antwort vorliegt. Auch der erste geschriebene Satz ist nicht das Ende einer Recherche. Fragen Sie deshalb die Agentur, welche Zeit sie in ihrer Demo nennt und ob Suche, Berechtigungsprüfung und Speicherung darin enthalten sind.
Das Google-SRE-Kapitel zu SLOs unterscheidet gemessene Dienstmerkmale von den dazu festgelegten Zielen. Für die Projektarbeit ist diese Trennung hilfreich: Erst bestimmen Sie das Messverfahren, danach den akzeptablen Zielwert. Ein internes Ziel ist dabei noch keine vertragliche Verfügbarkeitsgarantie.
Drei Messpunkte statt einer Stoppuhr
Für eine interaktive Wissenssuche empfehlen wir drei getrennte Messungen. Die erste erfasst die Bestätigung, dass die Anfrage angekommen ist. Die zweite endet, wenn die erste inhaltliche Ausgabe sichtbar wird. Die dritte endet erst, wenn die vollständige Antwort samt benötigten Quellen nutzbar ist.
Bei einer schreibenden Anwendung kommt ein weiterer fachlicher Zustand hinzu: Der Auftrag wurde im Zielsystem bestätigt. Ein vorzeitig angezeigtes «erledigt» darf diesen Nachweis nicht ersetzen. Start und Ende müssen in der vereinbarten Messdefinition stehen, einschliesslich Netzwerkweg und verwendeter Oberfläche.
Vereinbaren Sie ausserdem, wie Abbrüche behandelt werden. Eine Anfrage, die nach langem Warten scheitert, darf nicht einfach aus der Auswertung verschwinden. Sonst kann ein scheinbar schneller Dienst gleichzeitig viele Aufgaben unvollständig lassen.
Einen typischen und einen langsamen Bereich ausweisen
Der Durchschnitt allein beschreibt die Warteerfahrung unzureichend. Zehn kurze Anfragen können eine einzelne sehr langsame verdecken. Googles Monitoring-Leitfaden erläutert deshalb die Auswertung von Perzentilen für Latenzen.
Das 95. Perzentil, oft p95 genannt, markiert ungefähr die Zeitgrenze, innerhalb derer 95 Prozent der beobachteten Anfragen lagen. Bei kleinen Stichproben schwankt dieser Wert stark; die Berechnungsmethode und Anzahl der Fälle gehören deshalb in den Bericht. Ergänzen Sie immer die Zahl fehlgeschlagener und abgebrochener Vorgänge.
Trennen Sie zudem kurze Suchfragen von grossen Dokumentaufträgen. Ein gemeinsames Diagramm wäre zwar übersichtlich, könnte aber eine Verschlechterung genau jener Aufgabe verbergen, die Ihr Team am häufigsten benötigt.
Eine ausgefüllte Zielkarte als Beispiel
Das folgende Beispiel ist fiktiv und keine allgemeine Leistungsempfehlung. Ein Servicebetrieb möchte seinen Mitarbeitenden kurze Fragen zu freigegebenen Produktunterlagen beantworten lassen. Im gemeinsamen Test werden diese Punkte festgehalten:
Aufgabe: einzelne Sachfrage mit maximal zwei benötigten Quellen beantworten.
Beginn: Absenden in der vereinbarten Weboberfläche.
Ende: vollständige Antwort und anklickbare Quellen sind sichtbar.
Testbedingungen: zehn gleichzeitig aktive Personen, festgelegter Dokumentbestand und bekannte Verbindung.
Beispielziel: mindestens 95 Prozent der gültigen Testanfragen sind innerhalb von acht Sekunden abgeschlossen.
Zusätzlich: technische Fehler und Abbrüche werden separat gezählt und einzeln untersucht.
Nicht eingeschlossen: Stapelverarbeitung umfangreicher Dokumente; dafür entsteht ein eigener Test.
Würde die Agentur nur die Zeit bis zum ersten Wort melden, wäre dieses Ziel nicht nachgewiesen. Auch ein erfolgreich wiederholter Versuch ersetzt das Ergebnis des ersten fehlgeschlagenen Versuchs nicht.
Was Sie vor der Abnahme verlangen können
Bitten Sie um den vollständigen Testplan, die Systemkonfiguration und eine nachvollziehbare Ergebnisauswertung. Der Bericht sollte erklären, ob ein warmer Cache verwendet wurde, welche Modellversion aktiv war und ob gleichzeitig Hintergrundaufgaben liefen. Solche Bedingungen verändern, wie gut ein Ergebnis Ihren Alltag abbildet.
Legen Sie danach fest, was bei einer Überschreitung geschieht. Möglich sind eine bessere Wartemeldung, eine andere Aufgabenaufteilung oder eine technische Verbesserung. Welcher Weg passt, hängt davon ab, ob die Wartezeit den Arbeitsprozess tatsächlich blockiert. Mehr Infrastruktur ist nicht automatisch die wirtschaftlich sinnvollste Antwort.
Verankern Sie diese Zielkarte in Ihrer Checkliste für den produktiven KI-Einsatz. Wer die Qualität einer Umsetzung beurteilen möchte, sollte Zeit, fachliches Ergebnis und Kosten gemeinsam betrachten. Mit einclick als KI-Agentur in der Schweiz können Sie solche Anforderungen bereits vor der Entwicklung konkretisieren und als prüfbare Liefergegenstände formulieren.
