Eine Demo braucht eine klare Aufgabe

Legen Sie vor dem Termin fest, welchen Ausschnitt Sie sehen möchten. Beispielsweise soll ein Assistent eine Frage zu einer freigegebenen Anleitung beantworten und die Fundstelle anzeigen. Eine beliebige Unterhaltung über das Unternehmen ist dafür kein ausreichender Test.

Teilen Sie dem Anbieter die Aufgabe und zulässige Datenarten mit. Einige Beispiele dürfen zur Vorbereitung bekannt sein. Weitere passende Beispiele halten Sie zurück, damit Sie sehen, wie die Lösung mit einer neuen Formulierung umgeht.

Behandeln Sie das Treffen als gemeinsame Untersuchung. Es geht darum, Voraussetzungen und Grenzen sichtbar zu machen. Eine überraschende Fangfrage ausserhalb des vereinbarten Einsatzbereichs sagt wenig über die Eignung für Ihre Aufgabe aus.

Fünf Fälle vorbereiten

Für eine interne Wissenssuche eignet sich folgende kleine Auswahl:

• Ein eindeutiger Standardfall mit einer gültigen Quelle.

• Eine Frage, deren Antwort nur teilweise in den Unterlagen steht.

• Eine Frage zu einem ausdrücklich ausgeschlossenen Thema.

• Zwei ähnlich benannte Produkte mit unterschiedlichen Angaben.

• Ein Fall, bei dem die testende Rolle keine Zugriffsberechtigung hat.

Diese Auswahl ist eine redaktionelle Empfehlung und kein vollständiger Sicherheitsnachweis. Sie soll früh zeigen, ob der Anbieter Unsicherheit, Fachgrenzen und Rollen berücksichtigt.

Die NCSC-Leitlinien zum KI-Design beziehen mögliche Bedrohungen und Sicherheitsanforderungen in die Gestaltung ein. Die Vorführung kann dazu erste Fragen beantworten; eine spätere technische Prüfung bleibt davon getrennt.

Die Herkunft der Antwort verfolgen

Bitten Sie darum, die verwendete Originalquelle zu öffnen. Stimmen Titel, Version und konkrete Aussage mit der Antwort überein? Eine Quellenliste am Ende ist nur hilfreich, wenn sie die Behauptung tatsächlich trägt.

Lassen Sie zusätzlich zeigen, was passiert, wenn zwei Dokumente widersprüchliche Angaben enthalten. Eine geeignete Reaktion hängt von Ihrem Arbeitsablauf ab: vielleicht wird die neueste freigegebene Version verwendet, vielleicht muss eine Fachperson den Konflikt klären.

Fragen Sie auch nach der Aktualisierung. Ein Anbieter sollte unterscheiden können, ob die Demo manuell vorbereitete Dateien verwendet oder bereits mit einem laufend gepflegten Bestand arbeitet. Beide Varianten können für eine frühe Demonstration legitim sein.

Fehlende Grundlage sichtbar machen

Eine Antwort darf unvollständig sein, wenn die Daten unvollständig sind. Prüfen Sie, ob die Lösung dies erkennbar macht oder fehlende Details plausibel ergänzt. Gerade bei technischen Angaben kann eine flüssige Formulierung einen falschen Eindruck von Sicherheit erzeugen.

Wiederholen Sie eine Frage in anderer Form. Beobachten Sie, ob die Kernaussage stabil bleibt und ob Quellen wechseln. Ein einzelner Erfolg beweist noch keine verlässliche Leistung über viele reale Anfragen hinweg.

Das GOV.UK-Handbuch zu Prototypen empfiehlt, frühe Versuche auf wichtige unsichere Annahmen zu konzentrieren. Für Ihre Demo könnte diese Annahme lauten: «Die vorhandenen Dokumente erlauben eine eindeutige Zuordnung zur Produktversion.»

Ein fiktives Prüfprotokoll

Angenommen, ein Unternehmen testet einen Assistenten für interne Produktfragen. Nach dem Termin hält es folgende Beobachtungen fest:

• Standardfrage: zutreffende Aussage, passende Originalquelle geöffnet.

• Fehlende Information: Grenze erkennbar genannt, keine Zahl ergänzt.

• Produktverwechslung: Antwort zunächst falsch zugeordnet, Ursache offen.

• Zugriffsfall: Oberfläche verweigert den Zugriff; technische Durchsetzung noch zu prüfen.

• Aktualisierung: nur manueller Import gezeigt, laufende Synchronisation nicht demonstriert.

Dieses fiktive Protokoll enthält bewusst gemischte Ergebnisse. Es ermöglicht eine nächste Entscheidung: Vor einem grösseren Auftrag werden Produktzuordnung und Rechteprüfung genauer untersucht.

Bedienung und Fachprüfung getrennt beobachten

Eine ansprechende Oberfläche kann die Nutzung erleichtern. Beurteilen Sie aber zusätzlich, ob die zuständige Person Fehler erkennen und korrigieren kann. Ist die Originalinformation erreichbar? Lässt sich ein Problem mit dem nötigen Kontext melden? Wird eine Aktion vor ihrer Ausführung verständlich dargestellt?

Beobachten Sie auch die benötigte Fachzeit. Muss bei jeder Antwort ein umfangreiches Dokument vollständig gelesen werden, ist der erwartete Nutzen möglicherweise kleiner als zunächst angenommen. Das ist eine Frage für den nächsten Test und kein Grund, eine Demo künstlich besser zu bewerten.

Aus der Demo einen Prüfauftrag ableiten

Schliessen Sie mit drei Listen: nachgewiesen, plausibel aber offen, ausserhalb des gezeigten Umfangs. Eine kurze Aufnahme oder schriftliche Zusammenfassung kann helfen, sofern alle Beteiligten damit einverstanden sind und keine vertraulichen Inhalte unnötig gespeichert werden.

Für die spätere systematische Prüfung benötigen Sie mehr Fälle und klare Bewertungskriterien. Unser Beitrag zum Testen von RAG-Antwortqualität beschreibt diesen nächsten Schritt.

Ergebnisse direkt nach dem Termin sichern

Notieren Sie die Beobachtungen, bevor sich nur die eindrucksvollsten Antworten im Gedächtnis festsetzen. Halten Sie für jeden Fall Eingabe, erwartetes Verhalten und tatsächliche Reaktion fest. Die Bewertung sollte mit demselben Massstab erfolgen, wenn Sie eine zweite Agentur zur Vorführung einladen.

Eine Demo ist dann nützlich, wenn Sie anschliessend präzisere Fragen stellen können. Mit einclick, Ihrer KI-Agentur aus Zürich, lässt sich daraus ein begrenzter und überprüfbarer erster Auftrag entwickeln.