Die eigene Prüfentscheidung festlegen

Bevor Sie Referenzen anfordern, benennen Sie die Fähigkeit, die Sie überprüfen möchten. Geht es um die Anbindung Ihres ERP, eine Suche mit differenzierten Rechten oder die Einführung bei einem kleinen Fachteam? Je präziser die Frage, desto leichter erkennt man passende Erfahrung.

Eine Referenz aus derselben Branche kann nützlich sein. Eine fachlich andere Anwendung mit ähnlicher Datenlage und Integration kann jedoch mehr über die gesuchte Fähigkeit aussagen. Vergleichen Sie deshalb zuerst die Aufgabe und die Randbedingungen.

Das Ziel ist kein Ranking der bekanntesten Kundennamen. Sie wollen erkennen, ob das vorgesehene Team die kritischen Arbeiten Ihres Vorhabens beherrscht und verbleibende Unsicherheit offen benennen kann.

Nach der tatsächlichen Projektrolle fragen

Fragen Sie konkret, welche Leistungen die Agentur selbst erbracht hat. Strategie, Oberflächengestaltung, Datenaufbereitung und produktiver Betrieb sind unterschiedliche Beiträge. Ein Anbieter kann an einem erfolgreichen Gesamtprojekt beteiligt gewesen sein, ohne dessen entscheidende Integration gebaut zu haben.

Ein geeigneter Gesprächseinstieg lautet: «Welche drei Arbeitsergebnisse lagen in Ihrer Verantwortung?» Lassen Sie daran anschliessen, welche Aufgaben beim Kunden oder bei anderen Partnern blieben. Eine klare Abgrenzung spricht nicht gegen den Anbieter; sie macht seine Erfahrung erst einschätzbar.

Prüfen Sie auch, ob die vorgestellten Personen beim neuen Projekt mitarbeiten sollen. Eine frühere Unternehmensreferenz belegt nicht automatisch die Erfahrung jedes neu zusammengesetzten Teams.

Pilot, produktive Nutzung und Ausbau unterscheiden

Eine gelungene Machbarkeitsprüfung beantwortet eine technische Frage. Produktive Nutzung zeigt zusätzlich, dass Menschen und Abläufe mit der Lösung arbeiten. Ein breiter Ausbau stellt weitere Anforderungen an Betrieb, Datenpflege und Unterstützung.

Bitten Sie den Anbieter, die Referenz einer dieser Stufen zuzuordnen und die Aussage zu belegen. Fragen Sie etwa, wie lange das System genutzt wurde, welche Nutzergruppe beteiligt war und wer danach die Verantwortung übernahm.

Der GOV.UK-Leitfaden zur Alpha-Phase beschreibt Prototypen ausdrücklich als Mittel zum Prüfen von Annahmen. Ein Prototyp ist deshalb keine schlechte Referenz. Er sollte lediglich als solcher bezeichnet werden und nicht als langjährig betriebene Lösung erscheinen.

Ein Leitfaden mit sieben Fragen

Für ein Referenzgespräch können Sie folgende Fragen vorbereiten:

• Welche Aufgabe sollte verbessert werden, und wie wurde sie vorher erledigt?

• Was hat die Agentur selbst geliefert?

• Welche Daten- oder Integrationsprobleme traten auf?

• Welche Ergebnisse wurden wie gemessen?

• Welche zusätzlichen Arbeiten musste das Kundenteam übernehmen?

• Was funktionierte beim ersten Versuch noch nicht?

• Könnte das Kundenteam die Lösung heute ohne dieselben Einzelpersonen weiterführen?

Bitten Sie um Beispiele statt um Schulnoten. «Die Zusammenarbeit war gut» ist schwer vergleichbar. «Offene Integrationsfragen wurden mit einer verantwortlichen Person und einem Termin dokumentiert» beschreibt beobachtbares Verhalten.

Zahlen mit ihrer Grundlage lesen

Eine Aussage wie «50 Prozent schneller» braucht mindestens die Aufgabe, den Vergleichszeitraum und den berücksichtigten Aufwand. Wurde nur die Erstellung eines Entwurfs gemessen oder auch dessen Kontrolle? Galt der Wert für wenige Testfälle oder den gesamten Eingang?

Fragen Sie nach der Ausgangsmessung und nach anderen Änderungen im selben Zeitraum. Eine verbesserte Datenablage oder neue Prozessregel kann ebenfalls zum Ergebnis beigetragen haben. Eine Referenz darf den gemeinsamen Nutzen zeigen, sollte ihn aber nicht ohne Grundlage allein dem KI-Modell zuschreiben.

Das NIST AI RMF ordnet Messung und dokumentierte Bewertung in das Risikomanagement ein. Für Ihr Gespräch genügt eine konkrete Frage: «Welcher Nachweis würde eine andere Person zu derselben Bewertung führen?»

Wenn Kundennamen vertraulich bleiben

Vertraulichkeit kann berechtigt sein. Mögliche Alternativen sind ein anonymisiertes Architekturdiagramm, ein bereinigtes Testprotokoll oder eine Demonstration mit eigens dafür erstellten Beispieldaten. Entscheidend ist, ob das Material die gesuchte Fähigkeit tatsächlich zeigt.

Verlangen Sie keinen ungefragten Zugang zu fremden Kundendaten. Ein Anbieter, der solche Daten beiläufig weitergibt, liefert gerade keinen überzeugenden Nachweis eines sorgfältigen Umgangs mit Informationen.

Kennzeichnen Sie bei anonymisierten Unterlagen die Grenze: Sie können beispielsweise die technische Plausibilität beurteilen, aber nicht jede wirtschaftliche Behauptung unabhängig bestätigen.

Ein kurzes Referenzprotokoll führen

Notieren Sie je Referenz Aufgabe, Projektrolle, Einsatzstufe, Nachweis und verbleibende offene Frage. Ergänzen Sie, weshalb der Fall für Ihr eigenes Vorhaben relevant ist. Dadurch wird aus einer Sammlung von Präsentationen eine begründete Auswahlhilfe.

Ein vollständig fiktives, transparent gerechnetes KI-Projektbeispiel für ein KMU zeigt, wie Annahmen und Ergebnisse voneinander getrennt werden können. Es ersetzt keine Kundenreferenz.

Die Referenz passend einordnen

Kennzeichnen Sie eigene Beobachtungen getrennt von Aussagen des Anbieters und Aussagen eines Kunden. Alle drei können nützlich sein, haben aber eine andere Beweiskraft. Eine kurze Notiz zur Herkunft verhindert, dass aus einer plausiblen Erzählung später eine vermeintlich unabhängig geprüfte Tatsache wird.

Für Ihr eigenes Vorhaben können Sie mit einclick als KI-Umsetzungspartner zunächst die kritischen Fähigkeiten und passenden Nachweise festlegen.