Die Entscheidungsfrage bestimmt die Auswertung

«Was denken unsere Kunden?» ist für eine überprüfbare Analyse zu breit. Präziser ist beispielsweise: Welche Hindernisse treten beim Einstieg in unsere Software auf? Oder: Welche Lieferprobleme werden im letzten Quartal wiederholt erwähnt? Eine solche Frage begrenzt den Datenbestand und macht die Ergebnisse handlungsfähig.

Trennen Sie Rückmeldungen nach Zeitraum, Kanal und Anlass. Eine freiwillige Onlinebewertung entsteht unter anderen Bedingungen als eine Antwort auf eine gezielte Umfrage. Die Zahl negativer Meldungen lässt sich daher nicht ohne Weiteres als Anteil unzufriedener Kunden interpretieren.

Dokumentieren Sie zudem, was fehlt. Vielleicht werden telefonische Beschwerden nicht erfasst oder ein Teil der französischsprachigen Nachrichten noch nicht berücksichtigt. Eine klare Beschreibung dieser Lücken ist hilfreicher als eine scheinbar vollständige Grafik.

Thema und Stimmung auseinanderhalten

Eine Rückmeldung kann mehrere Inhalte und unterschiedliche Bewertungen enthalten: «Die Beratung war gut, aber die Ersatzteile kamen zu spät.» Eine einzige Bewertung als positiv oder negativ verliert einen wichtigen Teil der Aussage.

Die Microsoft-Dokumentation zu Sentimentanalyse und Opinion Mining unterscheidet allgemeine Stimmung von Bewertungen einzelner Aspekte. Für Ihre Auswertung sollten deshalb zunächst die angesprochenen Themen erkennbar bleiben. Stimmung ist eine zusätzliche Information.

Auch mehrere Themen pro Rückmeldung sind technisch abbildbar. Amazon Comprehend beschreibt dafür mehrfache Klassenzuordnungen. Ob ein bestimmtes Verfahren Ihre Fachsprache ausreichend versteht, müssen Sie mit Ihren eigenen freigegebenen Beispielen prüfen.

Das Arbeitsmittel: ein kommentiertes Themenbuch

Erstellen Sie ein kleines Themenbuch, bevor Sie viele Nachrichten auswerten. Es enthält für jedes Thema eine Definition, eingeschlossene Fälle, ausgeschlossene Fälle und typische Grenzfälle. Beginnen Sie mit wenigen Kategorien, die eine konkrete Verantwortlichkeit oder Handlung ermöglichen.

Für einen fiktiven Ersatzteilanbieter könnten drei Einträge so aussehen:

• Liefertermin: angekündigtes oder tatsächliches Eintreffen der Ware; keine Aussage über Versandkosten.

• Teilezuordnung: Schwierigkeiten, das passende Ersatzteil zu bestimmen; keine Reklamation über einen Defekt nach korrektem Einbau.

• Beratungsqualität: Verständlichkeit oder Hilfsbereitschaft der Beratung; Wartezeit auf eine Antwort separat erfassen.

Halten Sie die jeweils gültige Fassung des Themenbuchs fest, damit spätere Auswertungen vergleichbar bleiben. Ergänzen Sie die Kategorie «noch nicht zuordenbar». Sie verhindert, dass neue Probleme in bestehende Themen gezwungen werden. Wiederholt sich dort ein Inhalt, prüfen Sie eine neue Kategorie und bewerten betroffene ältere Rückmeldungen nochmals.

Menschliche Zuordnung als Vergleich nutzen

Lassen Sie zwei fachkundige Personen eine Auswahl unabhängig kennzeichnen. Danach besprechen sie Unterschiede und verbessern die Definitionen. Diese Arbeit ist keine lästige Vorstufe: Sie macht sichtbar, welche Bedeutungen im Unternehmen bislang unterschiedlich verstanden werden.

Der freigegebene Vergleichsbestand bleibt von der Entwicklung getrennt. Er sollte einfache und schwierige Fälle enthalten: mehrere Themen, indirekte Kritik, knappe Antworten, Ironie und Rückmeldungen ohne konkretes Problem. Legen Sie auch fest, wie Sprachen und übersetzte Aussagen behandelt werden.

Fordern Sie vom System je Zuordnung eine kurze Belegstelle aus der Rückmeldung. Diese dient der Prüfung, nicht der öffentlichen Weiterverwendung. Personenbezogene Angaben und vertrauliche Inhalte müssen für den vorgesehenen Analysezweck angemessen behandelt werden; unnötige Identifikatoren gehören nicht in das Ergebnisdashboard.

Fehler je Thema sichtbar machen

Prüfen Sie für jedes Thema zwei Fragen. Wie viele der tatsächlich passenden Rückmeldungen wurden gefunden? Und wie viele der zugeordneten Rückmeldungen passen wirklich? Ein System kann sehr viele Lieferprobleme erkennen und dabei auch jede allgemeine Frage zum Versand falsch einsortieren.

Bewerten Sie zusätzlich, ob mehrere Aussagen vollständig erfasst wurden. Beim Beispiel mit guter Beratung und verspäteten Ersatzteilen reicht eine einzige richtige Kategorie nicht. Der wichtigste Inhalt könnte gerade die übersehene zweite Aussage sein.

Bei Mehrfachzuordnungen kann die Summe aller Themenzählungen grösser sein als die Zahl der Rückmeldungen. Beschriften Sie Auswertungen entsprechend. «80 Erwähnungen in 100 Rückmeldungen» bedeutet etwas anderes als «80 betroffene Kunden». Doppelte Nachrichten oder mehrere Kontakte zum selben Vorgang brauchen eine ausdrücklich festgelegte Zählregel.

Von der Auswertung zu einer begründeten Massnahme

Eine hohe Nennungshäufigkeit allein entscheidet nicht über Priorität. Berücksichtigen Sie Auswirkung, betroffene Prozesse, bestehende Lösungen und die Verlässlichkeit der Daten. Ein selten gemeldetes, aber schwerwiegendes Problem kann wichtiger sein als viele harmlose Bedienfragen.

Verknüpfen Sie jede vorgeschlagene Verbesserung mit überprüften Beispielen, einer verantwortlichen Person und einem Zeitpunkt für die Nachkontrolle. Wurde eine Anleitung überarbeitet, beobachten Sie anschliessend Rückmeldungen zum betroffenen Schritt. Veränderte Kanalnutzung oder zusätzliche Umfragen können die Zahlen jedoch ebenfalls beeinflussen.

Unser Leitfaden zum Messen von Datenqualität hilft, Vollständigkeit und Zuverlässigkeit des Ausgangsbestands zu beurteilen. Mit einclick als KI-Agentur für Schweizer KMU lässt sich daraus eine Auswertung entwickeln, die konkrete Themen sichtbar macht und Entscheidungen mit nachvollziehbaren Rückmeldungen unterstützt.