KI-Erfolg mit Geschäftskennzahlen messen

KI-Erfolg lässt sich daran messen, ob sich eine für das Unternehmen relevante Geschäftskennzahl verbessert. AWS-Managerin Colleen Aubrey empfiehlt, dafür bestehende Geschäftsziele heranzuziehen statt neue KI-Aktivitätswerte zu erfinden. Ein Ausgangswert zeigt die Entwicklung; der Vergleich ähnlicher Arbeit mit und ohne KI kann helfen, deren Beitrag einzuordnen. So wird aus einer Nutzungsstatistik eine Frage zum Geschäftsergebnis: Hat sich zum Beispiel der Lagerbestand oder die Durchlaufzeit verändert?

Miss zuerst das Ergebnis, für das ein KI-Projekt gedacht ist. Danach zählt, ob sich die Arbeit schneller, besser oder günstiger erledigen lässt.

Geschäftserfolg statt KI-Aktivität messen

Die Zahl der Prompts, die Nutzung eines KI-Werkzeugs oder die Menge erzeugter Tokens zeigen, wie intensiv ein Team damit arbeitet. Sie belegen für sich genommen keinen geschäftlichen Nutzen. Aubrey rät dazu, ein bestehendes Ziel auszuwählen und festzuhalten, wo der betreffende Wert vor dem Einsatz der KI lag.

Welche Kennzahl passt, hängt vom Vorhaben ab: Bei einem Lagerprojekt kann es der Bestand sein, bei Softwareteams die Geschwindigkeit der Bereitstellung. Entscheidend ist, dass die Kennzahl das Ziel des Projekts beschreibt. Ein Vorher-nachher-Vergleich zeigt zwar, was sich verändert hat; vergleichbare Arbeitsgruppen können zusätzlich helfen, den Einfluss anderer Veränderungen besser einzuordnen.

Wie ein Vergleich den Beitrag von KI prüft

IBM beschreibt für die eigene Produktivitätsmessung einen Vergleich ähnlicher Gruppen, die dasselbe Projekt bearbeiten: Eine Gruppe arbeitet mit KI, die andere mit herkömmlichen Methoden. IBM betrachtet dabei Geschwindigkeit, Qualität, Kosten und Genauigkeit. Die Gruppen sollten ähnliche Aufgaben erledigen; außerdem empfiehlt IBM, Ergebnisse nach aufgabenspezifischer Erfahrung zu betrachten und zu beobachten, wie sich die Beschäftigten an das Werkzeug anpassen und wie gut es sich in ihre Arbeitsmittel einfügt.

So lässt sich etwa erkennen, ob ein schnellerer erster Entwurf später durch zusätzliche Korrekturen wieder Zeit kostet. Das Vergleichsverfahren ist IBMs beschriebener Ansatz, nicht die ausgewiesene Methode hinter den AWS-Beispielen.

Was AWS' berichtete Beispiele zeigen

In einem Interviewbericht schrieb SiliconANGLE, AWS habe für Wells Vehicle Electronics innerhalb von drei Monaten eine Verringerung des Lagerbestands um 7 Prozent gemeldet. Zugleich sei die Zahl der aktiv überwachten Artikelnummern (SKUs) von 20 auf 2.000 gestiegen. Die Bestandskennzahl beschreibt ein Geschäftsergebnis; die Zahl der SKUs zeigt, wie viele Artikel überwacht wurden.

Für ihr eigenes Team berichtete Aubrey von einer Verdoppelung des Tempos, mit dem Änderungen in die Produktion gebracht wurden. Sie beschrieb dies im Zusammenhang mit Arbeiten an der Testabdeckung und der Gesundheit der Entwicklungs-Pipelines. SiliconANGLE zufolge setzte TE Connectivity Connect Decisions bei 2.000 Planern ein. Solche Angaben zur Nutzung zeigen die Reichweite eines Werkzeugs; sie beantworten für sich genommen nicht, ob sich ein Geschäftsergebnis verbessert hat.

Softwareteams brauchen Kennzahlen über den ganzen Entwicklungszyklus

Bei Software reicht es nicht, erzeugte Codezeilen oder die Zeit bis zum ersten Entwurf zu zählen. GitLab empfiehlt, den gesamten Softwareentwicklungszyklus (SDLC) zu betrachten. Dazu gehören auch Tests, Überprüfung, Wartung und Sicherheit. KI-generierter Code kann in diesen nachgelagerten Arbeitsschritten zusätzlichen Aufwand verursachen.

Für die Softwareauslieferung nennt GitLab DORA-Kennzahlen. Sie bilden andere Aspekte ab als ein allgemeiner Vergleich von Arbeitsgruppen:

Diese DORA-Werte beziehen sich auf Softwareteams. Für andere KI-Vorhaben braucht es Kennzahlen, die zum jeweiligen Geschäftsergebnis passen.