AI meet je aan een bedrijfsuitkomst die je wilt verbeteren, zoals voorraad of productiesnelheid. Een telling van prompts, tokens of gegenereerde code laat zien hoeveel AI is gebruikt, maar zegt op zichzelf niet of het bedrijf er beter van is geworden.
Meet bedrijfsresultaten, niet AI-activiteit
AWS-bestuurder Colleen Aubrey pleitte ervoor bestaande bedrijfsmetrics te gebruiken om AI te beoordelen, in plaats van aparte AI-scores te bedenken. Kies vooraf een uitkomst die voor het werk relevant is en leg de uitgangswaarde vast. Zo kun je volgen of die uitkomst verandert wanneer een team met AI werkt.
Een voor-en-na-meting vertelt niet vanzelf waardoor een verandering kwam. Andere aanpassingen aan het werk kunnen ook verschil maken. Waar het kan, helpt daarom een vergelijking met vergelijkbaar werk dat zonder AI wordt uitgevoerd.
Volg AI-gebruik om te zien hoe een hulpmiddel wordt ingezet; meet een bedrijfsuitkomst om te beoordelen wat dat gebruik oplevert.
Vergelijk gelijksoortig werk met en zonder AI
IBM beschrijft een aanpak waarbij vergelijkbare groepen hetzelfde project uitvoeren: de ene groep gebruikt AI, de andere werkt op de traditionele manier. IBM vergelijkt vervolgens snelheid, kwaliteit, kosten en nauwkeurigheid. Die combinatie maakt zichtbaar of een snellere eerste stap ook leidt tot goed werk tegen lagere totale inspanning.
Vergelijk de uitkomsten ook per taak en ervaringsniveau. IBM wijst erop dat taakspecifieke vaardigheden, gewenning aan AI en de aansluiting op bestaande teamtools de productiviteit kunnen beïnvloeden. Een gemiddelde over verschillende soorten werk kan die verschillen verbergen.
Wat de gerapporteerde AWS-voorbeelden laten zien
SiliconANGLE schreef aan AWS toe dat Wells Vehicle Electronics de voorraad in drie maanden met 7% terugbracht, terwijl het aantal actief gevolgde SKU's steeg van 20 naar 2.000. Het interviewverslag geeft daarmee een bedrijfsuitkomst én de schaal van de monitoring weer.
Colleen Aubrey vertelde in hetzelfde interview dat het tempo van productiereleases in haar groep verdubbelde nadat het team de testdekking en pipelines had verbeterd. De gerapporteerde verandering volgde op die verbeteringen; de cijfers schrijven de verdubbeling niet toe aan een geïsoleerd effect van een AI-codeassistent.
SiliconANGLE meldde ook dat TE Connectivity Connect Decisions had opgeschaald naar 2.000 planners. Dat aantal beschrijft het bereik van het gebruik. Om de bedrijfsimpact te beoordelen, moet je daarnaast volgen welke bedrijfsuitkomst verandert.
Softwareteams meten de hele ontwikkelcyclus
Bij softwareontwikkeling kan tijdwinst bij het schrijven van code later extra werk opleveren voor review, testen, onderhoud of beveiliging. GitLab adviseert daarom de volledige softwareontwikkelcyclus (SDLC) te bekijken, van het eerste werk aan een idee tot de productie. Meer code of sneller een eerste versie opleveren is dan niet genoeg om de totale productiviteit te beoordelen.
| Werkgebied | Maatstaven of dimensies | Reikwijdte |
| Vergelijking van gelijksoortig werk | Snelheid, kwaliteit, kosten en nauwkeurigheid | Vergelijkbare groepen die hetzelfde project met en zonder AI uitvoeren, zoals beschreven door IBM |
| Softwarelevering | Implementatiefrequentie, doorlooptijd van wijzigingen, gemiddelde hersteltijd, percentage mislukte wijzigingen en betrouwbaarheid | DORA-maatstaven voor softwareteams, genoemd in GitLabs richtlijnen |
GitLab noemt de DORA-maatstaven als onderdeel van softwarelevering. Voor AI-ondersteunde softwareontwikkeling adviseert het ook kwaliteit, beveiliging en vervolgwerk mee te wegen, waaronder review, testen en onderhoud. Die softwaremetrics zijn bedoeld voor softwareteams; ze vormen geen algemene meetlat voor ieder AI-project.
