Sådan måler I, om en AI-opgave betaler sig

Vi bliver ofte kaldt ind, efter en løsning har kørt i tre måneder, med spørgsmålet: virkede det egentlig? Svaret er som regel “det føles sådan”, og det er ikke et svar, man kan bruge til at beslutte, om løsningen skal udvides, ændres eller lukkes.

Målet findes, før løsningen bygges — ikke bagefter

Det lyder indlysende, men det er den mest almindelige fejl, vi ser. Så snart et tal skal findes bagudrettet, viser det sig, at ingen har skrevet ned, hvor lang tid opgaven tog før, eller hvor tit den gik galt. Uden det udgangspunkt er “det er blevet bedre” en fornemmelse, ikke et resultat.

Tre tal, der er nok

• Tid: hvor mange minutter eller timer tog opgaven før, og hvor mange tager den nu — målt på de samme ti eksempler, ikke et gennemsnit ingen kan efterprøve.
• Fejlrate: hvor ofte skulle resultatet rettes af et menneske, før og efter.
• Volumen: hvor mange gange bliver opgaven løst om ugen — en løsning, der sparer fem minutter tyve gange om ugen, batter mere end en, der sparer en time én gang om måneden.

De tre tal kræver ikke et måleapparat. De kræver et regneark og en aftale om, hvem der udfylder det, og hvornår. Sæt en dato tre måneder ude, hvor de samme tre tal måles igen, med samme metode som ved start. Er tallene ikke bedre, er det ikke et nederlag — det er information, der fortæller, om opgaven skal justeres eller droppes. Det er den eneste måde at vide det på.