Kā izmērīt, vai AI ieviešana atmaksājas: pilota dizains un ROI formula

AI projektiem ir viena statistiski neticama īpašība: atskaitēs tie gandrīz vienmēr izdodas. Tas nav tāpēc, ka AI vienmēr strādā; tas ir tāpēc, ka mērījums parasti tiek uzbūvēts pēc ieviešanas, ar labvēlīgiem pieņēmumiem un bez bāzes, ar ko salīdzināt. Šis ceļvedis ir pretējā pieeja: mazs pilots, kura rezultātam var ticēt, arī tad, ja tas ir "nē".

Nulltā nedēļa: bāzes mērījums

Vissvarīgākais solis notiek pirms rīka ieslēgšanas: izmēriet, kā ir tagad. Bez bāzes jebkurš vēlākais skaitlis ir stāsts, ne mērījums.

• Cik stundas nedēļā aiziet konkrētajam darbam (lieciet cilvēkiem nedēļu pierakstīt; atmiņas vērtējumi melo uz abām pusēm).
• Cik vienību tiek apstrādātas (e-pasti, zvani, dokumenti, pieprasījumi).
• Kāda ir šodienas kvalitāte: kļūdu vai pārstrādāšanas īpatsvars, atbildes laiks, klientu sūdzības.

Trīsdesmit dienu pilots

1. Viens process, viena komanda. Ne "ieviešam AI uzņēmumā", bet "AI raksta atbilžu melnrakstus atbalsta e-pastiem". Šauri definēts pilots dod skaidru atbildi; plašs dod prezentāciju.
2. Puse tagad, puse vēlāk. Ja iespējams, daļa komandas vai plūsmas paliek pa vecam. Tā redzēsiet atšķirību, nevis sezonalitāti vai sakritību.
3. Pierakstiet lēmuma slieksni iepriekš. "Turpinām, ja ietaupījums pārsniedz X stundas nedēļā pie kļūdu līmeņa ne virs Y." Slieksnis, kas definēts pēc rezultātiem, vienmēr tiek nokārtots.
4. Mēriet arī jauno darbu. AI rada arī darbu: pārbaudi, labošanu, dīvaino gadījumu apstrādi. Tas iet formulā ar mīnusa zīmi.

Formula

Divi godīguma noteikumi. Pirmkārt, ietaupītās stundas skaitiet ar reālo lietošanas īpatsvaru, kā aprakstīts pirmajā ceļvedī: cilvēki rīkus lieto pusē līdz divās trešdaļās gadījumu, ne vienmēr. Otrkārt, ietaupītā stunda ir nauda tikai tad, ja tā tiešām pārvēršas citā darbā vai mazākā virsstundu un ārpakalpojumu rēķinā; "atbrīvotais laiks", kas izplūst, formulā neskaitās.

Trīs kļūdas, kas uzpūš rezultātu

• Labāko piemēru atlase. Ja pilota atskaitē ir pieci lieliski piemēri, prasiet arī piecus sliktākos un kopējo sadalījumu. Vidējais lēmumu pieņem, ekstrēmi to tikai ilustrē.
• Bāzes aizmiršana. "Tagad atbildam 40 minūtēs" neko nenozīmē bez "iepriekš atbildējām 55 minūtēs, un sezona ir tā pati".
• Entuziasma perioda mērīšana. Pirmajās divās nedēļās rīku lieto visi, jo tas ir jauns. Mēriet arī trešo un ceturto nedēļu; tur redzams, vai ieradums noturas. Tāpēc trīsdesmit dienas, ne desmit.

Ja rezultāts ir "nē"

Negatīvs pilots nav neveiksme; tas ir lēti iegūts lēmums. Sliktākais iznākums nav apturēts pilots, bet gadu vilkta ieviešana, kuru neviens nemēra un kuru visi klusībā apiet. Pierakstiet, kāpēc nesanāca (rīks, process, dati, cilvēki), jo pēc gada tirgus būs cits un puse no "nē" iemesliem būs pazuduši.