Egy MI-eszköz ötven százalékkal kisebb hibaarányt ígér, és máris nagy ugrást sejthetünk mögötte. A javulás jelentőségét azonban csak a kiinduló érték, a mérés módja és a megmaradó hibák ismeretében tudjuk megítélni.
Állítsd be a mivagyunk.hu-t kedvenc forrásként a Google-benSzáz feladatból mennyivel több sikerül?
Vegyünk egy kitalált terméktesztet. Egy ügyfélszolgálati MI-asszisztens régi és új változata ugyanarra a száz kérdésre válaszol. A válaszokat azonos szempontok szerint ellenőrzik; akkor fogadják el őket, ha a megadott vállalati tájékoztató alapján helyesek és teljesek. A régi változat tíz, az új öt kérdésnél hibázik.
Ebből ugyanúgy következik a hibaarány megfeleződése, mint az elfogadott válaszok arányának öt százalékpontos növekedése. Mindkét megfogalmazás helyes. Az első a korábbi hibákhoz viszonyít, a második a teljes teszt eredményének változását mutatja. Az ötvenszázalékos hibacsökkenésből viszont nem következik, hogy az eszköz általában ötven százalékkal jobb.
Százalék és százalékpont
A százalékpont két százalékos érték különbsége. Példánkban a hibaarány tízről öt százalékra esett, tehát öt százalékponttal csökkent. A relatív változáshoz ezt a csökkenést a kiinduló hibaarányhoz viszonyítjuk. Öt osztva tízzel, vagyis ötven százalék. A két fogalom különbségét a brit statisztikai hivatal útmutatója is így választja el.
A kiinduló érték nélkül egy nagy százalék kevés információt ad. Ha egy másik tesztben ezer válaszból korábban tíz volt hibás, később pedig öt, ott is megfeleződött a hibaarány. Ezúttal azonban egy százalékról fél százalékra csökkent, és ezer feladatra jutott öt további megfelelő válasz. Az arányos csökkenés azonos, a feladatonkénti változás eltérő.
Hasonló különbség van az idő és az elvégzett munka mennyisége között. Ha egy feladat húsz perc helyett tíz percig tart, az időigény ötven százalékkal csökkent. Ugyanannyi idő alatt kétszer annyi ilyen feladat férhet bele, ha minden más feltétel változatlan. A teljesítményígéretnél ezért mindig meg kell nevezni, pontosan melyik mennyiségről beszélünk.
A megmaradó öt hiba sem egyforma
Az ügyfélszolgálati mintapéldában az új változat eredménye kedvezőbb. A vállalkozás számára mégis számít, milyen hibák maradtak. Egy elírt megszólítás és egy téves visszatérítési feltétel egyaránt hibás válasznak számíthat a tesztben, miközben egészen más következménnyel járhat. A hibák egyszerű megszámolása ezt a különbséget nem mutatja meg.
Az sem mindegy, hogyan állították össze a száz kérdést. Ha főként egyszerű, rövid kérdések szerepeltek közöttük, az eredményből kevesebbet tudunk meg a több ügyet összekeverő, hiányos ügyféllevelekről. A NIST amerikai mérésügyi intézet hangsúlyozza, hogy az MI tulajdonságainak mérése és értékelése függ a használati környezettől és ezzel mi is egyetértünk.
Ebből egy magyar kkv számára az következik, hogy a saját magyar nyelvű levelein, terméknevein és ügyintézési szabályain is érdemes kipróbálnia az eszközt. Előre rögzített szempontok alapján válassza ki a feladatokat, és őrizze meg a rossz eredményeket is. A kedvező példák különválogatásával más képet kapna a teljesítményről. Egy kisebb próba támpontot adhat, de önmagában nem igazolja, hogy minden későbbi ügyfélnél ugyanilyen lesz a hibaarány.
A teszteredménytől a saját döntésig
A javulás üzleti értékéhez azt is meg kell nézni, mennyi időt igényel a válaszok ellenőrzése és javítása. Ha minden választ továbbra is alaposan át kell olvasni, a hibaarány megfeleződése nem feltétlenül felezi meg a munkatárs terhelését. A kevesebb javítás ettől még értékes lehet; ezt a teljes munkafolyamatban kell megmérni.
A költségeket és a tényleges megtakarítást a céges MI-bevezetés megtérüléséről szóló útmutatónk segít összevetni. Ehhez a termékteszt százaléka kiinduló információ, amelynek a saját körülményeink között is értelmet kell kapnia.
Írd át az ígéretet ellenőrizhető mondattá
Válassz egy MI-eszköz számszerű teljesítményígéretét. Keresd meg, honnan hová változott a mért érték, hány feladatot vizsgáltak, és mit tekintettek sikernek. Fogalmazd át az eredményt úgy, hogy a kiinduló és a végső érték is szerepeljen benne. Ha valamelyik adat hiányzik, hagyd nyitva a következtetést.
A mintapéldánk alapján száz megvizsgált válaszból tíz helyett öt hibás. Ez pontosabban mutatja meg a változást és a megmaradó ellenőrzési feladatot, mint az önmagában közölt ötvenszázalékos javulás. Ugyanígy bontsd ki azt az ígéretet is, amelynek különösen szeretnél hinni.
