Ha minden MI-vel készült eredményt teljes egészében átnéztek, könnyen eltűnik az automatizálással nyert idő. Ha semmit sem ellenőriztek, egy téves válasz, hibás ajánlat vagy rossz döntés az ügyfélig is eljuthat. A megoldás egy kockázathoz igazított jóváhagyási rendszer.
Ugyanaz az ellenőrzés nem illik minden feladathoz
Egy belső megbeszélés összefoglalása, egy ügyfélnek küldött árajánlat és egy álláspályázó előszűrése egészen eltérő következményekkel járhat. Mégis sok cégnél mindháromra ugyanaz a szabály vonatkozik: valaki nézze át, amit az MI készített.
Ez túl bizonytalan ahhoz, hogy valódi kontrollt jelentsen. Nem derül ki belőle, ki ellenőriz, mit kell keresnie, és mi történik, ha hibát talál.
Az emberi jóváhagyás olyan előre meghatározott ellenőrzési pont, ahol egy megfelelő tudással és döntési jogkörrel rendelkező személy értékeli az MI eredményét, mielőtt annak külső vagy nehezen visszafordítható következménye lenne.
A szükséges ellenőrzés szintjét a lehetséges kár, a visszafordíthatóság és a hiba felismerhetősége alapján érdemes meghatározni.
Három ellenőrzési szint általában elegendő
Alacsony kockázatnál működhet az automatizálás
Teljes emberi jóváhagyás nélkül futhatnak azok a feladatok, amelyek eredménye belső használatú, könnyen javítható és közvetlenül nem érint ügyfelet vagy más természetes személyt.
Ide tartozhat fájlok elnevezése, nyilvános adatok rendszerezése, belső jegyzetek címkézése vagy egy hosszabb dokumentum első összefoglalójának elkészítése. Ezeknél is szükség van tesztelésre és időszakos felülvizsgálatra, de minden egyes eredmény kézi ellenőrzése aránytalanul sok időt vihet el.
Az automatizálás feltétele, hogy hiba esetén az eredeti adat megmaradjon, a folyamat visszafordítható legyen, és az MI ne küldhessen önállóan semmit külső címzettnek.
Közepes kockázatnál elég lehet a mintavétel
Mintavételes ellenőrzés illik azokhoz az ismétlődő folyamatokhoz, amelyek hibája kellemetlenséget vagy javítási munkát okozhat, de várhatóan nem vezet súlyos jogi, pénzügyi vagy személyes következményhez.
Ilyen lehet egy rendszeres belső jelentés, termékleírások első változata vagy nagyobb mennyiségű dokumentum kategorizálása. A cég előre meghatározhatja, milyen gyakran és milyen szempontok szerint ellenőrzi az eredményeket. Új eszköz, megváltozott prompt vagy szokatlan adat esetén sűrűbb vizsgálat indokolt.
A mintavétel akkor ér valamit, ha a feltárt hiba az egész folyamat felülvizsgálatát elindíthatja. Egyetlen hibás eredmény kijavítása kevés, ha ugyanaz a probléma száz másik esetben is jelen lehet.
Magas kockázatnál minden eredményt jóvá kell hagyni
Teljes ellenőrzés indokolt, ha az MI eredménye jogot, pénzt, egészséget, megélhetést, szerződéses kötelezettséget vagy a cég jó hírét érintheti.
Ide sorolható például:
- szerződés, jogi állásfoglalás vagy pénzügyi számítás véglegesítése;
- ügyfélpanaszra vagy hatósági megkeresésre adott válasz;
- álláspályázók értékelése és rangsorolása;
- személyre szabott egészségügyi vagy pénzügyi tájékoztatás;
- nyilvánosan megjelenő tényállítás;
- jelentős kedvezmény, visszatérítés vagy kötelezettségvállalás.
Az emberi ellenőrzés ezekben az esetekben nem puszta átolvasás. A jóváhagyónak rendelkeznie kell a hiba felismeréséhez szükséges szakmai tudással, valamint jogosultsággal az eredmény elutasítására vagy a folyamat leállítására.
Az MI-rendelet csak meghatározott rendszereknél ír elő emberi felügyeletet
Az EU AI Act nem teszi kötelezővé minden céges MI-tartalom kézi jóváhagyását. A rendelet 14. cikkében szereplő részletes emberi felügyeleti követelmény a magas kockázatú MI-rendszerekhez kapcsolódik.
Az ilyen rendszereket úgy kell kialakítani, hogy természetes személy ténylegesen felügyelhesse a működésüket. A felügyelőnek értenie kell a rendszer képességeit és korlátait, észlelnie kell az automatizált eredmények túlzott elfogadásának veszélyét, továbbá képesnek kell lennie az eredmény figyelmen kívül hagyására, felülírására vagy a rendszer leállítására. A magas kockázatú rendszert használó szervezetnek megfelelő kompetenciával, képzettséggel és hatáskörrel rendelkező személyre kell bíznia ezt a feladatot.
Egy általános szövegíró eszköz használata rendszerint nem válik ettől automatikusan magas kockázatúvá. A belső jóváhagyási rend ettől még üzletileg indokolt lehet. Az amerikai NIST önkéntes kockázatkezelési keretrendszere is a felhasználási környezethez igazított, dokumentált emberi felügyeletet javasolja.
A jóváhagyónak valódi döntési jog kell
A kontroll látszólagos marad, ha a munkatárs naponta több száz MI-eredményt kap, nincs ideje ellenőrizni őket, vagy nem állíthatja le a rendszert. Ilyenkor könnyen kialakul az automatizálási torzítás: az ember azért fogadja el a választ, mert a gép magabiztosan jelenítette meg.
Minden MI-munkafolyamatnál rögzítsétek:
- milyen ellenőrzési szint vonatkozik rá;
- ki hagyhatja jóvá az eredményt;
- milyen hibákat kell keresnie;
- mikor kell leállítani vagy magasabb szintre továbbítani a folyamatot;
- hogyan dokumentáljátok a jóváhagyást.
Ehhez először látni kell, milyen MI-eszközök és automatizálások működnek a szervezetben. A kiindulópontot a céges MI-nyilvántartás elkészítéséről szóló útmutatónk adja.
Az emberi jóváhagyás célja az, hogy a döntő pillanatban legyen valaki, aki érti a helyzetet és képes közbelépni. Ha ez a személy csak egy gombot nyom meg, a folyamat továbbra is lényegében automatikus.
