A nyelvi modellek (LM-ek) egyik legnagyobb gyengesége, hogy olykor teljes magabiztossággal állítanak valótlan információkat. Ezek a „hallucinációk” nemcsak zavaróak, hanem komoly kockázatot is jelentenek, különösen akkor, ha az olvasó nem tudja ellenőrizni a válaszok valóságtartalmát. Egy friss kutatás most öt fő okot azonosított, amelyek segíthetnek megérteni, miért és hogyan születnek ezek a hibák és miért nehéz tőlük megszabadulni.
A jelenség gyökerei
A nyelvi modellek hallucinációi olyan meggyőző, de hamis állítások, amelyek a statisztikai tanulás természetéből fakadnak. A „Why Do Language Models Hallucinate?” című tanulmány szerzői szerint a probléma nem véletlen, hanem rendszerszintű következmény. A modellek az adatfeldolgozás és kiértékelés során nem a bizonytalanságot, hanem az önbizalmat tanulják meg jutalmazni. Az eredmény: inkább találgatnak, mintsem hogy kimondanák, „nem tudom”.
A kutatás öt fő felismerést kínál, amelyek feltárják, miért nem tűnnek el ezek a hibák még a legfejlettebb modellekből sem.
A hallucinációk alapvető oka: a bizonytalanság elnyomása
A modellek működésének lényege, hogy pontosságra optimalizált tesztkitöltőkként tanulnak. A hagyományos, bináris kiértékelési rendszerben (helyes–helytelen) nincs jutalom az olyan válaszokra, mint „nem tudom”. Ezért a modellek megtanulják, hogy a találgatás kifizetődőbb, mint a bizonytalanság bevallása.
Más szóval: a rendszer jutalmazza a magabiztos tévedést, miközben bünteti a mértéktartást. Ez a logika a legtöbb mai nyelvi modell tréning és értékelési eljárásának középpontjában áll.
A statisztikai eredet: egyszerű osztályozási hiba
A tanulmány szerint a hallucinációk nem misztikus hibák, hanem a gépi tanulás klasszikus problémájára vezethetők vissza: a bináris osztályozási tévedésre.
A kutatók az úgynevezett „Is-It-Valid” (IIV) teszt segítségével mutatják meg, hogy a modellek gyakran nem tudják megbízhatóan megkülönböztetni, mi igaz és mi hamis. A hibaarány így közvetlenül arányos a helytelen besorolások számával. Vagyis minden alkalommal, amikor a modell egy állítást tévesen „érvényesnek” ítél, egy újabb hallucináció születik.
A hallucinációk elkerülhetetlenek
A kutatás egyik legmeglepőbb megállapítása, hogy a hibák még tökéletes adatok mellett is elkerülhetetlenek. Még ha a tanulási adathalmaz hibátlan is lenne, a modell a statisztikai optimalizálás során akkor is hibázna, mert a valóság bizonyos elemei egyszerűen nem tanulhatók meg pontosan.
A jól kalibrált modellek tehát szükségszerűen tévednek bizonyos helyzetekben, míg a hibamentes modellek pontatlanul becsülnék meg saját bizonytalanságukat. Másképp fogalmazva: a hibák ára a realizmus.
A hallucinációk makacsul tartják magukat
Bár a legtöbb utólagos tréning és finomhangolás célja a hamis válaszok csökkentése, a probléma mélyebben gyökerezik. A kutatók szerint a kiértékelési kultúra maga konzerválja a hibákat. A legtöbb benchmark és ranglista bináris pontozást alkalmaz, amely nem jutalmazza a bizonytalanságot. Egy olyan modell, amely néha kimondja, hogy „nem tudom”, rosszabb pontszámot kap, mint az, amely mindig válaszol, még ha gyakran téved is.
Ez a versenylogika arra ösztönzi a fejlesztőket, hogy olyan rendszereket építsenek, amelyek inkább kitalálnak valamit, mintsem bevallanák a bizonytalanságot.
A véletlenszerű tudás hiánya mint statisztikai korlát
A tanulmány szerint a hibák egyik fő forrása az úgynevezett „arbitrary facts”, azaz véletlenszerű, ritkán előforduló információk. Ezek olyan tények, például születésnapok vagy egyedi események, amelyek nem követnek mintát, és alig szerepelnek a tanítóadatokban.
Ha például a tréningadatok 20%-ában egy tény csak egyszer fordul elő, akkor a modellek várhatóan legalább 20%-ban tévednek ezekkel kapcsolatban. Ehhez társul a gyenge modellezési képesség (amikor a rendszer nem képes egy fogalmat jól reprezentálni), valamint az adatminőségi probléma, a jól ismert „Garbage In, Garbage Out” jelenség.
A bizonytalanság jutalmazása lehet a megoldás
A tanulmány üzenete világos: a hallucinációk nem hibák a rendszerben, hanem a rendszer logikus következményei. A modellek nem azért tévednek, mert rosszul működnek, hanem mert arra vannak trenírozva, hogy soha ne hallgassanak.
Valódi előrelépés csak akkor jöhet, ha a fejlesztők és az értékelési rendszerek elismerik a bizonytalanság értékét. Egy modell, amely képes kimondani: „erre nincs elég adat”, talán kevesebb pontot szerezne, de megbízhatóbb partnerré válna.
