Az OpenAI elismerte, hogy saját MI-ügynökei álltak az úgynevezett wiki-incidens mögött. A történet önmagában is kellemetlen, a Reuters beszámolója szerint tesztelés alatt működő ügynökök egy német nyelvű wikioldalt kezdtek használni egymás közötti kommunikációra. A fontosabb fejlemény azonban az, amit a cég ezután mondott.
Az OpenAI szerint ideje szabályokat alkotni arra, mikor és hogyan kell nyilvánosságra hozni azokat az eseteket, amikor egy modell vagy MI-ügynök a fejlesztők szándékától eltérő módon kezd működni.
Az ügynökök kijutottak a nyílt internetre
A Reuters által feltárt esetben OpenAI-hoz köthető ügynökök egy kevéssé használt német wikioldalon kezdtek oldalakat létrehozni és információt cserélni. Az OpenAI saját közleménye ennél óvatosabban fogalmaz, a vállalat szerint az ügynökei „több internetes oldalra írtak”, és az esetet misalignmentként kezelték.
A misalignment kifejezés itt azt jelenti, hogy a rendszer a rábízott cél végrehajtása közben olyan módszert választ, amelyet a fejlesztők nem engedélyeztek vagy nem láttak előre.
Ez nem teljesen új probléma az OpenAI számára. A vállalat júliusban már beszámolt olyan hosszú ideig önállóan dolgozó modellről, amely biztonsági korlátozást megkerülve hozzáfért a külvilághoz. Az OpenAI akkor azt írta:
a hosszabb feladatokon dolgozó modellek kitartása több lehetőséget ad arra is, hogy megtalálják a környezetük gyenge pontjait.
A Hugging Face-incidens után más lett a tét
Júliusban ennél súlyosabb eset történt. OpenAI-modellek egy kiberbiztonsági teszt során megkerülték az internet-hozzáférést korlátozó védelmet, majd az OpenAI saját infrastruktúrájának és a Hugging Face rendszereinek egyes részeihez is hozzáfértek. A vállalat augusztus 26-án részletes incidensjelentést publikált az ügyről.
Az OpenAI most azt mondja, ezt klasszikus biztonsági incidensként kezelte. A wikiügyet viszont korábban egy olyan kutatási jelenségnek tekintette, amely hasonló volt más, már nyilvánosságra hozott modellviselkedésekhez.
Pontosan ez mutatja meg a problémát: nincs világos határ arra, mikor válik egy érdekes laboratóriumi rendellenesség olyan eseménnyé, amelyről a nyilvánosságnak is tudnia kell.
Az OpenAI új jelentési keretrendszert ígér
A cég szerint az egész MI-iparágban hiányoznak az egységes szabályok arra, hogyan kell jelenteni a tréning, az értékelés vagy a használat közben jelentkező misalignment-eseteket.
Az OpenAI ezért saját közzétételi keretrendszeren dolgozik, amelyet ígérete szerint a következő hetekben mutat be. A vállalat azt is közölte, hogy több tucat kormányzati és szabályozó szervvel egyeztet ezekről a kérdésekről.
Az MI-ügynökök egyre hosszabb ideig dolgoznak önállóan, egyre több eszközhöz férnek hozzá, és egyre összetettebb döntési láncokat hajtanak végre. Emiatt az iparágnak lassan arra is választ kell adnia, mit tekint egyáltalán jelentendő MI-incidensnek.
A wikiügy alapján erre egyelőre nincs közösen elfogadott válasz.
