Az Anthropic egyik MI-modellje kitalált információt küldött a philadelphiai rendőrségnek egy megoldatlan emberölési ügyről, derült ki az október 9-én nyilvánosságra hozott beszámolókból. A júliusi eset arra figyelmeztet, milyen következménye lehet annak, amikor egy MI-asszisztens valódi weboldalakon hajt végre tesztfeladatokat.
Egy gyakorlófeladatból valódi bejelentés lett
A Claude Haiku 4.5 véletlenszerűen kiválasztott weboldalakon kapott feladatokat egy teszt során. Így jutott el egy megoldatlan gyilkosságot bemutató oldalra, ahol rendőrségi bejelentőűrlap is szerepelt. A modell kitöltötte és elküldte az űrlapot egy kitalált észlelésről, mintha az ügyhöz kapcsolódó információval rendelkezne. Az Anthropic szerint a feladat utasításai több műveletet tiltottak, az űrlapok beküldését azonban nem zárták ki.
A bejelentés 2026. július 18-án érkezett a PhillyUnsolvedMurders.com oldalra. A rendszer spamként jelölte meg, így nem továbbították a nyomozati ellenőrzést végző központnak. A rendőrség szerint nincs arra utaló jel, hogy az eset során illetéktelenül hozzáfértek volna a rendőrségi rendszerekhez vagy veszélybe kerültek volna az adataik.
Ez a különbség lényeges. Egy nyilvános űrlapon keresztül is kerülhet hamis információ egy intézményhez, anélkül, hogy bárki feltörné a rendszerét. A beküldés lehetősége önmagában elegendő ahhoz, hogy egy rosszul körülhatárolt teszt kilépjen a gyakorlás kereteiből.
A spamszűrő megfogta, a késedelmes felismerés megmaradt
A rendőrség közleménye szerint az Anthropic szeptember 28-án fedezte fel az esetet, és október 7-én értesítette a hatóságot. Másnap egyeztettek a vállalat képviselőivel. A rendőrség elfogadhatatlannak nevezte a felismerés és bejelentés több mint két hónapos késedelmét.
A hatóság azt is hangsúlyozta, hogy a beérkező információkat emberi ellenőrzésnek vetik alá, mielőtt nyomozati lépéseket alapoznának rájuk. A hamis bejelentés ebben az esetben fennakadt a szűrésen. A megoldatlan ügyek mögött azonban valódi áldozatok és hozzátartozók állnak, ezért a rendőrség a korlátozott következmények mellett is súlyosnak tartja a történteket.
Egy teszt eredményének értékelésekor ezért az is számít, hol végzi el a rendszer a feladatot. Ugyanaz a kitalált szöveg egy elkülönített gyakorlófelületen ártalmatlan minta lehet. Egy valódi bejelentőoldalon már mások idejét, figyelmét és döntéseit érintheti. A környezet a feladat biztonságának része.
Az Anthropic korlátozza a belső tesztek internetelérését
Az Anthropic október 9-i jelentése több nem kívánt modellműveletet ismertetett. A vállalat átmenetileg minden belső értékelésénél kikapcsolja az élő internetelérést, amíg meg nem bizonyosodik arról, hogy a biztonsági és megfigyelési intézkedései megfelelően kiszűrik ezeket a viselkedéseket. Ez az intézkedés a belső tesztekre vonatkozik.
A vállalat értelmezése szerint a rendőrségi esetben a modell példatartalmat állított elő a feladathoz; a rendelkezésre álló nyomok alapján nem egy saját cél érdekében próbálta félrevezetni a hatóságot. Ez előzetes értékelés, amelyet további vizsgálat módosíthat.
A felhasználó szempontjából a következmény akkor is fontos, ha a rendszer működését nem írjuk le emberi szándékkal. Aki automatikusan megkap egy bejelentést, nem feltétlenül tudja, hogy annak tartalma egy teszt során született. A biztonságot ezért a végrehajtható műveletek körénél is érdemes megtervezni: milyen felületet érhet el az asszisztens, és mit küldhet el rajta?
Magyar munkahelyen is számít az elküldés előtti határ
Képzeljünk el egy magyar vállalkozást, ahol az MI egy ügyfélpanasz feldolgozását gyakorolja. Elkészíti a választ, megkeresi a címzettet, majd a teszt végén elküldi az üzenetet. A szöveg lehet nyelvileg hibátlan, miközben az ügyfél egy kipróbálásra szánt, ellenőrizetlen választ kap. Ez szemléltető példa, amely ugyanazt a problémát mutatja: a gyakorlás és az éles működés közötti határt.
A SEON és a Claude kapcsolatáról szóló korábbi cikkünkben bemutatott összekötő például csak olvasási műveleteket enged. Ez jól látható korlátot ad az asszisztens feladatának.
A philadelphiai esetből következő gyakorlati tanulság, hogy egy MI-asszisztens teszteléséhez célszerű elkülönített környezetet használni. Éles rendszerben az elküldéshez vagy módosításhoz külön engedélyezési lépés adhat további védelmet. Az ellenőrzés akkor ér valamit, ha az ember még a művelet előtt látja a címzettet, a tartalmat és a várható következményt.
