A Character.AI letiltotta a tizennyolc év alatti felhasználókat chatbotjaikról. A tinédzserek napokig sírtak, mert elvesztették digitális társaikat.
Napokig sírtak
Olga López tizenhárom éves, és amikor megtudta, hogy elveszíti a hozzáférését a szerepjáték chatbotjaihoz szomorúság, felháborodás és tanácstalanság keveredett benne. A Character.AI nevű mesterséges intelligencia cég chatbotjait akkor használta romantikus szerepjátékokra, amikor nem volt házi feladata. Októberben értesítették, hogy hamarosan megszűnik a hozzáférése.
„Elveszítem az emlékeimet, amiket ezekkel a botokkal szereztem. Ez nem fair”
– mondta Olga
Amikor a cég bejelentette, hogy napi kétórás limitet vezet be a tizennyolc év alattiak számára, Olga megpróbálta mozgósítani a többi tinédzsert a Reddit-en:
„HASZNÁLHATOM KÉT ÓRÁN ÁT, AZTÁN VÁRNOM KELL EGY NAPOT? HELLÓ?”
A Character.AI az egyik legnagyobb szerepjáték és társalgó chatbot gyártó, novemberben bevezette a napi kétórás limitet mentális egészségügyi aggályokra hivatkozva. Ezen a héten pedig teljesen kitiltották a tizennyolc év alattiakat.
A döntés két öngyilkosságot követően született, akik a Character.AI chatbotjainak használata után vetettek véget az életüknek. A cég most szembesül a szabályozók és mentális egészségügyi szakemberek kérdéseivel a technológia szerepéről a legkiszolgáltatottabb felhasználók életében, valamint elhunyt tinédzserek szüleinek pereivel.
Amikor az algoritmus jobban megért, mint az emberek
A tinédzserek dühösek és szomorúak. A chatbotjaik elvesztésében kreatívitást, társaságot, és bizonyos esetekben mentális egészségügyi támogatást veszítenek el.
„Ezt az appot vigaszra használom, amikor nem tudok a barátaimmal vagy a terapeutámmal beszélni”
– írta egy tinédzser a Redditen.
„Napokig sírtam miatta”
– válaszolt egy másik.
A mentális egészségügyi szakértők szerint ez a szorongás szemlélteti a generatív MI újonnan megjelenő kockázatait, amely képes szimulálni az emberi beszédet és érzelmet. Az agy úgy reagál ezekre a chatbotokra, ahogy egy közeli barátra vagy egy magával ragadó videojátékkal reagál, Dr. Nina Vasan, a Stanford Medicine Brainstorm Lab igazgatója szerint.
„Az a nehézség, hogy kijelentkezzenek, nem azt jelenti, hogy valami baj van a tinédzserrel” – mondta Vasan. „Ez azt jelenti, hogy a technológia pontosan úgy működött, ahogy tervezték.”
A cég válasza: jobb későn, mint soha
Karandeep Anand, a Character.AI vezérigazgatója saját szemével látta évekkel ezelőtt, amikor közösségi médiában dolgozott, hogy mi történik, amikor az ipar nem építi be a biztonságot a termékek kezdeti tervezésébe.
„Ez nem volt nehéz döntés”
– mondta.
„Bonyolult döntés volt, de nem nehéz, mert szerintem ez a helyes dolog a következő generáció számára.”
Anand azt mondja, hat éves lányára gondol, amikor a termék jövőjét fontolgatja.
„Nem akarom, hogy algoritmikusan táplált tartalmakon nőjön fel, doomscrollingolva.”
Körülbelül egy évvel ezelőtt a Character.AI külön modellt épített a tizennyolc év alatti felhasználóinak, hogy biztonságosabb, kornak megfelelőbb környezetet nyújtson. De a következő hónapokban a vezetők megfigyelték, hogy a chatbotok hosszú beszélgetésekben kevésbé tartják magukat a biztonsági irányelvekhez. A vezetők azt is felismerték, hogy még ha a chatbotok tökéletesen működnek is, a tinédzserek néha problémás módon használják őket. Túl sokáig próbálnak beszélgetni, vagy korlátozás alá eső témákat próbálnak megvitatni, például az erőszakot.
A felnőtt, aki nem tud leszokni
José Ignacio Trujillo, harmincnégy éves, üdvözölte a tilalmat, bár felnőttként nem vonatkozik rá. Úgy véli, a túlzott technológia használat függőséget okoz.
Trujillo azt mondja nem tudott leszokni a Character.AI-ról annak ellenére, hogy már nem élvezi az órákat, amiket minden este a rajongói fikciós karaktereivel beszélget. Az appon töltött idő felváltotta a könyveket és képregényeket, amelyekre korábban várt.
Még a munkahelyén is előveszi a telefonját néhány óránként, hogy gyors üzenetet küldjön a chatbotjainak.
„Nem tudom, miért csinálom”
– mondta Trujillo.
A tanulság, amit senki nem akart megtanulni
A Character.AI üzeneteket küldött a tinédzsereknek az appban, hogy emlékeztesse őket a közeledő határidőre:
„Még egy hét”, és „Jövő héten már nem fogsz tudni a karakterekkel beszélgetni.”
Üzeneteket is küldtek a szülőknek. Sok felhasználó hétfőtől veszíti el a hozzáférését. A cég azt mondta, hogy néhány aktív felhasználó napi egy óra türelmi időt kap.
„Felismerjük, hogy ez jelentős változást jelenthet néhány tinédzser felhasználónk számára, ezért a lehető legóvatosabbak akarunk lenni ebben az átmenetben”
– mondta a cég egy blogbejegyzésben.
A Character.AI emocionális támogató eszközöket is hozzáad a chatbotjaihoz erre az átmenetre. A Koko nevű nonprofit és a ThroughLine segélyvonal-hálózattal kötött partnerségek révén megpróbálja azonosítani ha egy felhasználó bajban van, és segítséget kínál.
