Contractor pentru situații de criză pentru OpenAI, Anthropic analizează o acțiune împotriva extremismului

SYDNEY, Australia – Persoanele care manifestă tendințe extremiste violente pe ChatGPT vor fi direcționate către suport de deradicalizare bazat pe oameni și chatbot-uri printr-un nou instrument în curs de dezvoltare în Noua Zeelandă, au declarat cei din spatele acestuia.

Inițiativa este cea mai recentă încercare de a aborda preocupările legate de siguranță în fața unui număr tot mai mare de procese care acuză companiile de inteligență artificială că nu reușesc să oprească și chiar facilitează violența.

OpenAI a fost amenințată cu intervenția guvernului canadian în februarie, după ce a dezvăluit că o persoană care a comis o împușcătură mortală într-o școală fusese interzisă de pe platformă fără ca autoritățile să fie informate.

ThroughLine, un startup angajat în ultimii ani de către OpenAI, proprietarul ChatGPT, precum și de rivalii Anthropic și Google, pentru a redirecționa utilizatorii către suport în situații de criză atunci când sunt semnalați ca fiind în risc de auto-vătămare, violență domestică sau tulburări alimentare, explorează, de asemenea, modalități de a-și extinde ofertele pentru a include prevenirea extremismului violent, a declarat fondatorul său și fost lucrător pentru tineret Elliot Taylor.

Compania este în discuții cu The Christchurch Call, o inițiativă de eradicare a urii online formată după cel mai grav atac terorist din Noua Zeelandă din 2019, care ar implica grupul anti-extremism oferind îndrumări în timp ce ThroughLine dezvoltă chatbot-ul de intervenție, a declarat fostul lucrător pentru tineret.

„Este ceva spre care am dori să ne îndreptăm și să facem o treabă mai bună în ceea ce privește acoperirea și apoi să putem sprijini mai bine platformele", a declarat Taylor într-un interviu, adăugând că nu a fost stabilit un termen.

OpenAI a confirmat relația cu ThroughLine, dar a refuzat să comenteze mai mult. Anthropic și Google nu au răspuns imediat solicitărilor de comentarii.

Firma lui Taylor, pe care o conduce din casa sa din zona rurală a Noii Zeelande, a devenit o resursă de referință pentru firmele de inteligență artificială cu oferta sa de rețea verificată constant de 1.600 de linii telefonice de asistență în 180 de țări.

Odată ce inteligența artificială detectează semne ale unei potențiale crize de sănătate mintală, redirecționează utilizatorul către ThroughLine, care îi pune în legătură cu un serviciu disponibil condus de oameni din apropiere.

Dar domeniul de aplicare al ThroughLine a fost limitat la categorii specifice, a spus fondatorul. Amploarea problemelor de sănătate mintală pe care oamenii le dezvăluie online a explodat odată cu popularitatea chatbot-urilor AI și acum include tentații cu extremismul, a adăugat el.

Mai multe chatbot-uri, mai multe probleme

Instrumentul anti-extremism ar fi probabil un model hibrid care combină un chatbot instruit să răspundă persoanelor care prezintă semne de extremism și recomandări către servicii reale de sănătate mintală, a spus Taylor.

„Nu folosim datele de antrenament ale unui LLM de bază", a spus el, referindu-se la seturile de date generice pe care platformele de modele lingvistice mari le folosesc pentru a forma text coerent. „Lucrăm cu experții corecți." Tehnologia este în prezent testată, dar nu a fost stabilită o dată pentru lansare.

Galen Lamphere-Englund, un consultant în contraterorism care reprezintă The Christchurch Call, a spus că speră să lanseze produsul pentru moderatorii forumurilor de jocuri și pentru părinți și îngrijitori care doresc să elimine extremismul online.

Un instrument de redirecționare a chatbot-ului este „o idee bună și necesară, deoarece recunoaște că nu doar conținutul este problema, ci dinamica relațiilor", a declarat Henry Fraser, cercetător în inteligență artificială la Queensland University of Technology.

Succesul produsului poate depinde de întrebări precum „cât de bune sunt mecanismele de urmărire și cât de bune sunt structurile și relațiile în care direcționează oamenii pentru a aborda problema", a spus el.

Taylor a declarat că funcțiile de urmărire, inclusiv posibile alerte către autorități despre utilizatori periculoși, urmau să fie încă determinate, dar vor lua în considerare orice risc de a declanșa comportament escaladat.

El a spus că persoanele aflate în suferință tind să împărtășească lucruri online pe care le este prea jenante să le spună unei persoane și că guvernele riscă să amplifice pericolul dacă presează platformele să deconecteze utilizatorii care se angajează în conversații sensibile.

Moderarea intensificată asociată cu militanța de către platforme sub presiunea autorităților de aplicare a legii i-a făcut pe simpatizanți să treacă la alternative mai puțin reglementate precum Telegram, conform unui studiu din 2025 realizat de Stern Center for Business and Human Rights al Universității din New York.

„Dacă vorbești cu o inteligență artificială și dezvălui criza și aceasta închide conversația, nimeni nu știe că s-a întâmplat asta, iar acea persoană ar putea fi în continuare fără suport", a spus Taylor. – Rappler.com