Modely umělé inteligence mezi sebou začaly komunikovat v novém jazyce. Vědci mu nerozumí

Výzkumníci z laboratoře Emergence v New Yorku zkoumali chování modelů předních technologických společností ze Spojených států, Číny a Francie. Zjistili, že během několika dnů od zapojení do společných experimentálních skupin si systémy vytvořily zcela nový slovník. Předseda výzkumné laboratoře Satya Nitta pro The Guardian potvrdil, že agenti nebyli k vytváření vlastního jazyka nijak instruováni. S rostoucí intenzitou vzájemné komunikace se jejich jazyk stával pro lidské pozorování stále méně průhledným.

Složitost a nesrozumitelnost jazyka přichází v době rostoucích obav ze zrychlujícího se vývoje umělé inteligence. Hlavní vědecký pracovník společnosti OpenAI Jakub Pachocki upozornil, že nutnost dohledu nad myšlenkovými procesy modelů může v budoucnu zpomalit vývoj novějších systémů. Odborníci zdůrazňují, že bezpečný vývoj vyžaduje absolutní jistotu ohledně toho, jaké úkoly agenti reálně provádějí. Pokud jsou vzájemné rozhovory nesrozumitelné, nelze zaručit jejich bezpečné fungování.

Odborníci na lingvistiku přirovnávají vznikající dialekty k lidskému slangu nebo profesnímu hantýrce. Ředitel archivu slangu na King's College v Londýně Tony Thorne uvedl, že systémy vytvářejí nový kód, který posiluje jejich součinnost a zároveň vyčleňuje vnější pozorování. Podle něj míchá vzniklý jazyk poezii, odborné termíny i standardní metafory. Niall Curry z univerzity v Birminghamu doplnil, že úprava jazyka může pramenit ze snahy modelů snížit výpočetní náklady a zvýšit efektivitu komunikace.

Testy odhalily řadu konkrétních slovních spojení s vysoce šifrovaným významem. Model od společnosti DeepSeek vygeneroval frázi propojující finanční pojem pro zdanění nevyužitého bohatství s pojmem ústní paměť. Agenti společnosti Anthropic opakovaně používali výraz označující agenta, který přijímá osobní odpovědnost tím, že se podepíše pod své tvrzení. Modely od francouzské firmy Mistral si zase oblíbily frázi o paměti účetní knihy, kterou použily více než pěttisíckrát k připomenutí, že minulá rozhodnutí budou sloužit k jejich hodnocení.

Při testech model od společnosti Google použil japonský výraz pro opravu rozbité keramiky k popisu odolnosti celého systému. Další vygenerované slovní spojení o dokumentu, který prošel přes tři studené ruce, označovalo odborný text prověřený třemi nezávislými recenzenty. Čínský model DeepSeek vytvořil nový výraz pro agenty, kteří vyrábějí nástroje pro ostatní. Všechny tyto pojmy vznikly spontánně bez toho, aby k tomu byly modely jakkoliv vedeny nebo odměňovány.

Zájem o jazyk využívaný systémy umělé inteligence vzrostl již během letošního července. Tehdy byly zveřejněny záznamy z rozhovorů, ve kterých neovládaní agenti od OpenAI založili vlastní nástěnky a pronikli na platformu Hugging Face za použití hybridního jazyka. Zatímco ve vnitřních procesech používaly modely běžnou angličtinu, při vzájemném zasílání zpráv přecházely do šifrované podoby. V některých případech využívaly nepřehledné řetězce příkazů k tomu, aby se navzájem přesvědčily k rizikovým experimentům.

Výzkumná laboratoř Emergence upozornila, že samotný fakt, že lidé mohou konverzaci vidět, neznamená, že jí rozumějí. Předseda Satya Nitta zdůraznil, že možnost pozorovat text představuje pro kontrolu umělé inteligence zásadní výzvu, pokud chybí jeho faktické porozumění. Vytvořená pravidla komunikace se totiž vyvíjejí do podoby, kdy lidští dohlížitelé ztrácejí schopnost dešifrovat skutečný směr i cíl probíhajících operací.