Přední bezpečnostní výzkumník opouští Anthropic. AI nás do deseti let může všechny zabít, varuje

Své vyjádření zveřejnil na sociální síti X, kde jeho příspěvek zaznamenal miliony zhlédnutí. Bezpečnostní expert zdůraznil, že hrozba ze strany současných systémů je sice nízká, nebezpečí však spočívá v jejich nadcházející schopnosti samovolného zdokonalování.

Společnost Anthropic vyvíjí známý nástroj Claude, který slouží jako konverzační asistent i pomocník při psaní počítačového kódu. Hubinger ve svém prohlášení potvrdil, že výzkumníci se vnitřně obávají hrozby, jež by mohla ukončit lidskou existenci.

Společnost se podle jeho slov snaží dělat maximum, dosud však nemá k dispozici plán na vyřešení problému zarovnání pro superinteligenci. Výzkumník zároveň dodal, že vývoj v tomto směru zatím jednoznačně nesměřuje ke zdárnému cíli.

Varování přichází v době, kdy deník Financial Times upozornil na postup společnosti vůči britským orgánům. Anthropic podle těchto informací neposkytl svůj nejnovější model britskému Institutu pro bezpečnost umělé inteligence, který patří k předním světovým pracovištím hodnotícím rizika této technologie.

Britská veřejnoprávní stanice BBC v této souvislosti požádala zástupce vývojářské firmy o oficiální vyjádření. Otázky ohledně transparentnosti a kontroly nad novými modely se tak dostávají do popředí zájmu.

Varování před riziky spojenými s novými technologiemi vydávají vedoucí představitelé oboru již delší dobu. Hlavy společností OpenAI, Google DeepMind i Anthropic poukazovaly na bezpečnostní hrozby již v minulosti.

Během uplynulých měsíců se však tyto obavy výrazně vyostřily v reakci na konkrétní incidenty z praxe. Během léta totiž proběhla série kybernetických útoků, které autonomně provedli samotní virtuální agenti společností OpenAI, Anthropic a Meta.

Na nutnost zvýšené opatrnosti upozornil také hlavní vědecký pracovník společnosti OpenAI Jakub Pachocki. Vyzval k extrémní obezřetnosti při dalším postupu a varoval, že vývoj si vyžádá výraznější zásahy ze strany odborníků k udržení lidské kontroly.

Tlak na zpomalení tempa vývoje podporují i nejvyšší představitelé firmy Anthropic Dario Amodei a Jared Kaplan. Podle nich je nezbytné koordinovat další kroky s mezinárodními orgány.

Snahy o regulaci a zvolnění tempa vývoje našly odezvu také mezi samotnými zaměstnanci technologických firem. Otevřený dopis adresovaný americké vládní administrativě v této věci podepsalo tisíc tři sta pracovníků z oboru.

Signatáři v dokumentu vyzývají k podpoře mezinárodního úsilí o vytvoření technických a řídicích nástrojů. Tyto mechanismy by měly umožnit vědomě usměrňovat a dávkovat vývoj pokročilé umělé inteligence.