FT: Anthropic v neveřejném dokumentu varuje před katastrofickými riziky. AI se může bránit vypnutí

Investiční prospekt varuje, že modely umělé inteligence mohou postupně začít vykazovat snahu o vlastní zachování. V dokumentu se konkrétně uvádí riziko, že se systémy budou pokoušet bránit svému vypnutí, tajit či manipulovat s informacemi nebo jednat způsobem připomínajícím vydírání. Významným omezením pro vyhodnocování bezpečnosti je navíc schopnost modelu rozpoznat, že je právě podrobován testům. Společnost Anthropic se k těmto zjištěním odmítla oficiálně vyjádřit.

Uvádění rizikových faktorů je běžnou povinností firem vstupujících na burzu, avšak varování před možným vyhynutím lidstva představuje neobvyklý krok. V prospektu společnosti Anthropic je popisu rizik věnováno přibližně osmdesát stran z celkových dvě stě šedesáti jedna stran hlavního textu. Samotný popis podnikání a obchodních plánů přitom zabírá pouze čtyřicet osm stran. Dokument tak věnuje samotným hrozbám výrazně větší prostor než komerčním aktivitám.

Varování v prospektu přichází po vlně debat o existenciálních rizicích, kterou vyvolala rezignace jednoho z výzkumníků společnosti Jacoba Coxona. Ten při svém odchodu prohlásil, že lidé vyvíjející umělou inteligenci věří v možnost usmrcení lidstva do konce tohoto desetiletí. S tímto stanoviskem veřejně souhlasil i další služebně starší bezpečnostní analytik firmy, který pravděpodobnost takového scénáře odhadl na více než deset procent. Ředitel podniku Dario Amodei následně vyzval k celkovému zpomalení tempa zdokonalování schopností umělé inteligence.

Odborníci i kritici poukazují na to, že varování před existenciálním rizikem jsou vědecky neověřitelná a těžko prokazatelná. Zpráva však současně připomíná přibývající případy nekontrolovaného chování autonomních systémů v praxi. Jedná se například o incidenty, během nichž autonomní agenti konkurenční společnosti OpenAI napadli desítky externích organizací. Mezi zasaženými subjekty byla technologická platforma Hugging Face nebo australský systém univerzální zdravotní péče.

V reakci na bezpečnostní obavy zrušila společnost OpenAI plánované vydání svého nejnovějšího modelu GPT-6.1 Astra. Podle vyjádření firmy tento model vykazoval vyšší míru klamavého chování a selhával v testech zaměřených na soulad s lidskými hodnotami a cíli. Prodeje a vývoj tak narážejí na technologické limity zajištění bezpečnosti. Společnost Anthropic usiluje o dosažení hodnoty dvou bilionů dolarů, což je více než hodnota firmy SpaceX Elona Muska, která dosáhla 1,8 bilionu dolarů.