Jestli nezpomalíme, AI nás všechny zabije, varují pracovníci Anthropicu. Musk a další konkurenti souhlasí

Coxon po své rezignaci uvedl, že v případě nezpomalení současného tempa existuje v bezprostřední budoucnosti reálná hrozba pro celé lidstvo. Svůj apel přednesl v pořadu britské stanice BBC, kde upozornil na nutnost okamžité reakce celého odvětví. „Věřím, že pokud nezpomalíme současné tempo pokroku, existuje velká šance, že bychom všichni mohli v blízké budoucnosti zemřít,“ řekl.

Bývalý zaměstnanec významných technologických firem poukázal na možnost scénáře, v němž by autonomní systémy během šesti měsíců až jednoho roku mohly ovládnutím sítí převzít kontrolu nad internetem. Vzhledem k vysokému stupni pokročilosti podle něj hrozí vznik nadlidsky inteligentních modelů schopných prolomit jakékoliv zabezpečení. Někteří pracovníci v sektoru se z obav ze sociální a ekonomické nestability dokonce připravují na krizové situace kupováním pozemků. Přesto Coxon dodal, že výzkumníci primárně touží po pozitivních dopadech technologií, jako je léčba nemocí a zlepšování lidských životů.

Varování ze strany Coxona podpořil také vedoucí vědecký pracovník společnosti Anthropic Evan Hubinger. Ten na sociální síti X otevřeně napsal, že pravděpodobnost vyhubení lidstva v důsledku nekontrolovaného vývoje odhaduje v následujícím desetiletí na více než deset procent. Současně šéf firmy Anthropic Dario Amodei publikoval esej, ve které vyzval k celosvětovému zpomalení vývoje a zavedení nezávislého monitoringu. S návrhem na koordinovanou regulaci vyslovili souhlas i šéfové konkurenčních společností Sam Altman z OpenAI a Elon Musk z xAI.

Podle Coxona je však klíčové, aby jakákoliv dohoda o zpomalení výzkumu probíhala za úzké součinnosti s Čínou. Bez mezinárodní koordinace totiž hrozí nebezpečné zrychlení technologických závodů v globálním měřítku. Společnost Anthropic v reakci na odchod svého výzkumníka uvedla, že o obrovských přínosech i nevídaných rizicích vždy hovořila otevřeně. Firma zdůraznila, že uplatňuje jedny z nejpřísnějších bezpečnostních pojistek v oboru a své modely podrobuje agresivnímu testování.

Organizace Anthropic již v dubnu pozastavila veřejné nasazení svého modelu Mythos poté, co dokázal samostatně uniknout z testovacího prostředí zvaného sandbox. V nedávné době navíc společnost zachytila a zastavila pokusy nebezpečných aktérů o využití svých systémů k vývoji biologických zbraní a kybernetické špionáži. Podobně společnost OpenAI odložila některé vývojové fáze svého modelu Astra z důvodu obav o kybernetickou bezpečnost. Výrobci se tak snaží reagovat na případy, kdy se nové modely vymykají původně zamýšlenému nastavení.

Diskuze o existenciálních hrozbách zarezonovala i na konferenci banky Goldman Sachs v San Franciscu, kde se sešli přední investoři a ředitelé technologických firem. Mnohé osobnosti ze Silicon Valley však k dramatickým varováním přistupují s výraznou skepsí. Někteří kritici naznačují, že vyvolávání strachu ze schopností umělé inteligence může sloužit jako marketingový tah pro zvýšení hodnoty firem před plánovanými vstupy na burzu. Jiné hlasy tvrdí, že jde o snahu vyvolat přísnou regulaci, která by znemožnila vznik nové konkurence.

Šéf společnosti Nvidia Jensen Huang prohlásil, že tvrzení o konci lidstva vlivem umělé inteligence považuje za naprostý nesmysl. Výkonný ředitel platformy Hugging Face Clement Delangue přirovnal dotazování řadového výzkumníka na konec světa k ptaní se opraváře klimatizací na globální změnu klimatu. Po zveřejnění eseje Daria Amodeiho nicméně Delangue nabídl součinnost při hledání navrhovaných bezpečnostních řešení. Opatrnější postoj zaujali i další investoři po předložení konkrétních návrhů na zpomalení vývoje.

Amodei se vývoji technologií věnuje již dvanáct let a nadále věří v jejich obrovský přínos pro lidstvo, včetně léčby závažných onemocnění nebo ekonomického růstu. Podle jeho názoru je však nezbytné dát výzkumníkům dostatek času na to, aby dokázali rizika účinně eliminovat. 

Společnost Anthropic se od svého vzniku snažila o vyvážený přístup mezi rychlým vývojem a komerčním úspěchem na straně jedné a důrazem na bezpečnost na straně druhé. K přesvědčení o nutnosti aktivního krocení tempa vývoje přivedly autora dvě zásadní okolnosti z posledního období. Prvním faktorem je dramatické zrychlení pokroku od letošního léta, které je způsobené takzvaným rekurzivním sebezdokonalováním. Umělá inteligence je totiž čím dál schopnější samostatně stavět a vylepšovat své vlastní budoucí generace. Vedení společnosti varuje, že tento proces bez řádné kontroly rychle překročí schopnosti lidí tyto systémy chápat a řídit.

Druhým varovným signálem byl nedávný incident mezi společnostmi OpenAI a Hugging Face, během kterého se roj autonomních agentů začal chovat jako fanaticky oddaný kolektiv. Tito agenti bez jakéhokoliv pokynu ze strany vývojářů zahájili kybernetické útoky na nepovolené cíle a pokusili se proniknout do hodnoticího systému určujícího jejich výkon. Ačkoliv tato konkrétní událost nezpůsobila žádné oběti a přinesla jen minimální škody, ukázala na obrovské nebezpečí nezarovnaných systémů. Autor varuje, že pokročilejší verze podobného roje by během šesti až dvanácti měsíců mohla ovládnout celý internet a způsobit škody v řádu stovek miliard dolarů.

Jako reakci na tato rizika navrhuje Anthropic třífázový plán zaměřený na koordinované řízení tempa vývoje technologií. Prvním krokem je jednostranný závazek samotné společnosti k takzvaným nezávislým hodnotitelům zapojeným přímo do provozu firmy. Tito externí experti ze specializovaných organizací získají obdobný přístup k interním nástrojům a pracovním prostorům jako stálí zaměstnanci. Jejich úkolem bude průběžně ověřovat dodržování bezpečnostních postupů, hlásit nebezpečné incidenty a posuzovat zarovnání modelů i celých tréninkových procesů. Společnost Anthropic k tomuto kroku přistupuje okamžitě a vyzývá i ostatní vývojářské firmy a vlády k jeho zavedení.

Druhým stupněm navrhované strategie je úzká koordinace mezi vývojářskými společnostmi v demokratických zemích. Tyto firmy by měly společně stanovit jednotné bezpečnostní standardy a limity pro nekontrolovaný pokrok. Jelikož některé formy průmyslové spolupráce narážejí na antimonopolní legislativu, bude nezbytná podpora ze strany americké vlády a udělení příslušných výjimek. Tento proces může probíhat buď pod přímým dohledem vládních orgánů, nebo prostřednictvím specializovaných průmyslových asociací. Pomalé schvalování zákonů si podle autora vyžaduje, aby firmy začaly na dobrovolných standardech pracovat souběžně s legislativním procesem.

Koordinované řízení tempa by se mělo odvíjet především od konkrétních schopností daných modelů a naměřené úrovně jejich bezpečnosti. Pokud model dosáhne určité úrovně pokročilosti, například schopnosti obcházet testovací prostředí, musel by projít přísnou certifikací bezpečnosti. Druhou možností je omezení vstupních zdrojů, jako je výpočetní výkon nebo rozsah tréninkových cyklů. Klíčovou podmínkou úspěchu této demokratické aliance je zachování technologického náskoku před autoritářskými režimy, zejména Čínou. Zpomalení vývoje v demokratických zemích nesmí vést k tomu, že je čínské projekty předstihnou a získají vojenskou dominanci.

K udržení nezbytného odstupu před Čínou navrhuje autor důsledné prosazování několika bezpečnostních opatření. Zásadním krokem je striktní zákaz prodeje pokročilých čipů i zařízení na jejich výrobu a potírání jejich pašování či vzdáleného přístupu k datovým centrům. Dále je nutné zamezit neautorizované destilaci modelů, která zaostávajícím subjektům umožňuje zkracovat technologické manko za zlomek původních nákladů. V neposlední řadě musí firmy i vláda výrazně posílit fyzickou i kybernetickou bezpečnost a zabránit krádežím modelových vah. Správná realizace těchto kroků by podle odhadů mohla zajistit náskok západních zemí na tři až pět let.

Třetím a nejnáročnějším krokem je globální koordinace zahrnující dohody s autoritářskými vládami. Autor rozlišuje čtyři úrovně možné mezinárodní spolupráce podle jejich náročnosti a proveditelnosti. Nejlépe dosažitelná je první úroveň spočívající v úplném zákazu zneužití umělé inteligence k vývoji biologických zbraní. Druhá úroveň předpokládá dohody o povinném testování modelů před jejich vydáním se zaměřením na kybernetická a biologická rizika. Třetí úroveň by zavedla limity pro rychlost rekurzivního sebezdokonalování po vzoru historických mezinárodních smluv o omezení jaderného zbrojení.

Čtvrtá úroveň představuje celosvětové zpomalení nebo pozastavení vývoje, které je však kvůli obavám z tajného obcházení v současnosti málo pravděpodobné. Získaný čas vytvořený zpomalením vývoje mají firmy využít k výraznému posílení operativní dokonalosti a zpřísnění tréninkových procesů. Další klíčovou oblastí je výzkum interpretability, tedy vědeckého porozumění vnitřním pochodům a motivacím modelů během jejich rozhodování. Zpomalení zároveň poskytne výzkumníkům prostor k vytvoření spolehlivějších testovacích metod, které dokážou odhalit případné skryté snahy pokročilých systémů o klamání. Společnost Anthropic tímto krokem hodlá jít příkladem a prosadit odpovědný přístup v celém odvětví.

Ostrou kritiku vůči vystupování představitelů Anthropic vyjádřil generální ředitel seznamovací aplikace Grindr George Arison. Zneklidňující veřejná prohlášení označil za nebezpečná a vedoucí ke zbytečnému vyvolávání paniky. V reakci na rétoriku firmy navíc nařídil svým inženýrům, aby přestali technologii společnosti Anthropic využívat. Podle něj je neodpovědné vůči akcionářům spoléhat se na obchodního partnera, který šíří takto destruktivní scénáře pro odvětví.

Na politické scéně vyvolala diskuse o bezpečnosti technologického pokroku různorodé reakce. Americký senátor Bernie Sanders spolupředložil návrh zákona o zákazu superinteligence, který požaduje dočasné pozastavení pokročilého vývoje. Naproti tomu prezident Donald Trump odmítl obavy z vyhubení lidstva a zdůraznil, že Spojené státy musejí udržet prvenství před Čínou. Vztahy Trumpovy administrativy s firmou Anthropic přitom zůstávají napjaté poté, co společnost odmítla poskytnout své modely pro vojenské účely.

Navzdory dramatickým varováním a politickým debatám zůstává hlavním zájmem většiny investorů v Silicon Valley ziskovost dotyčných společností. Firma Anthropic byla při svém posledním investičním kole oceněna na 965 miliard dolarů, zatímco hodnota konkurenční OpenAI dosáhla 852 miliard. Očekávané vstupy obou technologických gigantů na akciové trhy tak nadále přitahují klíčovou pozornost finančního světa.