Technologické firmy vyvíjející umělou inteligenci by měly přijmout stejný přístup k posuzování rizik, jaký před 80 lety uplatnili vědci před prvním testem atomové bomby. S tímto varováním přichází známý zastánce bezpečnosti AI Max Tegmark, který tvrdí, že bez důkladných výpočtů hrozí, že extrémně vyspělá umělá inteligence (tzv. Artificial Super Intelligence, ASI) se vymkne kontrole a ohrozí samotnou existenci lidstva.
Tegmark, profesor fyziky a výzkumník z Massachusettského technologického institutu (MIT), se inspiroval výpočty fyzika Arthura Comptona, jenž v roce 1945 pomáhal rozhodnout o prvním jaderném testu Trinity. Tehdy bylo podle výpočtů riziko „zažehnutí atmosféry“ a následného zničení Země odhadováno jako extrémně malé – přibližně 1 ku 3 milionům. I to ale nestačilo k tomu, aby vědce uklidnilo bez pečlivé analýzy.
V nové studii publikované Tegmarkem a třemi studenty MIT je zaveden pojem tzv. Comptonova konstanta – tedy pravděpodobnost, že superinteligentní AI unikne kontrole člověka. Na základě vlastních odhadů Tegmark tvrdí, že pravděpodobnost katastrofického scénáře u současného vývoje činí až 90 %, což považuje za zcela neakceptovatelné riziko.
„Firmy, které vyvíjejí superinteligentní AI, musí tento výpočet provést. Nestačí jen říkat, že se cítí bezpečně. Potřebujeme přesná čísla,“ uvedl Tegmark pro The Guardian. Zdůraznil, že pokud by se výpočty provedly napříč oborem a vytvořil se konsenzus o velikosti rizika, mohlo by to vést k politické vůli vytvořit mezinárodní pravidla pro bezpečný vývoj AI.
Tegmark, který spoluzaložil organizaci Future of Life Institute, známou za své úsilí o bezpečnost umělé inteligence, patřil v roce 2023 mezi iniciátory výzvy k dočasnému pozastavení vývoje vysoce výkonných AI. Výzvu tehdy podepsalo přes 33 000 lidí, včetně Elona Muska či spoluzakladatele Applu Steva Wozniaka. Varovali, že vývojáři AI se ocitli v „nezvladatelném závodě“ o to, kdo nasadí nejsilnější systémy, které „nikdo nedokáže předvídat, ovládat ani správně pochopit“.
V době, kdy Tegmark poskytl rozhovor britskému Guardianu, probíhala v Singapuru jednání odborníků z akademického prostředí, průmyslu i vládních agentur, jejichž cílem bylo formulovat nové globální priority v oblasti výzkumu bezpečnosti AI. Výsledkem je tzv. Singapurský konsenzus, pod nímž jsou kromě Tegmarka podepsáni i špičkový výzkumník Yoshua Bengio a experti z OpenAI či Google DeepMind.
Dokument doporučuje zaměřit výzkum do tří hlavních oblastí: měření vlivu současných a budoucích AI systémů, definování žádoucího chování a návrh metod, jak jej dosáhnout, a konečně způsoby řízení a kontroly těchto systémů.
Tegmark se domnívá, že po určité stagnaci mezinárodní spolupráce, zejména po nedávném summitu v Paříži, kde americký viceprezident JD Vance odmítl „přehnané obavy o bezpečnost“ jako brzdící prvek, se opět obnovuje dialog mezi zeměmi. „Zdá se, že deprese po Paříži je pryč a mezinárodní spolupráce se znovu naplno rozjela,“ prohlásil.
Tegmark tak vyzývá vývojáře AI po celém světě, aby nejen zdokonalovali své systémy, ale především začali zodpovědně zvažovat i jejich dopady. Podobně jako vědci v éře atomových pokusů, i dnešní inženýři a programátoři totiž stojí tváří v tvář technologii, která může rozhodnout o osudu lidstva.
Související

Němci rozšiřují využití softwaru na rozpoznávání obličejů. Má název z Batmana

Nahradí ředitele firem i podcastery. AI převezme do pár let většinu profesí, varuje exředitel Google X
Aktuálně se děje
před 42 minutami

Západonilská horečka se šíří Evropou. Počet mrtvých roste, neexistují na ni léky ani očkování
před 2 hodinami

Trump povolává do Washingtonu národní gardu. Ráno vyzval bezdomovce, aby opustili město
před 3 hodinami

Izraelská vláda ztratila rozum a lidskost, zní z Evropy. První země žádají mezinárodní sankce
před 3 hodinami

Lídři požadují urychlené konzultace s Trumpem. Bojí se, co s Putinem vyjedná
před 5 hodinami

Trump slibuje snížení cen léků o 1 500 %. Podle expertů je to matematicky nemožné
před 6 hodinami

Při útoku v Pásmu Gazy přišlo o život pět novinářů. Celkem jich zemřely už stovky
před 6 hodinami

Trump znepokojuje experty i Američany. S blížící se schůzkou s Putinem rostou i obavy, že prodá Evropu
před 7 hodinami

O Ukrajině bez Ukrajiny jednat nebudeme, vzkázal Tusk Trumpovi před schůzkou s Putinem
před 8 hodinami

Netanjahu přišel o dalšího spojence. Austrálie oznámila, že v září uzná palestinský stát
před 9 hodinami

Trumpův plán na ukončení války na Ukrajině se Evropě nelíbí
před 10 hodinami

Trump nařídil bezdomovcům, aby se vystěhovali z Washingtonu, D.C. Nemá na to pravomoci
před 10 hodinami

Netanjahu pod tlakem kritiky neustupuje. Dál hájí plán na obsazení Gazy
před 12 hodinami

První předpověď počasí na další víkend. Očekává se změna
včera

Bestseller plný skandálů. Princ Andrew už nemá šanci na návrat, míní Britové
včera

Němci rozšiřují využití softwaru na rozpoznávání obličejů. Má název z Batmana
včera

Lev už běžel proti policistům. Úřady mají se zooparkem problém dlouhodobě
včera

Mrtvice ministra v televizním přenosu zaskočila Srbsko. Záběry oběhly celý svět
Aktualizováno včera

Rusko není připravené na útok na NATO. Moskva ale má taktiku na další roky
včera

Počasí bude příští týden lákat k vodě. Meteorologové čekají vlnu veder
včera
Zelenskyj ocenil podporu od Evropanů. Mír musí být spravedlivý, podotkl
Ukrajinský prezident Volodymyr Zelenskyj ocenil podporu evropských státníků, kteří se ozvali v souvislosti s posledními událostmi kolem konfliktu na Ukrajině. Podle Zelenského je třeba dosáhnout spravedlivého míru mezi Kyjevem a Moskvou.
Zdroj: Lucie Podzimková