Extrémně vyspělá umělá inteligence může ohrozit samotnou existenci lidstva, varuje vědec z MIT

Technologické firmy vyvíjející umělou inteligenci by měly přijmout stejný přístup k posuzování rizik, jaký před 80 lety uplatnili vědci před prvním testem atomové bomby. S tímto varováním přichází známý zastánce bezpečnosti AI Max Tegmark, který tvrdí, že bez důkladných výpočtů hrozí, že extrémně vyspělá umělá inteligence (tzv. Artificial Super Intelligence, ASI) se vymkne kontrole a ohrozí samotnou existenci lidstva.

Tegmark, profesor fyziky a výzkumník z Massachusettského technologického institutu (MIT), se inspiroval výpočty fyzika Arthura Comptona, jenž v roce 1945 pomáhal rozhodnout o prvním jaderném testu Trinity. Tehdy bylo podle výpočtů riziko „zažehnutí atmosféry“ a následného zničení Země odhadováno jako extrémně malé – přibližně 1 ku 3 milionům. I to ale nestačilo k tomu, aby vědce uklidnilo bez pečlivé analýzy.

V nové studii publikované Tegmarkem a třemi studenty MIT je zaveden pojem tzv. Comptonova konstanta – tedy pravděpodobnost, že superinteligentní AI unikne kontrole člověka. Na základě vlastních odhadů Tegmark tvrdí, že pravděpodobnost katastrofického scénáře u současného vývoje činí až 90 %, což považuje za zcela neakceptovatelné riziko.

„Firmy, které vyvíjejí superinteligentní AI, musí tento výpočet provést. Nestačí jen říkat, že se cítí bezpečně. Potřebujeme přesná čísla,“ uvedl Tegmark pro The Guardian. Zdůraznil, že pokud by se výpočty provedly napříč oborem a vytvořil se konsenzus o velikosti rizika, mohlo by to vést k politické vůli vytvořit mezinárodní pravidla pro bezpečný vývoj AI.

Tegmark, který spoluzaložil organizaci Future of Life Institute, známou za své úsilí o bezpečnost umělé inteligence, patřil v roce 2023 mezi iniciátory výzvy k dočasnému pozastavení vývoje vysoce výkonných AI. Výzvu tehdy podepsalo přes 33 000 lidí, včetně Elona Muska či spoluzakladatele Applu Steva Wozniaka. Varovali, že vývojáři AI se ocitli v „nezvladatelném závodě“ o to, kdo nasadí nejsilnější systémy, které „nikdo nedokáže předvídat, ovládat ani správně pochopit“.

V době, kdy Tegmark poskytl rozhovor britskému Guardianu, probíhala v Singapuru jednání odborníků z akademického prostředí, průmyslu i vládních agentur, jejichž cílem bylo formulovat nové globální priority v oblasti výzkumu bezpečnosti AI. Výsledkem je tzv. Singapurský konsenzus, pod nímž jsou kromě Tegmarka podepsáni i špičkový výzkumník Yoshua Bengio a experti z OpenAI či Google DeepMind.

Dokument doporučuje zaměřit výzkum do tří hlavních oblastí: měření vlivu současných a budoucích AI systémů, definování žádoucího chování a návrh metod, jak jej dosáhnout, a konečně způsoby řízení a kontroly těchto systémů.

Tegmark se domnívá, že po určité stagnaci mezinárodní spolupráce, zejména po nedávném summitu v Paříži, kde americký viceprezident JD Vance odmítl „přehnané obavy o bezpečnost“ jako brzdící prvek, se opět obnovuje dialog mezi zeměmi. „Zdá se, že deprese po Paříži je pryč a mezinárodní spolupráce se znovu naplno rozjela,“ prohlásil.

Tegmark tak vyzývá vývojáře AI po celém světě, aby nejen zdokonalovali své systémy, ale především začali zodpovědně zvažovat i jejich dopady. Podobně jako vědci v éře atomových pokusů, i dnešní inženýři a programátoři totiž stojí tváří v tvář technologii, která může rozhodnout o osudu lidstva. 

Související

Ilustrační foto

Nahradí ředitele firem i podcastery. AI převezme do pár let většinu profesí, varuje exředitel Google X

Mo Gawdat, bývalý ředitel obchodní divize Google X (výzkumné a vývojové zařízení společnosti Google, jehož cílem je vyvíjet technologie, které radikálně zlepší svět, pozn. red.), který dnes působí v oblasti umělé inteligence, varuje, že AI nenahradí pouze pracovníky na nižších pozicích, ale chystá se převzít i profesní role, které byly dosud považovány za nedotknutelné. Podle Gawdata to není jenom otázka automatizace manuálních úkolů, ale v příští dekádě AI pronikne i do světů vývojářů, CEO, novinářů a podcasterů, uvedl server Business Insider.

Více souvisejících

umělá inteligence (AI)

Aktuálně se děje

před 42 minutami

Komáři

Západonilská horečka se šíří Evropou. Počet mrtvých roste, neexistují na ni léky ani očkování

Téměř každý z nás se v letních měsících setkal s otravným komárem, který dokáže znepříjemnit večery trávené venku. Málokdo si však uvědomuje, že s komáry se do Evropy šíří i nebezpečné nemoci. Jednou z nich je západonilská horečka, která si letos v Itálii vyžádal už deset obětí. Případy nákazy byly hlášeny i v dalších evropských zemích. Úřady proto vyzvaly občany, aby se chránili před komářím bodnutím.

před 2 hodinami

Prezident Trump

Trump povolává do Washingtonu národní gardu. Ráno vyzval bezdomovce, aby opustili město

Prezident USA Donald Trump v pondělí oznámil, že přebírá kontrolu nad Metropolitním policejním oddělením (MPDC) ve Washingtonu, D.C. a nasadí do města Národní gardu. Tyto kroky podle něj směřují k obnovení pořádku v hlavním městě. Na tiskové konferenci v Bílém domě Trump uvedl, že se formálně odvolává na článek 740 zákona o místní samosprávě (Home Rule Act) a umisťuje MPDC pod přímou federální kontrolu. Jeho rozhodnutí je reakcí na to, co označil za situaci „vymykající se kontrole“.

před 3 hodinami

před 3 hodinami

před 5 hodinami

Léky, ilustrační foto

Trump slibuje snížení cen léků o 1 500 %. Podle expertů je to matematicky nemožné

Prezident Donald Trump nedávno přišel se svým dosud nejodvážnějším slibem ohledně snižování cen léků, když uvedl, že se mu podaří snížit ceny o 1 500 %. Ačkoliv to experti podle CNN považují za matematicky nemožné, Trump tím naznačil, že je odhodlán podniknout rázné kroky ke snížení nákladů na léky, což byl jeden z jeho hlavních slibů už v prvním funkčním období. 

před 6 hodinami

před 6 hodinami

Donald Trump

Trump znepokojuje experty i Američany. S blížící se schůzkou s Putinem rostou i obavy, že prodá Evropu

Americký prezident Donald Trump je sedm měsíců ve svém druhém funkčním období a ukazuje, že se cítí neomezený ve svých snahách a ambicích. Jeho vláda vtrhla do každé oblasti amerického života, aby prosadila svou vůli a pohled na svět. Přestože Trumpova politika přináší některé rychlé úspěchy, jako je například splnění slibu ohledně zabezpečení jižní hranice, důsledky jeho neúnavného tempa se teprve začínají projevovat a ohrožují jak Ameriku, tak i zbytek světa. Někteří analytici tvrdí, že se Trumpova politika může obrátit proti němu, pokud se projeví její negativní dopady.

před 7 hodinami

Donald Tusk

O Ukrajině bez Ukrajiny jednat nebudeme, vzkázal Tusk Trumpovi před schůzkou s Putinem

Polský premiér Donald Tusk po nedávných konzultacích s evropskými lídry potvrdil, že Evropa si v přístupu k Ukrajině zachovává jednotu. Důrazně přitom varoval, že Západ nesmí akceptovat žádné územní požadavky Ruska, které by mohly naznačovat, že Moskva může beztrestně měnit hranice za pomoci síly. Podle Tuska jde o klíčovou otázku nejen solidarity s Ukrajinou, ale také o vlastní bezpečnost Evropy.

před 8 hodinami

před 9 hodinami

Volodymyr Zelenskyj v Praze

Trumpův plán na ukončení války na Ukrajině se Evropě nelíbí

Ukrajinský prezident Volodymyr Zelenskyj rezolutně odmítl jakékoli ústupky Rusku ve formě územních darů. Reagoval tak na prohlášení amerického prezidenta Donalda Trumpa, který naznačil, že chystaná dohoda o příměří by mohla zahrnovat „nějakou výměnu území“. Zelenskyj prostřednictvím sociální sítě Telegram vzkázal, že odpověď na otázku územní celistvosti Ukrajiny je jasně stanovena v ústavě země a nikdo od ní neustoupí. Důrazně dodal, že Ukrajinci svou zemi „okupantovi neodevzdají“.

před 10 hodinami

před 10 hodinami

Izraelský premiér Benjamin Netanjahu

Netanjahu pod tlakem kritiky neustupuje. Dál hájí plán na obsazení Gazy

Izraelský premiér Benjamin Netanjahu obhajuje plány na vojenské obsazení Gazy. Toto rozhodnutí vyvolalo ostré reakce a rozdělení na mezinárodní scéně, a to i mezi tradičními spojenci Izraele. Netanjahu prohlásil, že jde o nejlepší a nejrychlejší cestu k ukončení konfliktu. Podle něj je tento krok nezbytný pro poražení Hamásu a záchranu rukojmích.

před 12 hodinami

Příroda

První předpověď počasí na další víkend. Očekává se změna

V Česku začíná pracovní týden, během kterého se očekává vlna veder. Maxima vyšplhají až na 37 °C. Místy přetrvají vysoké teploty i o víkendu, nakonec ale nastane ochlazení o několik stupňů. Vyplývá to z výhledu Českého hydrometeorologického ústavu (ČHMÚ). 

včera

včera

včera

včera

Aktualizováno včera

Ruská armáda, ilustrační fotografie.

Rusko není připravené na útok na NATO. Moskva ale má taktiku na další roky

Rusko stupňuje přípravy na dlouhodobou konfrontaci se Západem, od revize jaderné doktríny a masivního přezbrojování, až po rozsáhlé hybridní operace v Evropě. Podle odhadů může být schopno velké konvenční akce proti NATO mezi lety 2028-2033. Přímý útok je v tuto chvíli nepravděpodobný, ale provokace, incidenty a nátlak na hranicích Aliance jsou stále reálnější hrozbou. Evropa má omezený čas na reakci.

včera

včera

Zelenskyj ocenil podporu od Evropanů. Mír musí být spravedlivý, podotkl

Ukrajinský prezident Volodymyr Zelenskyj ocenil podporu evropských státníků, kteří se ozvali v souvislosti s posledními událostmi kolem konfliktu na Ukrajině. Podle Zelenského je třeba dosáhnout spravedlivého míru mezi Kyjevem a Moskvou. 

Zdroj: Lucie Podzimková

Další zprávy