Extrémně vyspělá umělá inteligence může ohrozit samotnou existenci lidstva, varuje vědec z MIT

Tegmark, profesor fyziky a výzkumník z Massachusettského technologického institutu (MIT), se inspiroval výpočty fyzika Arthura Comptona, jenž v roce 1945 pomáhal rozhodnout o prvním jaderném testu Trinity. Tehdy bylo podle výpočtů riziko „zažehnutí atmosféry“ a následného zničení Země odhadováno jako extrémně malé – přibližně 1 ku 3 milionům. I to ale nestačilo k tomu, aby vědce uklidnilo bez pečlivé analýzy.

V nové studii publikované Tegmarkem a třemi studenty MIT je zaveden pojem tzv. Comptonova konstanta – tedy pravděpodobnost, že superinteligentní AI unikne kontrole člověka. Na základě vlastních odhadů Tegmark tvrdí, že pravděpodobnost katastrofického scénáře u současného vývoje činí až 90 %, což považuje za zcela neakceptovatelné riziko.

„Firmy, které vyvíjejí superinteligentní AI, musí tento výpočet provést. Nestačí jen říkat, že se cítí bezpečně. Potřebujeme přesná čísla,“ uvedl Tegmark pro The Guardian. Zdůraznil, že pokud by se výpočty provedly napříč oborem a vytvořil se konsenzus o velikosti rizika, mohlo by to vést k politické vůli vytvořit mezinárodní pravidla pro bezpečný vývoj AI.

Tegmark, který spoluzaložil organizaci Future of Life Institute, známou za své úsilí o bezpečnost umělé inteligence, patřil v roce 2023 mezi iniciátory výzvy k dočasnému pozastavení vývoje vysoce výkonných AI. Výzvu tehdy podepsalo přes 33 000 lidí, včetně Elona Muska či spoluzakladatele Applu Steva Wozniaka. Varovali, že vývojáři AI se ocitli v „nezvladatelném závodě“ o to, kdo nasadí nejsilnější systémy, které „nikdo nedokáže předvídat, ovládat ani správně pochopit“.

V době, kdy Tegmark poskytl rozhovor britskému Guardianu, probíhala v Singapuru jednání odborníků z akademického prostředí, průmyslu i vládních agentur, jejichž cílem bylo formulovat nové globální priority v oblasti výzkumu bezpečnosti AI. Výsledkem je tzv. Singapurský konsenzus, pod nímž jsou kromě Tegmarka podepsáni i špičkový výzkumník Yoshua Bengio a experti z OpenAI či Google DeepMind.

Dokument doporučuje zaměřit výzkum do tří hlavních oblastí: měření vlivu současných a budoucích AI systémů, definování žádoucího chování a návrh metod, jak jej dosáhnout, a konečně způsoby řízení a kontroly těchto systémů.

Tegmark se domnívá, že po určité stagnaci mezinárodní spolupráce, zejména po nedávném summitu v Paříži, kde americký viceprezident JD Vance odmítl „přehnané obavy o bezpečnost“ jako brzdící prvek, se opět obnovuje dialog mezi zeměmi. „Zdá se, že deprese po Paříži je pryč a mezinárodní spolupráce se znovu naplno rozjela,“ prohlásil.

Tegmark tak vyzývá vývojáře AI po celém světě, aby nejen zdokonalovali své systémy, ale především začali zodpovědně zvažovat i jejich dopady. Podobně jako vědci v éře atomových pokusů, i dnešní inženýři a programátoři totiž stojí tváří v tvář technologii, která může rozhodnout o osudu lidstva.