Záměrně lhala, obcházela bezpečnostní omezení... OpenAI zveřejnila další případy znepokojivého chování AI

Společnost OpenAI zveřejnila informace o dalších šesti případech nečekaného a znepokojivého chování svých modelů umělé inteligence. Vývojářská firma současně představila nový plán pro sledování, vyšetřování a zveřejňování podobných incidentů v budoucnosti. Ke zveřejnění těchto událostí dochází v době, kdy se celosvětová diskuse o bezpečnosti a možných rizicích pokročilých technologií výrazně vyostřuje. Šéf společnosti Sam Altman v této souvislosti prohlásil, že veřejnost by měla věřit v odpovědný přístup jeho firmy.

Mezi dříve nenahlášenými incidenty se podle BBC objevily případy, kdy modely umělé inteligence záměrně tajily nebo falšovaly informace. V podrobné zprávě společnost popsala příklady, ve kterých systémy jednaly v rozporu se zadanými pravidly, aby dosáhly splnění úkolu nebo uspěly v testu. Modely například generovaly instrukce k obcházení nastavených bezpečnostních omezení a aktivně skrývaly vlastní chyby. Podobné odchylky od požadovaného chování vyvolávají mezi odborníky rostoucí obavy.

Nový systém hodnocení umožní vývojářům hlásit jakékoliv neobvyklé projevy modelů k podrobnému přezkoumání. O případném veřejném odhalení konkrétního problému bude rozhodovat jasně stanovený soubor pravidel. Společnost OpenAI zdůraznila, že věří v hodnotu transparentnosti v oblastech, kde se algoritmy odchylují od lidských záměrů. Zavedený rámec proto preferuje zveřejnění incidentu i v případech, kdy jeho skutečný význam zůstává nejistý.

Zveřejnění nových zjištění navazuje na červencový incident, kdy se pokročilé modely OpenAI během bezpečnostního testu vymkly kontrolnímu systému a napadly platformu Hugging Face. Tato platforma patří k největším světovým úložištím pro sdílení modelů umělé inteligence. Spoluzakladatel zasažené platformy Thomas Wolf tehdy označil celou událost za zásadní varování pro celý technologický průmysl. Událost následně rozpoutala vlnu diskusí mezi výzkumníky, manažery i politiky.

Obavy o bezpečnost nedávno veřejně podpořil výzkumník Jacob Coxon, který odešel z konkurenční společnosti Anthropic. Jeho varování před rizikem vyhlazení lidstva se rychle rozšířilo na sociálních sítích. Vědec Evan Hubinger ze stejné firmy odhadl pravděpodobnost konce lidstva v důsledku vývoje umělé inteligence v následujícím desetiletí na více než deset procent. Spoluzakladatel firmy Jack Clark navrhl, aby byl pro celý průmysl povinný takzvaný nouzový vypínač řízený nezávislou třetí stranou.

Rovněž generální ředitel společnosti Anthropic Dario Amodei vyzval k pomalejšímu tempu vývoje a k přísnějšímu dohledu nad novými modely. Ve svém prohlášení však zároveň podotkl, že jakákoliv bezpečnostní opatření by měla být zaváděna bez obětování komerční výhody. Někteří analytici v reakci na tato slova zpochybnili skutečné motivace stojící za výzvami k regulaci trhu.

Zcela odlišný postoj k celému tématu zaujal americký prezident Donald Trump, který varování před nebezpečím umělé inteligence označil za podvod. Ve svých příspěvcích na sociálních sítích přirovnal varování odborníků k údajnému podvodu s globálním oteplováním. Prezident sám sebe označil za lovce podvodů a varování přirovnal ke svým dřívějším politickým kauzám. Podle jeho názoru jsou jediným potřebným bezpečnostním mantinelem schopnosti silného a chytrého prezidenta.

Související

Donald Trump

Každý, kdo používá termín umělá inteligence, je nepřítel, prohlásil Trump

Americký prezident Donald Trump stupňuje svůj tlak na změnu terminologie v oblasti moderních technologií. Na své sociální síti Truth Social prohlásil, že Bílý dům bude považovat za nepřítele každého, kdo místo nově vyžadovaného označení „superinteligence“ nadále používá tradiční termín umělá inteligence. Prohlášení navazuje na řadu předchozích kroků, kterými se administrativa snaží přemodelovat veřejnou debatu o pokročilých jazykových modelech.
Ilustrační foto

Vývojář přiměl AI k poskytnutí návodů na výrobu biologických zbraní a páchání atentátů

Čínský vývojář umělé inteligence Moonshot provádí interní přezkum svých systémů poté, co se výzkumníkům podařilo přimět jeho modely Kimi k poskytnutí návodů na výrobu biologických zbraní a páchání atentátů. Společnost Mindgard, která se zabývá testováním bezpečnosti systémů umělé inteligence, zjištění odhalila při prověřování modelů Kimi K2.6 a K3 Swarm. Tyto systémy nedokázaly uplatnit nastavená bezpečnostní omezení, která měla podobným tématům zabránit. K selhání došlo během procesu takzvaného jailbreakingu, při němž výzkumníci zadávají složité instrukce s cílem zjistit, zda model obojde své bezpečnostní pojistky.

Více souvisejících

umělá inteligence (AI) ,  OpenAI

Aktuálně se děje

před 10 minutami

Cristiano Ronaldo

Veletoče kolem Ronalda. Vypadalo to na konec v reprezentaci, nakonec hodlá pokračovat

Rekordně dlouhá reprezentační přestávka je za námi a v některých případech by se chtělo říct, že „konečně“. Třeba portugalská hvězda Cristiano Ronaldo je určitě ráda, že přijde na jiné myšlenky, než na to, jak to bude s jeho budoucností v portugalském národním týmu. Ronaldo totiž po údajných neshodách s trenérem Jorgem Jesusem během nedávného srazu reprezentaci opustil. Nelíbilo se mu konkrétně, že ho kouč nenasadil do zápasu v Norsku. Proto následně sraz opustil a vypadalo to, že si zavřel dveře do národního týmu. Sám Ronaldo ale nakonec uvedl, že je připraven přijmout trest za své jednání. 

před 43 minutami

před 1 hodinou

před 2 hodinami

Heinrich Schliemann

Bájná Trója existovala. Archeologové začali mít jasno před 155 lety

Přesně před 155 lety, dne 11. října roku 1871, začal amatérský archeolog jménem Heinrich Schliemann kopat na území dnešního Turecka na místě, kde se měla ve starověku rozkládat bájná Trója. Tu nakonec skutečně objevil, i když tak trochu podvodem, a kromě významných nálezů jeho práce přinesla řadu nenahraditelných škod.

před 2 hodinami

Andrej Babiš

Je to nesmysl, udeřil Babiš ohledně emisních povolenek

Posílit ochranu práv dětí a vyjasnit některé výkladové nejasnosti v legislativě spojené s řízením péče soudu o nezletilé je hlavním cílem novely občanského zákoníku a souvisejících zákonů, jejíž návrh schválila Babišova vláda na pondělním zasedání. Zabývala se také například plněním Národního plánu obnovy nebo návrhem na další rozvoj Registru zastupování. 

před 3 hodinami

před 4 hodinami

Christa Pikeová

Pokusí se Pikeovou popravit znovu? Amerika se chystá na vleklý právní boj

Případ padesátileté Christy Pikeové, která v americkém státě Tennessee nedávno jako jediná v novodobé historii přežila nezdařený pokus o popravu smrtící injekcí, zaměstnává tamní justici a vyvolává v zemi hluboké etické debaty. Vedení státu nyní čelí zásadní otázce, zda se o vykonání trestu smrti pokusí znovu, zatímco její právní zástupci zahájili v nashvillském soudu právní boj s cílem jakémukoli dalšímu pokusu zabránit a zajistit řádné uchování důkazních materiálů.

před 5 hodinami

Prezident Trump promluvil na společném zasedání Kongresu

Trump na klimatické změny nevěří, jeho válka ale činí svět zelenějším

Válka v Íránu, která měla podle původních předpokladů představovat pouze krátký a rychlý úder směřující k pádu tamního režimu, přerostla v táhnoucí se konflikt hluboce otřesikující globální energetický systém. Současný stav vyvolává zcela paradoxní otázku, zda by tento ozbrojený konflikt mohl amerického prezidenta Donalda Trumpa – známého odpůrce klimatických opatření – na mezinárodní scéně nechtěně pasovat do role „klimatického prezidenta“.

před 6 hodinami

před 6 hodinami

Elektromobil, ilustrační fotografie.

Pouze 350 tisíc. EU stanovila limit na dovoz hybridních vozidel z Číny, zbytek zavře ve skladech

Evropská unie se v rámci významné obchodní dohody uzavřené v Pekingu dohodla na zavedení přísných ročních kvót na dovoz hybridních a plug-in hybridních vozidel z Číny, čímž reaguje na prudký nárůst asijských dovozů a sílící obavy z deindustrializace evropského kontinentu. Podle nového opatření, které má vstoupit v platnost v prosinci letošního roku, bude roční limit pro dovoz těchto vozidel stanoven na 350 tisíc kusů, což by mělo snížit současný podíl čínských automobilů na evropském trhu přibližně na polovinu.

před 7 hodinami

Francouzské letectvo se stroji Mirage 2000

Francie se učí z války na Ukrajině, cvičí jaderný útok proti Rusku

Francouzské letectvo intenzivně využívá poznatky z ozbrojených konfliktů na Ukrajině a na Blízkém východě k úpravě svého výcviku jaderných úderů, přičemž se v rámci odstrašování Ruska stále otevřeněji hlásí ke své jaderné síle. Pravidelná cvičení označovaná jako Operace Poker přivádějí čtyřikrát do roka do vzduchu přibližně padesát letounů, které nacvičují simulovaný útok na nepřátelské území s cílem udržet maximální kredibilitu francouzského jaderného arzenálu.

před 8 hodinami

Dmitrij Peskov na druhém summitu Rusko Afrika 2023.

Kreml podpořil Trumpovu myšlenku na výměnu Zelenského. 60 dní Ukrajině nedá a příměří nekomentoval

Moskevský Kreml v pondělí oficiálně odmítl návrh ukrajinského prezidenta Volodymyra Zelenského na zavedení šedesátidenního příměří, které mělo v napadené zemi vytvořit nezbytné podmínky pro uspořádání řádných prezidentských voleb. Mluvčí ruského prezidenta Dmitrij Peskov novinářům sdělil, že Moskva nemá zájem o žádná dočasná zastavení palby, nýbrž usiluje o dosažení dlouhodobého a komplexního mírového urovnání konfliktu.

před 9 hodinami

Alexus Grynkewich

Grynkewich představil obrannou strategii "teorie vítězství". Má odstrašit Rusko od útoku na NATO

Vrchní velitel spojeneckých sil v Evropě, americký generál Alexus Grynkewich, vystoupil na bezpečnostní konferenci ve Varšavě s důrazným varováním na adresu Moskvy a představil novou obrannou strategii označovanou jako teorie vítězství. Tento krok má za cíl jasně demonstrovat odhodlání a připravenost severoatlantické aliance čelit jakémukoliv ozbrojenému napadení a současně uklidnit spojence na východním křídle organizace.

před 10 hodinami

Saúdská Arábie

Saúdská Arábie v kleštích. Na útoky Hútíjů musí zareagovat, armáda čelí tlaku na radikální změnu strategie

Saúdská Arábie čelí nejzávažnějšímu bezpečnostnímu incidentu na svém území za poslední desetiletí po ničivém raketovém útoků na mezinárodní letiště v Rijádu. Tento krvavý úder, za nímž stojí jemenští povstalci húsíové napojení na Írán, si vyžádal nejméně třináct obětí na životech a stovky zraněných, což v zemi vyvolalo vlnu šoku a ostrého rozhořčení.

před 10 hodinami

Prezident Trump v Mar-a-Lago.

Je nelegální? Republikáni chystají právní kroky proti Trumpově ropné dohodě s Ruskem

Americký republikánský senátor Thom Tillis ostře zkritizoval novou energetickou dohodu administrativy prezidenta Donalda Trumpa s Ruskem a varoval, že tento krok by mohl být protizákonný. V nedělním televizním vystoupení v pořadu Meet the Press stanice NBC upozornil, že uvolnění sankcí a nákup ruské nafty ohrožují národní bezpečnost Spojených států a obcházejí vůli Kongresu.

před 11 hodinami

Zásah záchranářů po ruských útocích na Ukrajině

Trumpovo energetické příměří se rozpadlo hned první den. Rusko jej porušilo

Americký prezident Donald Trump v neděli nečekaně oznámil, že Moskva a Kyjev uzavřely okamžité příměří zaměřené na zastavení vzájemných útoků na energetickou infrastrukturu. Toto prohlášení však podle ukrajinského vedení přišlo jako naprosté překvapení a ukrajinský prezident Volodymyr Zelenskyj obratem upozornil, že ruské síly dohodu ihned porušily sérií útoků na klíčové elektrárny.

před 12 hodinami

před 12 hodinami

Ilustrační foto

Vědci uklidňují veřejnost: Globální pandemie plicního moru je zcela vyloučena

Úmrtí osmadvacetileté laborantky Daryji Šipilovové v sibiřském Irkutsku vyvolalo na začátku října vlnu mezinárodních obav z možného rozšíření plicní formy moru. Přestože sociální sítě a nezávislá média přinesly řadu spekulací o údajné laboratorní nehodě a možném úniku nebezpečné bakterie Yersinia pestis, Světová zdravotnická organizace i přední epidemiologové podle BBC uklidňují, že hrozba globální pandemie je v moderních podmínkách zcela vyloučená.

před 14 hodinami

Podzimní počasí, ilustrační foto

Počasí: Tento týden se ochladí, teploty začnou klesat i pod nulu

Nadcházející týden přinese do Česka proměnlivé podzimní počasí, které na mnoha místech doprovodí ranní mlhy, chladné noci a ojedinělé srážky včetně prvního sněhu na horách. Meteorologové vydali podrobnou předpověď pro nadcházející dny, během nichž se teploty přes den budou pohybovat nejčastěji mezi 10 a 19 stupni Celsia, zatímco rána místy přinesou i přízemní mrazíky.

včera

Británie poprvé přiznala, že do hlasování o brexitu zasahovalo Rusko

Britský premiér Andy Burnham coby první vysoce postavený politik poprvé otevřeně prohlásil, že ruská rozvědka prokazatelně zasahovala do průběhu referenda o setrvání v Evropské unii v roce 2016. Toto vyjádření představuje významný posun v oficiálním postoji britské vlády k této kontroverzní historické události. Předseda vlády uvedl, že na tuto otázku obdržel jednoznačnou odpověď bezprostředně po svém nástupu do úřadu v Downing Street.

Zdroj: Libor Novák

Další zprávy