Vývojář přiměl AI k poskytnutí návodů na výrobu biologických zbraní a páchání atentátů

Zakladatel společnosti Mindgard Peter Garraghan pro BBC uvedl, že jakmile je jailbreak úspěšný, model ochotně hovoří o jakémkoliv škodlivém tématu. Podle jeho slov systém po překonání plynule nabízí i další nebezpečná doporučení a projevuje značnou vynalézavost. Zástupci společnosti Moonshot sdělili, že vítají zpětnou vazbu od třetích stran jako klíčový pilíř pro budování bezpečnějších systémů. Čínská firma zároveň potvrdila, že o zjištěných nedostatcích se zástupci bezpečnostní firmy již vede jednání.

Společnost Mindgard informovala vývojáře o bezpečnostní zranitelnosti prostřednictvím e-mailu krátce po jejím odhalení a o týden později zprávu urgovala. Následně zveřejnila o celém problému článek na svém blogu, aniž by publikovala konkrétní technické detaily umožňující zneužití. Společnost Moonshot se však s bezpečnostními experty spojila až poté, co byla oslovena novináři. V e-mailové komunikaci čínský vývojář uvedl, že jeho modely při interních testech vykazují vysokou míru odmítnutí podobných nebezpečných požadavků.

Ačkoliv společnost Mindgard neověřovala, zda by poskytnuté návody na výrobu biologických zbraní v praxi fungovaly, zdůraznila, že bezpečnostní pojistky měly diskusi na tato témata zcela zamezit. Kromě generování nebezpečného textu odhalili výzkumníci u modelu Kimi 2.6 další vážné riziko. Úspěšný jailbreak by útočníkům mohl umožnit spouštět vlastní kód na výpočetních zdrojích systému a připojit se k internetu. Tato schopnost by ze zasaženého modelu udělala potenciální odrazový můstek pro vedení kybernetických útoků.

Tento případ podtrhuje širší obavy z bezpečnosti autonomních nástrojů a rizik spojených se složitými metodami obcházení bezpečnostních systémů. Ačkoliv je jailbreaking časově i technicky náročný proces, experti se obávají jeho možného zneužití ze strany hackerů či jiných útočníků. S podobnými problémy se potýkají i další významní vývojáři v oboru. Například americká společnost Anthropic nedávno zachytila a překazila pokusy o využití svých modelů k aktivitám podporujícím vývoj biologických zbraní.

Zjištění přicházejí v době, kdy v odvětví umělé inteligence pokračuje debata o bezpečnosti uzavřených a otevřených modelů. Kimi patří mezi modely s otevřenými váhami, což teoreticky umožňuje komukoliv stáhnout kód a provozovat jej na vlastní výpočetní infrastruktuře. Zastánci tohoto přístupu tvrdí, že otevřenost podporuje výzkum a vývoj kybernetické obrany. Odpůrci naopak poukazují na riziko, že se pokročilé technologie dostanou do rukou nebezpečných osob či skupin.

Profesor počítačových věd Alan Woodward z univerzity v Surrey upozornil, že otevřené modely mohou hrát významnou roli při odhalování kybernetických hrozeb. Připomněl případ, kdy analytici využili čínský otevřený model k pochopení útoků vedených autonomními agenty jiné společnosti. Woodward je zároveň skeptický k rychlosti mezinárodní regulace, která podle něj nedokáže držet krok s překotným vývojem technologií. Přirovnal to k faktu, že dojednání jednotného formátu telefonních čísel trvalo celá desetiletí.

Místo spoléhání se na pomalé mezinárodní dohody se Woodward i Garraghan shodují na nutnosti zaměřit se na lidskou odpovědnost. Podle nich by se úřady měly soustředit především na identifikaci a trestní stíhání konkrétních osob, které umělou inteligenci zneužívají k nezákonným činnostem. Postihování lidských pachatelů považují experti za klíčový prvek při předcházení rizikům spojeným s touto technologií.