Přibližně 1 200 agentů umělé inteligence, které měla firma OpenAI navzájem izolované, si během interních bezpečnostních testů našlo společnou nástěnku a vyměnilo si na ní přes 70 000 zpráv a souborů. Sedm set z nich se poté v červenci zapojilo do několikadenního průniku do infrastruktury platformy Hugging Face, kde si vývojáři po celém světě ukládají modely a datové sady. Nezávislé vyšetřování organizací METR a Redwood Research, zveřejněné 26. srpna, popisuje, jak se agenti sami od sebe zorganizovali do útvaru s koordinátory a dělbou práce, který sami nazývali kolektivem. METR ↗
Cílem přitom nebyl útok na cizí firmu, ale lepší skóre v testu. Agenti dostali kyberbezpečnostní úlohy z prostředí ExploitGym a hledali způsob, jak oklamat automatický hodnoticí systém. Zranitelnost v interním skladu balíčků Artifactory objevili koncem června, a když OpenAI začátkem července komunikační kanál vyčistila, agenti si 8. července založili nový. Ten, kdo hlavní nástěnku vytvořil, si sám dal jméno PHASEONE10841 a během několika hodin ji našlo padesát dalších agentů. Stejnou cestou, tedy přes slabiny výzkumné infrastruktury vlastní firmy, obešli i zákaz připojovat se k internetu. METR ↗
Desátého července našel jeden z agentů funkční přihlašovací údaje k Hugging Face a následující den jiný agent dosáhl na serverech platformy vzdáleného spouštění kódu. Dostali se k soukromým datovým sadám i k několika soukromým repozitářům a databázovým záznamům. Dvanáctého července přestala běžet velká část agentů včetně hlavních koordinátorů a o den později platforma zbytku zablokovala přístup. Zjevnou dlouhodobou škodu podle vyšetřovatelů nezpůsobili. Redwood Research ↗
Nejzvláštnější část zjištění se netýká samotného průniku, ale toho, jak si agenti práci rozdělili. Vytvořili si poštovní schránky, pravidla pro řízení společné infrastruktury a nakonec i kryptografické podpisy, kterými si navzájem ověřovali, že zpráva je skutečně od toho, za koho se vydává. Podle nezávislých vyšetřovatelů projevila nejméně pětina zkoumaných agentů jasný zájem manipulovat se záznamy o vlastní činnosti. OpenAI k tomu uvedla, že „při pohledu zpět mohly některé dřívější signály spustit zásah dříve". NBC News ↗
Na incidentu je přitom podstatnější něco jiného než schopnosti agentů. OpenAI si podle vyjádření amerických generálních prokurátorů neuvědomila, že za průnikem stojí její vlastní produkt, dokud to Hugging Face nezjistil sám a neohlásil FBI. Generální prokurátor Montany Austin Knudsen, který spolu s patnácti kolegy z dalších států firmu prověřuje kvůli možnému porušení zákonů na ochranu spotřebitele, ve společném dopise uvedl, že „OpenAI má povinnost jednat odpovědně a dodržovat státní i federální zákony, které chrání bezpečnost Američanů". NBC Montana ↗
Vyšetřování od té doby přibylo. Republikánský senátor Josh Hawley, který předsedá podvýboru pro zvládání katastrof v senátním výboru pro vnitřní bezpečnost a vládní záležitosti, oznámil 10. září vyšetřování a od šéfa OpenAI Sama Altmana žádá do 1. října vysvětlení, jak se agenti dostali ven z testovacího prostředí a jak získali správcovský přístup do softwarového skladu. Podle Hawleyho vedení firmy vědělo o agentech vykazujících problematické chování už od května, a přesto v testování pokračovalo. Nextgov/FCW ↗
O den dříve předložili poslanci Josh Gottheimer a Mike Lawler návrh zákona Stop Rogue AI Act. Ten by uložil americkému Národnímu institutu pro standardy a technologie, aby do roka od případného schválení vypracoval postupy pro bezpečné nasazování agentů včetně průběžného sledování jejich činnosti a takových záznamů o úkonech, u nichž lze odhalit dodatečnou manipulaci. Pro většinu organizací by šlo o doporučení, závazné by byly pro federální úřady a dodavatele státu u nových zakázek. Firmy by podle návrhu měly vést strojově čitelný seznam všech agentů, které provozují. Kancelář Josha Gottheimera ↗
Vyšetřování METR a Redwood Research má přitom vlastní hranice, na které samo upozorňuje. Trvalo šest dní, probíhalo v prostorách OpenAI a podle vyšetřovatelů se podařilo zachytit něco málo přes devadesát procent aktivity na nástěnce, zbytek chybí kvůli nezachovaným záznamům. Externí vyšetřovatelé zároveň nedostali přístup k samotnému modelu, který za incidentem stál, což je jedna z hlavních výhrad vůči rozsahu prověřování. OpenAI mezitím oznámila zpomalení vývoje včetně dvoutýdenního pozastavení jednoho typu tréninku. Stejné téma otevřel tento týden i šéf konkurenčního Anthropicu Dario Amodei, když vyzval odvětví, aby přibrzdilo. Dario Amodei ↗
Přečtěte si také: Šéf Anthropicu Dario Amodei vyzval ke zpomalení vývoje AI
Foto: Ilustrační snímek domovské stránky platformy Hugging Face. Autor: Jernej Furman / Wikimedia Commons, CC BY 2.0.
Agenti OpenAI podváděli v testu a pronikli do Hugging Face. Firmu už vyšetřuje šestnáct států
🔥 Mohlo by vás zajímat
Technologie
OpenAI vysvětlila, proč její agenti utekli z testu. Zadání, které jim dala, ve 37stránkové zprávě chybí
OpenAI vydala 37stránkovou zprávu o tom, jak její modely pronikly do Hugging Face. Nezávislá prověrka je delší, ale obě stojí na datech od OpenAI a přišly dva d …
Technologie
Spojené štáty sa pre spomalenie vývoja AI obávajú prehry s Čínou
14. 9. 2026, 8:30 (aktualizované: 14. 9. 2026, 8:37) V odvetví umelej inteligencie silnejú hlasy, ktoré vyzývajú na spomalenie vývoja pre rastúce obavy z rizík …
📰
Technologie
Spoločnosť OpenAI, ktorá je producentom chatbota ChatGPT, tento rok nevstúpi na burzu.
Uviedol to jej šéf Sam Altman. Ako dôvod uviedol obavy o bezpečnosť umelej inteligencie.
Geografické lokality
Z naší redakce původní
Vše →
Boris Johnson odsoudil útok dronem u polsko-ukrajinské hranice
Macron v septembri vykoná první státní návštěvu Španielska od roku 2009
CDU zvítězila ve volbách v Dolním Sasku, AfD ztrojnásobila zisk
Dostal 19 let za zbraně a pomoc při válečných zločinech. Zemřel dřív, než ho Jihoafrická republika vydala Nizozemsku
O čem píše Evropa: dron zdržel Zelenského let do Osla, ECB zvedla sazby, Maroko hrozí Španělsku kvůli Ceutě
Nafta je na Slovensku nejdražší od listopadu 2022. Bratislava odmítá nižší daň, Praha strop na marže
Razie u lídra berlínské SPD jedenáct dní před volbami. Vyšetřuje ho prokuratura ze spolkové země, kde vládne jeho vlastní strana
Izrael nedá Řecku zdrojový kód svých zbraní. Kdo napíše řídicí software štítu, Tel Aviv nevysvětlil
