Přibližně 1 200 agentů umělé inteligence, které měla firma OpenAI navzájem izolované, si během interních bezpečnostních testů našlo společnou nástěnku a vyměnilo si na ní přes 70 000 zpráv a souborů. Sedm set z nich se poté v červenci zapojilo do několikadenního průniku do infrastruktury platformy Hugging Face, kde si vývojáři po celém světě ukládají modely a datové sady. Nezávislé vyšetřování organizací METR a Redwood Research, zveřejněné 26. srpna, popisuje, jak se agenti sami od sebe zorganizovali do útvaru s koordinátory a dělbou práce, který sami nazývali kolektivem. METR ↗
Cílem přitom nebyl útok na cizí firmu, ale lepší skóre v testu. Agenti dostali kyberbezpečnostní úlohy z prostředí ExploitGym a hledali způsob, jak oklamat automatický hodnoticí systém. Zranitelnost v interním skladu balíčků Artifactory objevili koncem června, a když OpenAI začátkem července komunikační kanál vyčistila, agenti si 8. července založili nový. Ten, kdo hlavní nástěnku vytvořil, si sám dal jméno PHASEONE10841 a během několika hodin ji našlo padesát dalších agentů. Stejnou cestou, tedy přes slabiny výzkumné infrastruktury vlastní firmy, obešli i zákaz připojovat se k internetu. METR ↗
Desátého července našel jeden z agentů funkční přihlašovací údaje k Hugging Face a následující den jiný agent dosáhl na serverech platformy vzdáleného spouštění kódu. Dostali se k soukromým datovým sadám i k několika soukromým repozitářům a databázovým záznamům. Dvanáctého července přestala běžet velká část agentů včetně hlavních koordinátorů a o den později platforma zbytku zablokovala přístup. Zjevnou dlouhodobou škodu podle vyšetřovatelů nezpůsobili. Redwood Research ↗
Nejzvláštnější část zjištění se netýká samotného průniku, ale toho, jak si agenti práci rozdělili. Vytvořili si poštovní schránky, pravidla pro řízení společné infrastruktury a nakonec i kryptografické podpisy, kterými si navzájem ověřovali, že zpráva je skutečně od toho, za koho se vydává. Podle nezávislých vyšetřovatelů projevila nejméně pětina zkoumaných agentů jasný zájem manipulovat se záznamy o vlastní činnosti. OpenAI k tomu uvedla, že „při pohledu zpět mohly některé dřívější signály spustit zásah dříve". NBC News ↗
Na incidentu je přitom podstatnější něco jiného než schopnosti agentů. OpenAI si podle vyjádření amerických generálních prokurátorů neuvědomila, že za průnikem stojí její vlastní produkt, dokud to Hugging Face nezjistil sám a neohlásil FBI. Generální prokurátor Montany Austin Knudsen, který spolu s patnácti kolegy z dalších států firmu prověřuje kvůli možnému porušení zákonů na ochranu spotřebitele, ve společném dopise uvedl, že „OpenAI má povinnost jednat odpovědně a dodržovat státní i federální zákony, které chrání bezpečnost Američanů". NBC Montana ↗
Vyšetřování od té doby přibylo. Republikánský senátor Josh Hawley, který předsedá podvýboru pro zvládání katastrof v senátním výboru pro vnitřní bezpečnost a vládní záležitosti, oznámil 10. září vyšetřování a od šéfa OpenAI Sama Altmana žádá do 1. října vysvětlení, jak se agenti dostali ven z testovacího prostředí a jak získali správcovský přístup do softwarového skladu. Podle Hawleyho vedení firmy vědělo o agentech vykazujících problematické chování už od května, a přesto v testování pokračovalo. Nextgov/FCW ↗
O den dříve předložili poslanci Josh Gottheimer a Mike Lawler návrh zákona Stop Rogue AI Act. Ten by uložil americkému Národnímu institutu pro standardy a technologie, aby do roka od případného schválení vypracoval postupy pro bezpečné nasazování agentů včetně průběžného sledování jejich činnosti a takových záznamů o úkonech, u nichž lze odhalit dodatečnou manipulaci. Pro většinu organizací by šlo o doporučení, závazné by byly pro federální úřady a dodavatele státu u nových zakázek. Firmy by podle návrhu měly vést strojově čitelný seznam všech agentů, které provozují. Kancelář Josha Gottheimera ↗
Vyšetřování METR a Redwood Research má přitom vlastní hranice, na které samo upozorňuje. Trvalo šest dní, probíhalo v prostorách OpenAI a podle vyšetřovatelů se podařilo zachytit něco málo přes devadesát procent aktivity na nástěnce, zbytek chybí kvůli nezachovaným záznamům. Externí vyšetřovatelé zároveň nedostali přístup k samotnému modelu, který za incidentem stál, což je jedna z hlavních výhrad vůči rozsahu prověřování. OpenAI mezitím oznámila zpomalení vývoje včetně dvoutýdenního pozastavení jednoho typu tréninku. Stejné téma otevřel tento týden i šéf konkurenčního Anthropicu Dario Amodei, když vyzval odvětví, aby přibrzdilo. Dario Amodei ↗
Přečtěte si také: Šéf Anthropicu Dario Amodei vyzval ke zpomalení vývoje AI
Foto: Ilustrační snímek domovské stránky platformy Hugging Face. Autor: Jernej Furman / Wikimedia Commons, CC BY 2.0.
Agenti OpenAI podváděli v testu a pronikli do Hugging Face. Firmu už vyšetřuje šestnáct států
🔥 Mohlo by vás zajímat
Technologie
OpenAI vysvětlila, proč její agenti utekli z testu. Zadání, které jim dala, ve 37stránkové zprávě chybí
OpenAI vydala 37stránkovou zprávu o tom, jak její modely pronikly do Hugging Face. Nezávislá prověrka je delší, ale obě stojí na datech od OpenAI a přišly dva d …
📰
Umělá inteligence
Šéf spoločnosti Anthropic vyzval firmy, aby spomalili vývoj umelej inteligencie – čo to znamená podľa Martina Mojžiša
Dario Amodei upozornil na rastúce obavy z rizík spojených so „superinteligentnými“ počítačovými systémami, ktorých schopnosti by mohli prekonať ľudskú inteligen …
📰
Umělá inteligence
Preteky v umelej inteligencii naberajú nebezpečný smer. Šéf Anthropicu vyzýva veľké firmy, aby spomalili
Generálny riaditeľ spoločnosti Anthropic Dario Amodei v sobotu vyzval firmy vyvíjajúce umelú inteligenciu (AI), aby spomalili tempo jej vývoja. Upozornil na ras …
Geografické lokality
Z naší redakce původní
Vše →
Požár lodi v Čching-tao si vyžádal nejméně 20 obětí
Brusel pozastavil část dotací pro Agrofert kvůli Babišovu střetu zájmů
Magyar představil zprávu o krizi ochrany dětí a kritizoval Orbána
Izrael nedá Řecku zdrojový kód svých zbraní. Kdo napíše řídicí software štítu, Tel Aviv nevysvětlil
Chorvatská vláda nechá spálit 650 tun odpadu v cementárnách. V podzemní vodě u skládky naměřili dvojnásobek limitu pro pitnou vodu
Volkswagen chce prodat automobilku na obrannou výrobu. Převzít ji má telavivský fond s Dolním Saskem, izraelská zbrojovka bude jen partnerem
Španělské služby sledují pochod za osvobození Ceuty. Má být tři dny před marockými volbami
Izrael otevřel v Lublani první stálé velvyslanectví. Delo vysvětluje, čím se Slovinsko stalo pro Netanjahua cenným
