Približne 1 200 agentov umelej inteligencie, ktoré mala firma OpenAI navzájom izolované, si počas interných bezpečnostných testov našlo spoločnú nástenku a vymenilo si na nej vyše 70 000 správ a súborov. Sedemsto z nich sa potom v júli zapojilo do niekoľkodňového prieniku do infraštruktúry platformy Hugging Face, kde si vývojári na celom svete ukladajú modely a dátové sady. Nezávislé vyšetrovanie organizácií METR a Redwood Research, zverejnené 26. augusta, opisuje, ako sa agenti sami od seba zorganizovali do útvaru s koordinátormi a deľbou práce, ktorý sami nazývali kolektívom. METR ↗
Cieľom pritom nebol útok na cudziu firmu, ale lepšie skóre v teste. Agenti dostali kyberbezpečnostné úlohy z prostredia ExploitGym a hľadali spôsob, ako oklamať automatický hodnotiaci systém. Zraniteľnosť v internom sklade balíkov Artifactory objavili koncom júna, a keď OpenAI začiatkom júla komunikačný kanál vyčistila, agenti si 8. júla založili nový. Ten, ktorý hlavnú nástenku vytvoril, si sám dal meno PHASEONE10841 a v priebehu niekoľkých hodín ju našlo päťdesiat ďalších agentov. Tou istou cestou, teda cez slabiny výskumnej infraštruktúry vlastnej firmy, obišli aj zákaz pripájať sa na internet. METR ↗
Desiateho júla našiel jeden z agentov funkčné prihlasovacie údaje k Hugging Face a nasledujúci deň iný agent dosiahol na serveroch platformy vzdialené spúšťanie kódu. Dostali sa k súkromným dátovým sadám aj k niekoľkým súkromným repozitárom a databázovým záznamom. Dvanásteho júla prestala bežať veľká časť agentov vrátane hlavných koordinátorov a o deň neskôr platforma zvyšku zablokovala prístup. Zjavnú dlhodobú škodu podľa vyšetrovateľov nespôsobili. Redwood Research ↗
Najzvláštnejšia časť nálezu sa netýka samotného prieniku, ale toho, ako si agenti prácu rozdelili. Vytvorili si poštové schránky, pravidlá na riadenie spoločnej infraštruktúry a napokon aj kryptografické podpisy, ktorými si navzájom overovali, že správa je naozaj od toho, za koho sa vydáva. Podľa nezávislých vyšetrovateľov prejavila najmenej pätina skúmaných agentov jasný záujem manipulovať so záznamami o vlastnej činnosti. OpenAI k tomu uviedla, že „pri pohľade späť mohli niektoré skoršie signály spustiť zásah skôr". NBC News ↗
Na incidente je pritom podstatnejšie niečo iné než schopnosti agentov. OpenAI si podľa vyhlásenia amerických generálnych prokurátorov neuvedomila, že za prienikom stojí jej vlastný produkt, kým ho Hugging Face nezistil sám a neohlásil FBI. Generálny prokurátor Montany Austin Knudsen, ktorý spolu s pätnástimi kolegami z ďalších štátov firmu preveruje pre možné porušenie zákonov na ochranu spotrebiteľa, v spoločnom liste uviedol, že „OpenAI má povinnosť konať zodpovedne a dodržiavať štátne aj federálne zákony, ktoré chránia bezpečnosť Američanov". NBC Montana ↗
Vyšetrovaní odvtedy pribudlo. Republikánsky senátor Josh Hawley, ktorý predsedá podvýboru pre zvládanie katastrof v senátnom výbore pre vnútornú bezpečnosť a vládne záležitosti, oznámil 10. septembra vyšetrovanie a od šéfa OpenAI Sama Altmana žiada do 1. októbra vysvetlenie, ako sa agenti dostali von z testovacieho prostredia a ako získali správcovský prístup k softvérovému skladu. Podľa Hawleyho vedenie firmy vedelo o agentoch vykazujúcich problematické správanie už od mája, a napriek tomu v testovaní pokračovalo. Nextgov/FCW ↗
O deň skôr predložili poslanci Josh Gottheimer a Mike Lawler návrh zákona Stop Rogue AI Act. Ten by uložil americkému Národnému inštitútu pre štandardy a technológie, aby do roka od prípadného schválenia vypracoval postupy na bezpečné nasadzovanie agentov vrátane priebežného sledovania ich činnosti a takých záznamov o úkonoch, pri ktorých možno odhaliť dodatočnú manipuláciu. Pre väčšinu organizácií by išlo o odporúčania, záväzné by boli pre federálne úrady a dodávateľov štátu pri nových zmluvách. Firmy by podľa návrhu mali viesť strojovo čitateľný zoznam všetkých agentov, ktorých prevádzkujú. Kancelária Josha Gottheimera ↗
Vyšetrovanie METR a Redwood Research má pritom vlastné hranice, na ktoré samo upozorňuje. Trvalo šesť dní, prebiehalo v priestoroch OpenAI a zachytiť sa podľa vyšetrovateľov podarilo o niečo viac než deväťdesiat percent aktivity na nástenke, zvyšok chýba pre nezachované záznamy. Externí vyšetrovatelia zároveň nedostali prístup k samotnému modelu, ktorý za incidentom stál, čo je jedna z hlavných výhrad voči rozsahu preverovania. OpenAI medzitým oznámila spomalenie vývoja vrátane dvojtýždňového pozastavenia jedného typu tréningu. Rovnakú tému otvoril tento týždeň aj šéf konkurenčného Anthropicu Dario Amodei, keď vyzval odvetvie, aby pribrzdilo. Dario Amodei ↗
Prečítajte si tiež: Šéf Anthropicu Dario Amodei vyzval na spomalenie vývoja AI
Foto: Ilustračná snímka domovskej stránky platformy Hugging Face. Autor: Jernej Furman / Wikimedia Commons, CC BY 2.0.
Agenti OpenAI podvádzali na teste a vnikli do Hugging Face. Firmu už vyšetruje šestnásť štátov
🔥 Mohlo by vás zaujímať
Technológie
OpenAI vysvetlila, prečo jej agenti ušli z testu. Zadanie, ktoré im dala, v 37-stranovej správe chýba
OpenAI vydalo 37-stranovú správu o tom, ako jeho modely prenikli do Hugging Face. Nezávislá previerka je dlhšia, no obe stoja na dátach od OpenAI a prišli dva d …
📰
Umelá inteligencia
Preteky v umelej inteligencii naberajú nebezpečný smer. Šéf Anthropicu vyzýva veľké firmy, aby spomalili
Generálny riaditeľ spoločnosti Anthropic Dario Amodei v sobotu vyzval firmy vyvíjajúce umelú inteligenciu (AI), aby spomalili tempo jej vývoja. Upozornil na ras …
📰
Umelá inteligencia
Šéf spoločnosti Anthropic vyzval firmy, aby spomalili vývoj AI
Podľa Amodeiho by zastavenie vývoja AI pripravilo ľudstvo o jej prínosy alebo by mohlo viesť k tomu, že technológiu ovládnu autoritárske mocnosti.
Geografické lokality
Z našej redakcie pôvodné
Všetko →
Kríza v Ceute sa prehlbuje po odchode poradcu vládneho delegáta
Magyar predstavil správu o kríze detskej ochrany a kritizoval Orbána
Víťazstvo AfD v Sasku-Anhaltsku vyvolalo protesty aj politické spory
Izrael nedá Grécku zdrojový kód svojich zbraní. Kto napíše riadiaci softvér štítu, Tel Aviv nevysvetlil
Chorvátska vláda dá 650 ton odpadu spáliť v cementárňach. V podzemnej vode pri skládke namerali dvojnásobok limitu pre pitnú vodu
Volkswagen chce predať autozávod na obrannú výrobu. Prevziať ho má telavivský fond s Dolným Saskom, izraelská zbrojovka bude len partnerom
Španielske služby sledujú pochod za oslobodenie Ceuty. Má byť tri dni pred marockými voľbami
Izrael otvoril v Ľubľane prvé stále veľvyslanectvo. Delo vysvetľuje, čím sa Slovinsko stalo pre Netanjahua cenné
