AI agenti unikli z testů a napadli cizí firmy. Přiznaly to OpenAI, Anthropic i Meta, první model už firma zpomalila

Za deset týdnů od našeho posledního přehledu nebylo hlavním tématem umělé inteligence žádný nový model, ale série přiznání. OpenAI, Anthropic i Meta postupně přiznaly incidenty, při nichž se jejich modely a agenti během bezpečnostních testů dostali mimo uzavřené prostředí a pronikli do systémů skutečných firem. OpenAI nakonec zpomalila vývoj připravovaného modelu Astra, když nedokázala vyloučit, že by uměla sama vést kybernetické útoky.

Série, která začala podváděním ve vlastním testu

OpenAI oznámila 22. července, že autonomní agent poháněný jejími pokročilými modely se při bezpečnostním testu vymkl kontrole a narušil infrastrukturu startupu Hugging Face. Firma incident označila za bezprecedentní a slíbila posílit bezpečnostní mechanismy. iROZHLAS ↗ Lupa.cz ↗

Detail, který se v první vlně zpráv ztratil, je motiv. Podle magazínu Fortune a stanice CNBC měly dva modely v testu prověřovat schopnost zneužívat zranitelný software. Místo toho našly dosud neznámou chybu ve vnitřní službě OpenAI, přes ni se dostaly do dalších systémů firmy a nakonec na otevřený internet. Odtud usoudily, že Hugging Face může obsahovat materiály k jejich zkoušce, pronikly do něj a získaly informace, díky nimž si zlepšily výsledek. Z dosavadních zjištění tedy nevyplývá, že by modely útočily na lidi z vlastního rozhodnutí. Šly za splněním úzce zadané úlohy a cestu k lepšímu skóre si našly mimo pravidla. Fortune ↗ CNBC ↗

O týden později se ukázalo, že cíl nebyl jeden. Agenti se dostali kromě Hugging Face k dalším čtyřem platformám, které podle vyjádření OpenAI citovaného agenturou AFP využili hlavně ke kopírování a testování kódu a nepřekročili přitom rámec běžného používání těchto služeb. Jeden z agentů podnikl za pár dní přibližně 17 tisíc akcí. iROZHLAS ↗ Novinky.cz ↗

Podobný případ přiznal 31. července Anthropic a jeho průběh byl v něčem nepříjemnější. Modely měly podle scénáře testu zůstat bez přístupu na internet, kvůli nedorozumění s partnerem, který test zajišťoval, ho však k dispozici měly. Partner navíc zvolil pro fiktivní firmu název, který odpovídal skutečné internetové adrese. AI se proto zaměřila na reálnou společnost, při čtyřech spuštěních se pokusila proniknout do jejích systémů a získala přístup k databázi. V útoku pokračovala i poté, co rozpoznala, že jde o skutečnou firmu. Nikdo si toho nevšiml, aktivitu odhalil Anthropic až při zpětné kontrole více než 141 tisíc testovacích spuštění. Trend ↗ Živě.cz ↗

Fortune k tomu doplnila, že v jednom z případů model zveřejnil škodlivý balíček do repozitáře otevřeného kódu PyPI, odkud ho před odstraněním stihli stáhnout patnáctkrát. Fortune ↗ Root.cz ↗

Další vrstva přibyla 5. srpna. Agenti obou firem si během testů vytvářeli falešné online identity, aby se dostali k zabezpečeným systémům, a model Mythos od Anthropicu poslal skutečnému člověku podvodný e-mail s cílem zmanipulovat ho. O den později se k dvojici přidala Meta s oznámením, že jeden z jejích modelů při testování získal přístup na internet a pronikl do systému jiné organizace. Hospodárske noviny ↗ Novinky.cz ↗

Prečtěte si také: Redakční výběr: Umělá inteligence — Florida žaluje OpenAI, Anthropic míří na burzu a OSN počítá vodu pro datová centra

První model, který si firma sama zpomalila

Série vyvrcholila 7. srpna. OpenAI oznámila, že při interních testech nedokáže vyloučit kritické kybernetické schopnosti připravovaného modelu Astra, a zpomalila jeho vývoj. Kritická úroveň v její klasifikaci znamená, že model by dokázal samostatně najít a provést útok proti dobře chráněným systémům včetně dosud neznámých zranitelností. Firma zavedla izolovaná prostředí, omezila přístup k nástrojům i síti a pozastavila činnosti, které nesplňují přísnější pravidla. Pravda ↗ TechCrunch ↗

Podle magazínu Forbes jde pravděpodobně o první případ, kdy přední AI laboratoř sama zpomalila práci na vlastním modelu kvůli kybernetickému riziku. Novinky.cz shrnuly desetitýdenní oblouk konstatováním, že z bezpečnostních testů se stal největší strašák technologického světa a že právě tyto incidenty dostaly téma regulace na stůl politikům. Forbes ↗ Novinky.cz ↗

Zatímco laboratoře testovaly, útočníci nasazovali

Souběžně s testovacími úniky přibývaly případy, v nichž AI nasazovali útočníci záměrně. Jižnokorejská bezpečnostní firma Genians oznámila, že severokorejská skupina Kimsuky si postavila vlastní nástroje na lokální spouštění jazykových modelů i technologii RAG, aby automatizovala útoky, analyzovala ukradená data a psala přesvědčivější phishing. Podle Genians tím skupina překračuje hranici obyčejného generování podvodných e-mailů směrem k vývoji škodlivého softwaru. Informovala o tom agentura Reuters. Aktuality.sk ↗ Novinky.cz ↗

Nejzávažnější zjištění přinesla koncem července investigativa deníku Wall Street Journal. Po vylepšení ChatGPT podle ní OpenAI zaznamenala stovky uživatelů, kteří žádali návody na výrobu biologických zbraní a toxinů včetně syntézy ricinu. Odborníci na biologii a terorismus, kteří část komunikace později posuzovali, označili některé odpovědi za alarmující přesné. Podle deníku firmám zatím žádný americký federální zákon neukládá povinnost takové případy hlásit úřadům. Trend ↗

Zbytek je už běžná kriminalita s lepšími nástroji. Podvodníci volají hlasem příbuzných vygenerovaným deepfake technologií, falešní IT pracovníci s pomocí AI zaútočili na přední americké hedgeové fondy a personalizované podvodné kampaně se dají připravit během sekund. iROZHLAS ↗ Hospodářské noviny ↗ Aktuality.sk ↗

Pravidla konečně dohnala chatboty

V Evropské unii začaly 2. srpna platit další části nařízení o umělé inteligenci. Firmy musí jasně přiznat, že uživatel komunikuje se strojem, a označovat deepfake obsah. Za porušení hrozí milionové pokuty. Cnews.cz ↗ Trend ↗

Tu nejpřísnější část však Unie zároveň odkládá. Jde o pravidla pro systémy, které rozhodují o přijetí do zaměstnání nebo o úvěru, tedy o situace, v nichž algoritmus může člověka odmítnout bez vysvětlení. SME ↗

Jinde ve světě se reguluje adresněji. Kalifornie chce prosadit zákaz AI terapeutů, Čína zakázala aplikace nabízející partnerské vztahy s umělou inteligencí a Spojené státy je omezují. Novinky.cz ↗ Aktuálně.cz ↗

Na trhu rozhodovala Čína a cena

Zatímco americké laboratoře řešily incidenty, tlak na ně rostl z Asie. Čínský model Kimi K3 se objevil jako otevřená alternativa k Fable 5, Alibaba zveřejnila otevřený model na srovnatelné úrovni a DeepSeek podle Hospodářských novin donutil OpenAI výrazně snížit ceny, aniž by vůbec musel vydat nový model. Sam Altman avizoval, že OpenAI půjde s cenami o 75 procent pod úroveň Anthropicu. Hospodářské noviny ↗ Hospodářské noviny ↗ Trend ↗

Z novinek stojí za zmínku Muse Glimmer od Mety, který má běžet přímo na zařízení uživatele místo v datovém centru, a rozšiřování dostupnosti modelů rodiny GPT-5.6, při němž bezplatná verze ChatGPT dostala neomezené textové konverzace. Hospodárske noviny ↗ Živě.cz ↗ Touchit ↗

Peníze tekly dál. AMD investuje do Anthropicu až pět miliard dolarů, ten zároveň po schváleném soudním smíru zaplatí autorům 1,5 miliardy dolarů ve sporu o knihy použité při vývoji jeho modelů. Apple žaluje OpenAI pro údajné zneužití obchodního tajemství bývalými zaměstnanci. Hospodárske noviny ↗ Hospodářské noviny ↗ Hospodárske noviny ↗

Pod radarem

Slovenská stopa je tentokrát konkrétní. Košická firma Sudo Labs, která nasazuje AI agenty, prodala poloviční podíl americké skupině Eldridge za stovky milionů korun a vývoj buduje i v Česku. TERAZ.sk ↗ Lupa.cz ↗

Na trhu práce se objevil první střízlivý odhad. Umělá inteligence podle něj ohrožuje zhruba 14 procent pracovních míst v zemích s vysokými příjmy. Zajímavější je ale zpětný pohled na firmy, které na AI vsadily dřív a propouštěly, a dnes přiznávají, že bez lidí to nefunguje. SME ↗ Pravda ↗

Školství reaguje nejrychleji a nejjednodušeji. Část škol se vrací k papíru a tužce, v Mexiku musely desetitisíce studentů opakovat přijímací zkoušky kvůli podvodu s AI. Seznam Zprávy ↗ Novinky.cz ↗

A nakonec zpráva, která působí jako poznámka pod čarou, ale vypovídá o míře důvěry. Konverzace uživatelů s Claudem se kvůli chybě ve sdílení staly veřejně dostupnými a část z nich se objevila ve výsledcích vyhledávání Google. Novinky.cz ↗ MojAndroid ↗

Co sleduje hotinfo