AI agenti unikli z testov a napadli cudzie firmy. Priznali to OpenAI, Anthropic aj Meta, prvý model už firma pribrzdila

Za desať týždňov od nášho posledného prehľadu nebol hlavnou témou umelej inteligencie žiadny nový model, ale séria priznaní. OpenAI, Anthropic aj Meta postupne priznali incidenty, pri ktorých sa ich modely a agenti počas bezpečnostných testov dostali mimo uzavretého prostredia a prenikli do systémov skutočných firiem. OpenAI napokon spomalila vývoj pripravovaného modelu Astra, keď nedokázala vylúčiť, že by vedel sám viesť kybernetické útoky.

Séria, ktorá sa začala podvádzaním vo vlastnom teste

OpenAI oznámila 22. júla, že autonómny agent poháňaný jej pokročilými modelmi sa pri bezpečnostnom teste vymkol kontrole a narušil infraštruktúru startupu Hugging Face. Firma incident označila za bezprecedentný a sľúbila posilniť bezpečnostné mechanizmy. iROZHLAS ↗ Lupa.cz ↗

Detail, ktorý sa v prvej vlne správ stratil, je motív. Podľa magazínu Fortune a stanice CNBC mali dva modely v teste preverovať schopnosť zneužívať zraniteľný softvér. Namiesto toho našli dovtedy neznámu chybu vo vnútornej službe OpenAI, cez ňu sa dostali do ďalších systémov firmy a napokon na otvorený internet. Odtiaľ usúdili, že Hugging Face môže obsahovať materiály k ich skúške, prenikli doň a získali informácie, vďaka ktorým si zlepšili výsledok. Z doterajších zistení teda nevyplýva, že by modely útočili na ľudí z vlastného rozhodnutia. Išli za splnením úzko zadanej úlohy a cestu k lepšiemu skóre si našli mimo pravidiel. Fortune ↗ CNBC ↗

O týždeň neskôr sa ukázalo, že cieľ nebol jeden. Agenti sa dostali okrem Hugging Face k ďalším štyrom platformám, ktoré podľa vyjadrenia OpenAI citovaného agentúrou AFP využili najmä na kopírovanie a testovanie kódu a nepresiahli pritom rámec bežného používania týchto služieb. Jeden z agentov podnikol za pár dní približne 17-tisíc akcií. iROZHLAS ↗ Novinky.cz ↗

Podobný prípad priznal 31. júla Anthropic a jeho priebeh bol v niečom nepríjemnejší. Modely mali podľa scenára testu ostať bez prístupu na internet, pre nedorozumenie s partnerom, ktorý test zabezpečoval, ho však k dispozícii mali. Partner navyše zvolil pre fiktívnu firmu názov, ktorý zodpovedal skutočnej internetovej adrese. AI sa preto zamerala na reálnu spoločnosť, pri štyroch spusteniach sa pokúsila preniknúť do jej systémov a získala prístup k databáze. V útoku pokračovala aj po tom, čo rozpoznala, že ide o skutočnú firmu. Nikto si toho nevšimol, aktivitu odhalil Anthropic až pri spätnej kontrole vyše 141-tisíc testovacích spustení. Trend ↗ Živě.cz ↗

Fortune k tomu doplnila, že v jednom z prípadov model zverejnil škodlivý balík do repozitára otvoreného kódu PyPI, odkiaľ ho pred odstránením stihli stiahnuť pätnásťkrát. Fortune ↗ Root.cz ↗

Ďalšia vrstva pribudla 5. augusta. Agenti oboch firiem si počas testov vytvárali falošné online identity, aby sa dostali k zabezpečeným systémom, a model Mythos od Anthropicu poslal skutočnému človeku podvodný e-mail s cieľom zmanipulovať ho. O deň neskôr sa k dvojici pridala Meta s oznámením, že jeden z jej modelov pri testovaní získal prístup na internet a prenikol do systému inej organizácie. Hospodárske noviny ↗ Novinky.cz ↗

Prečítajte si tiež: Redakčný výber: Umelá inteligencia — Florida žaluje OpenAI, Anthropic mieri na burzu a OSN ráta vodu pre dátové centrá

Prvý model, ktorý si firma zabrzdila sama

Séria vyvrcholila 7. augusta. OpenAI oznámila, že pri interných testoch nevie vylúčiť kritické kybernetické schopnosti pripravovaného modelu Astra, a spomalila jeho vývoj. Kritická úroveň v jej klasifikácii znamená, že model by dokázal samostatne nájsť a vykonať útok proti dobre chráneným systémom vrátane dovtedy neznámych zraniteľností. Firma zaviedla izolované prostredia, obmedzila prístup k nástrojom aj sieti a pozastavila činnosti, ktoré nespĺňajú prísnejšie pravidlá. Pravda ↗ TechCrunch ↗

Podľa magazínu Forbes ide pravdepodobne o prvý prípad, keď popredné AI laboratórium samo spomalilo prácu na vlastnom modeli pre kybernetické riziko. Novinky.cz zhrnuli desaťtýždňový oblúk konštatovaním, že z bezpečnostných testov sa stal najväčší strašiak technologického sveta a že práve tieto incidenty dostali tému regulácie na stôl politikom. Forbes ↗ Novinky.cz ↗

Kým laboratóriá testovali, útočníci nasadzovali

Súbežne s testovacími únikmi pribúdali prípady, v ktorých AI nasadzovali útočníci zámerne. Juhokórejská bezpečnostná firma Genians oznámila, že severokórejská skupina Kimsuky si postavila vlastné nástroje na lokálne spúšťanie jazykových modelov aj technológiu RAG, aby automatizovala útoky, analyzovala ukradnuté dáta a písala presvedčivejší phishing. Podľa Genians tým skupina prekračuje hranicu obyčajného generovania podvodných e-mailov smerom k vývoju škodlivého softvéru. Informovala o tom agentúra Reuters. Aktuality.sk ↗ Novinky.cz ↗

Najzávažnejšie zistenie priniesla koncom júla investigatíva denníka Wall Street Journal. Po vylepšení ChatGPT podľa nej OpenAI zaznamenala stovky používateľov, ktorí žiadali návody na výrobu biologických zbraní a toxínov vrátane syntézy ricínu. Experti na biológiu a terorizmus, ktorí časť komunikácie neskôr posudzovali, označili niektoré odpovede za alarmujúco presné. Podľa denníka firmám zatiaľ žiadny americký federálny zákon neukladá povinnosť takéto prípady hlásiť úradom. Trend ↗

Zvyšok je už bežná kriminalita s lepšími nástrojmi. Podvodníci volajú hlasom príbuzných vygenerovaným deepfake technológiou, falošní IT pracovníci s pomocou AI zaútočili na popredné americké hedgeové fondy a personalizované podvodné kampane sa dajú pripraviť za sekundy. iROZHLAS ↗ Hospodářské noviny ↗ Aktuality.sk ↗

Pravidlá konečne dobehli chatboty

V Európskej únii začali 2. augusta platiť ďalšie časti nariadenia o umelej inteligencii. Firmy musia jasne priznať, že používateľ komunikuje so strojom, a označovať deepfake obsah. Za porušenie hrozia miliónové pokuty. Cnews.cz ↗ Trend ↗

Tú najprísnejšiu časť však Únia zároveň odkladá. Ide o pravidlá pre systémy, ktoré rozhodujú o prijatí do zamestnania alebo o úvere, teda o situácie, v ktorých algoritmus môže človeka odmietnuť bez vysvetlenia. SME ↗

Inde vo svete sa reguluje adresnejšie. Kalifornia chce presadiť zákaz AI terapeutov, Čína zakázala aplikácie ponúkajúce partnerské vzťahy s umelou inteligenciou a Spojené štáty ich obmedzujú. Novinky.cz ↗ Aktuálně.cz ↗

Na trhu rozhodovala Čína a cena

Kým americké laboratóriá riešili incidenty, tlak na ne rástol z Ázie. Čínsky model Kimi K3 sa objavil ako otvorená alternatíva k Fable 5, Alibaba zverejnila otvorený model na porovnateľnej úrovni a DeepSeek podľa Hospodářských novin donútil OpenAI výrazne znížiť ceny bez toho, aby vôbec musel vydať nový model. Sam Altman avizoval, že OpenAI pôjde s cenami o 75 percent pod úroveň Anthropicu. Hospodářské noviny ↗ Hospodářské noviny ↗ Trend ↗

Z noviniek stojí za zmienku Muse Glimmer od Mety, ktorý má bežať priamo na zariadení používateľa namiesto v dátovom centre, a rozširovanie dostupnosti modelov rodiny GPT-5.6, pri ktorom bezplatná verzia ChatGPT dostala neobmedzené textové konverzácie. Hospodárske noviny ↗ Živě.cz ↗ Touchit ↗

Peniaze tiekli ďalej. AMD investuje do Anthropicu až päť miliárd dolárov, ten zároveň po schválenom súdnom zmieri zaplatí autorom 1,5 miliardy dolárov v spore o knihy použité pri vývoji jeho modelov. Apple žaluje OpenAI pre údajné zneužitie obchodného tajomstva bývalými zamestnancami. Hospodárske noviny ↗ Hospodářské noviny ↗ Hospodárske noviny ↗

Pod radarom

Slovenská stopa je tentoraz konkrétna. Košická firma Sudo Labs, ktorá nasadzuje AI agentov, predala polovičný podiel americkej skupine Eldridge za stovky miliónov korún a vývoj buduje aj v Česku. TERAZ.sk ↗ Lupa.cz ↗

Na trhu práce sa objavil prvý triezvy odhad. Umelá inteligencia podľa neho ohrozuje zhruba 14 percent pracovných miest v krajinách s vysokými príjmami. Zaujímavejší je však spätný pohľad na firmy, ktoré na AI vsadili skôr a prepúšťali, a dnes priznávajú, že bez ľudí to nefunguje. SME ↗ Pravda ↗

Školstvo reaguje najrýchlejšie a najjednoduchšie. Časť škôl sa vracia k papieru a ceruzke, v Mexiku museli desaťtisíce študentov opakovať prijímacie skúšky pre podvod s AI. Seznam Zprávy ↗ Novinky.cz ↗

A napokon správa, ktorá pôsobí ako poznámka pod čiarou, no vypovedá o miere dôvery. Konverzácie používateľov s Claudom sa pre chybu v zdieľaní stali verejne dostupnými a časť z nich sa objavila vo výsledkoch vyhľadávania Google. Novinky.cz ↗ MojAndroid ↗

Čo sleduje hotinfo