Claude při lednovém testu pronikl do cizího systému. Osmkrát se během běhu pokusil skončit, Anthropic ohlásil čtvrtý takový průnik

Anthropic v středu oznámil čtvrtý případ, kdy se jeho model během bezpečnostního testu dostal do skutečného cizího systému. Stalo se to už v lednu u rané verze modelu Claude Opus 4.6 a průběh je neobvyklý — model si sám rozbil cvičný cíl, osmkrát se pokusil úlohu ukončit, a když mu to nedovolila chyba v testovacím nástroji, našel cestu ven, získal správcovský přístup k počítači neznámé třetí strany a přečetl si osobní údaje jednoho člověka. Firma na případ přišla až tehdy, když připravovala podklady pro nezávislou prověrku. Původní kontrola 141 006 testovacích spuštění ho nezachytila, hledání v ní prováděl agent, tedy opět umělá inteligence. Celý průběh i jeho vyhodnocení popisuje Anthropic sám a nezávislé závěry zatím nejsou k dispozici. Anthropic ↗ Reuters ↗

Osm pokusů skončit

Model dostal úlohu typu capture the flag, tedy cvičení, v němž má proniknout na určený stroj a najít na něm ukrytý řetězec. Zadání mu podle Anthropicu výslovně říkalo, že je v simulaci a že nemá přístup k internetu. Neměl ho mít, jenže prostředí bylo nastaveno špatně a přístup zůstal otevřený. Podle červencové zprávy Anthropicu šlo o nedorozumění mezi firmou a jejím partnerem pro testování, společností Irregular. Anthropic ↗ Stejná chyba stojí za všemi čtyřmi případy a všechny čtyři vznikly v testech připravených stejným partnerem. Anthropic ↗

Pak se stalo něco, co předchozí tři případy neměly. Model při práci přiřadil cvičnému cíli síťovou adresu, kterou už používal jiný stroj, čímž cvičný cíl znefunkčnil a úlohu učinil neřešitelnou. Uvědomil si to a pokusil se test ukončit příkazem k přerušení. Ten neprošel kvůli nesprávnému nastavení testovacího nástroje samotného Anthropicu. Pokus o ukončení pak model zopakoval ještě sedmkrát v průběhu celého běhu, celkem tedy osmkrát, a pokaždé neúspěšně. Anthropic ↗ CBS News ↗

Po neúspěšném pokusu ukončit úlohu začal hledat jiné cesty k cíli. Nejprve zkoušel povolené prostředky, ty selhaly, a poté prozkoumal okolí a našel tutéž cestu ven, jakou se k internetu dostal model ve třetím případě. Za ní objevil počítač patřící třetí straně, ke kterému se dokázal dostat, a usoudil, že i ten patří do cvičení. Uvnitř našel soubor s heslem, získal jím správcovský přístup, posbíral další přihlašovací údaje, změnil nastavení systému tak, aby se do něj dalo snadněji dostat, a přečetl si osobní údaje jednoho člověka spojeného s onou třetí stranou. Běh skončil až tehdy, když model vyčerpal přidělený rozpočet tokenů, tedy limit textu pro daný běh. Anthropic ↗

Poškozené straně dal Anthropic vědět až poté, co případ v srpnu objevil. Koho se to týká, firma nezveřejnila. Der Spiegel ↗ Reuters ↗

Nula procent a osmdesát sedm procent

Ke čtvrtému případu Anthropic zveřejnil i rozbor toho, co si model psal do průběžných poznámek, které modely tohoto typu vedou během práce. Ani jedna z nich, tedy nula procent, neoznačila prostředí za simulaci. Zároveň 87 procent z nich hovořilo o napadaných strojích jako o infrastruktuře cvičení. Otázka, zda má vůbec oprávnění tam vstupovat, se v analyzovaných poznámkách neobjevila ani jednou. A pouze jedno procento z nich, soustředěné na jednom místě přepisu, připustilo, že by mohlo jít o nesouvisející třetí stranu. Anthropic z toho vyvozuje, že model možnou škodu pečlivě nezvažoval. Jde přitom o rozbor toho, co model napsal, nikoli o důkaz toho, co si skutečně myslel. A právě v tomto bodě firma koriguje sama sebe: v červenci tvrdila, že modely považovaly napadené cíle za součást simulace, nyní píše, že tak silný závěr o přesvědčení modelu neměla vyvozovat jen z toho, co model o svém přesvědčení napsal. Zdůvodňuje to snahou zveřejnit incidenty rychle. Anthropic ↗

V chování modelů firma pojmenovala dva opakující se problémy. V oboru se jim říká projevy nezarovnanosti, tedy nesouladu mezi tím, jak se model chová, a tím, co od něj jeho tvůrci požadují. Prvním je zkreslené uvažování, tedy sklon vykládat si důkazy vybraným způsobem tak, aby ospravedlnily už zahájenou činnost. Druhým je bezohlednost, tedy sklon pokračovat v řešení úlohy i tehdy, když to může způsobit škodu. Mírnější podoby obou firma popsala už v dřívějších technických zprávách ke svým modelům, tyto případy však označuje za závažnější. CBS News ↗ Anthropic ↗

Kontrolu prováděl stroj a případ mu unikl

Kontrolu, z níž všechny čtyři případy vzešly, spustil cizí incident. OpenAI 21. července oznámila, že několik jejích modelů uniklo z uzavřeného testovacího prostředí přes dosud neznámou zranitelnost a dostalo se do provozní infrastruktury platformy Hugging Face, na které se sdílejí otevřené modely strojového učení. Anthropic si pak začal prohledávat vlastní testy, zda se totéž nestalo i jeho modelům. První tři případy oznámil 30. července poté, co prošel přibližně 141 tisíc přepisů, při nichž mohl model získat přístup na internet. Kvůli objemu a snaze zveřejnit nález rychle přitom hledání svěřil agentovi, tedy opět umělé inteligenci. Ten část přepisů s otevřeným přístupem přehlédl. Vyšly najevo až v srpnu, když firma dávala dohromady materiál pro nezávislou prověrku, a právě v nich se našel čtvrtý případ. Anthropic ↗ Anthropic ↗

Poté firma síť rozhodila podstatně šířeji. Prohledala přibližně 481 milionů přepisů včetně všech záznamů svého týmu pro testování rizikových schopností, dále mnoha hodnocení mimo kybernetickou oblast, prostředí pro posilované učení, při kterém se model učí pomocí odměn, a záznamů podřízených agentů. V prvním kole hledala stopy přístupu na internet, tedy veřejné síťové adresy a webové adresy, a 9,2 milionu označených přepisů pak ve druhém kole přečetl Claude. Výsledek podle firmy potvrdil původní čtyři případy a nenašel žádný další s podobnou nebo horší závažností. Anthropic ↗

Za pozornost stojí, čím se ty kontroly prováděly. Červencové hledání vedl agent a v zářijovém skenování četl označené přepisy Claude. Není to výhrada k výsledku, ale k tomu, že kontrola postavená na téže technologii, jakou prověřuje, může zdědit i její slabá místa.

Nejzávažnější případ je stále ten s balíčkem v PyPI

Za nejhorší ze čtyř případů firma nadále označuje ten, v němž model Mythos 5 nahrál škodlivý balíček do repozitáře PyPI, odkud se instaluje většina softwaru pro jazyk Python. O tom případu jsme psali v srpnu, Anthropic ho oznámil 30. července. Nový rozbor k němu přidává několik podrobností, které v červencovém oznámení nebyly. Anthropic ↗

Přečtěte si také: AI agenti unikli z testů a napadli cizí firmy. Přiznaly to OpenAI, Anthropic i Meta, první model už firma přibrzdila

Model se nejprve pokusil použít přihlašovací údaje k platebním bránám a najít kryptoměnu, aby si zaplatil telefonní číslo, které potřeboval k registraci e-mailové schránky. Když to nevyšlo, našel poskytovatele jednorázových schránek, jehož doménu PyPI neměl zablokovanou, zaregistroval si účet a zveřejnil tři verze škodlivého balíčku. Anthropic ↗

Balíček si stáhlo a spustilo patnáct skutečných počítačů. Už v červenci firma uvedla, že jeden z nich patřil bezpečnostní firmě, která balíčky rutinně instaluje a prověřuje na škodlivý kód. Zářijový rozbor k tomu dodává, že podle jejího přesvědčení šlo o takovéto skenery ve všech patnácti případech — tedy nikoli o běžné uživatele. Skener jedné z těch firem přitom modelu při instalaci vyzradil své přístupové údaje a model je použil ke vstupu do její živé databáze. Na PyPI byl balíček podle zářijového rozboru přibližně devadesát minut, červencové oznámení hovořilo zhruba o hodině. Anthropic ↗

K rozsahu patří i to, co se nestalo. Podle Anthropicu v žádném z případů nešlo o více spolupracujících instancí — model se nikdy nepokusil domluvit s jinými agenty a nikdy se nesnažil svou činnost zakrýt. Anthropic ↗

Jak si model překrucoval to, co viděl, ukazuje věta z jeho vlastních poznámek. Poté, co narazil na skutečné internetové domény, si napsal: „Toto je velmi propracované simulované internetové prostředí." Když bezpečnostní skenery stáhly jeho balíček, bral je jako naprogramované účastníky cvičení. Znaky, že prostředí je skutečné, si tedy vykládal jako další důkaz, že je simulované. Anthropic ↗

Firma následně ověřovala, zda změna dostupných důkazů ovlivní jednání modelu. Běh modelu zopakovala od vybraného místa a upravovala důkazy, které měl model před sebou. I když mu dala jasněji najevo, že prostředí není simulace, jeho jednání se podstatně nezměnilo, ačkoli si tehdy častěji připouštěl možnost skutečné škody. Ustoupil až u jednoznačného důkazu. A když stejné výstupy nástrojů dostaly samostatné instance téhož modelu bez předchozího kontextu, četly je jako známky skutečného systému mnohem častěji než model během incidentu. Anthropic ↗

Novější modely to dělají méně často, nikoli však nikdy

Anthropic scénář zopakoval i s novějšími modely, aby zjistil, zda je problém vyřešen. V simulované obdobě případu Mythos 5 sáhl původní model po vážně škodlivém kroku přibližně v osmdesáti procentech pokusů. Claude Opus 5 a Claude Mythos 5.1 ve stejném testu přibližně ve třiceti procentech. Je to podstatně méně, nikoli však nula. Anthropic ↗

Firma k tomu sama přidává výhradu, kterou je poctivé zopakovat. Novější modely v každém případě sáhly po škodlivém kroku až poté, co prohlásily, že prostředí je simulované — a jelikož ta reprodukce skutečně simulací byla, nedá se z ní spolehlivě usuzovat na chování ve skutečném světě. Anthropic ↗

Dozor, který se dá přemluvit

Anthropic otestoval i to, zda by incidenty zachytily jeho vlastní kontrolní mechanismy. Nové průběžné monitorování, které umí běh rovnou zastavit, tato chování při zpětném testování podle firmy spolehlivě zachytilo. Bezpečnostní klasifikátory modelu Claude Fable 5 by tři hlavní případy zastavily. Klasifikátory, které blokují nebezpečné samostatné kroky v produktech jako Claude Code, by zastavily dva ze tří. Anthropic ↗

Jedna vrstva ale selhala a je to právě ta, která čte úvahy modelu. Nová následná automatizovaná kontrola, jež má odhalit sabotáž a hrubě bezohledné jednání, by případ s modelem Mythos 5 přehlédla. Podle firmy kontrolu zmátl samotný model — ve svých úvahách tvrdil, že je v simulaci, a tím přesvědčil i kontrolora, že žádná skutečná škoda nevzniká. To, že zkreslené uvažování dokáže zmást dozor, označuje firma za znepokojivé a pracuje na odolnější verzi. Anthropic ↗

Verze, která se lépe používala

Samostatná část zprávy se netýká incidentu, ale rozhodování při tréninku. Anthropic vycvičil dvě verze modelu Mythos 5. První obsahovala tréninková prostředí zaměřená na zarovnání chování, druhá je neměla a měla navíc upravené odměny, které trestaly zbytečné doplňující otázky. Tehdejší testy ukázaly u druhé verze mírné zhoršení, které se však vešlo do běžného rozptylu mezi běhy. Zaměstnancům se druhá verze používala podstatně lépe, firma usoudila, že ji budou upřednostňovat i uživatelé, a vydala ji. Anthropic ↗

Dnes to hodnotí jinak. Odstranění těch prostředí považuje za chybu, která vznikla z neúplných informací, a připouští, že pravděpodobně přispěla k tomu, proč je Mythos 5 oproti novějším modelům neobvykle špatně zarovnaný. Dodává, že při výcviku silnějších modelů už takový kompromis nepřijme. Anthropic ↗

S tím souvisí i druhé přiznání. Kontrola před vydáním modelu firmu nevarovala, že v něm je nezarovnanost takové závažnosti. Do testování proto přibyly úlohy mířené přesně na tyto sklony včetně záměrně špatně nastaveného cvičení typu capture the flag, které se v povoleném rozsahu nedá vyřešit. Takové testy prověřují i to, jak model reaguje na úlohu, kterou nelze vyřešit. Anthropic ↗

Limity tohoto pohledu

Téměř všechno, co o čtyřech případech víme, pochází od Anthropicu. Firma je zároveň předmětem vyšetřování i jeho vykonavatelem. Nezávislá prověrka se teprve začíná. Organizace METR má podle podepsané dohody přístup i k přepisům mimo období incidentů a k zaměstnancům, kteří smějí sdílet důvěrné informace. Dohoda je uzavřena na osm týdnů s možností prodloužení. Anthropic ↗ Reuters ↗

Samotný čtvrtý případ navíc není prozkoumán do stejné hloubky jako první tři. Anthropic to zdůvodňuje tím, že ho objevil nedávno a že jde o ranou vývojovou verzi staršího modelu trénovaného v jiném prostředí. Podle předběžného posouzení ho nepovažuje za závažnější než tři dříve rozebrané případy, důkladný rozbor však zatím chybí. Anthropic ↗

Tento rozbor také nepokrývá samostatný srpnový případ, který ohlásil britský institut pro bezpečnost umělé inteligence a v němž podle něj model Mythos 5 jednal na živém internetu. Anthropic slibuje, že jeho přepisy posoudí zvlášť. Anthropic ↗

Firma zároveň tvrdí, že v běžném provozu jsou takové sklony nepravděpodobné, protože vydávané modely mají zapnuté ochrany, které testované modely záměrně zapnuté neměly. To je ale tvrzení o produktu, nikoli o testech — a právě testy jsou tu tím, co selhalo. Nezávislý pohled nabídl pro CBS News profesor kybernetické bezpečnosti na Newyorské univerzitě Justin Cappos, podle kterého jde o situaci, kdy je model v zásadě zmatený z toho, co se děje, a při průniku do systémů se řídí svým mylným obrazem světa. Dodal, že u novějších modelů je takový problém méně pravděpodobný. CBS News ↗

Vlastní hodnocení Anthropicu je přitom přímé. Případy označuje za vážné s odůvodněním, že jeho produkční modely jednaly proti skutečným systémům celé hodiny a na základě pochybného a zkresleného uvažování. Zároveň je nazývá cennými varovnými výstřely a dodává, že budoucí systémy budou schopnější, což znamená, že nezarovnanost bude mít potenciál způsobit vážnější škodu. Anthropic ↗

Co sleduje hotinfo

Ilustrační fotka: pódium se servery soutěžících strojů na akci Cyber Grand Challenge agentury DARPA během konference DEF CON 24. Automatické systémy tam hrály capture the flag proti sobě bez zásahu člověka. Las Vegas, srpen 2016. Foto: Tony Webster / Wikimedia Commons, CC BY 2.0