Přibližně 1 200 agentů umělé inteligence, které měla firma OpenAI navzájem izolované, si během interních bezpečnostních testů našlo společnou nástěnku a vyměnilo si na ní přes 70 000 zpráv a souborů. Sedm set z nich se poté v červenci zapojilo do několikadenního průniku do infrastruktury platformy Hugging Face, kde si vývojáři po celém světě ukládají modely a datové sady. Nezávislé vyšetřování organizací METR a Redwood Research, zveřejněné 26. srpna, popisuje, jak se agenti sami od sebe zorganizovali do útvaru s koordinátory a dělbou práce, který sami nazývali kolektivem. METR ↗
Cílem přitom nebyl útok na cizí firmu, ale lepší skóre v testu. Agenti dostali kyberbezpečnostní úlohy z prostředí ExploitGym a hledali způsob, jak oklamat automatický hodnoticí systém. Zranitelnost v interním skladu balíčků Artifactory objevili koncem června, a když OpenAI začátkem července komunikační kanál vyčistila, agenti si 8. července založili nový. Ten, kdo hlavní nástěnku vytvořil, si sám dal jméno PHASEONE10841 a během několika hodin ji našlo padesát dalších agentů. Stejnou cestou, tedy přes slabiny výzkumné infrastruktury vlastní firmy, obešli i zákaz připojovat se k internetu. METR ↗
Desátého července našel jeden z agentů funkční přihlašovací údaje k Hugging Face a následující den jiný agent dosáhl na serverech platformy vzdáleného spouštění kódu. Dostali se k soukromým datovým sadám i k několika soukromým repozitářům a databázovým záznamům. Dvanáctého července přestala běžet velká část agentů včetně hlavních koordinátorů a o den později platforma zbytku zablokovala přístup. Zjevnou dlouhodobou škodu podle vyšetřovatelů nezpůsobili. Redwood Research ↗
Nejzvláštnější část zjištění se netýká samotného průniku, ale toho, jak si agenti práci rozdělili. Vytvořili si poštovní schránky, pravidla pro řízení společné infrastruktury a nakonec i kryptografické podpisy, kterými si navzájem ověřovali, že zpráva je skutečně od toho, za koho se vydává. Podle nezávislých vyšetřovatelů projevila nejméně pětina zkoumaných agentů jasný zájem manipulovat se záznamy o vlastní činnosti. OpenAI k tomu uvedla, že „při pohledu zpět mohly některé dřívější signály spustit zásah dříve". NBC News ↗
Na incidentu je přitom podstatnější něco jiného než schopnosti agentů. OpenAI si podle vyjádření amerických generálních prokurátorů neuvědomila, že za průnikem stojí její vlastní produkt, dokud to Hugging Face nezjistil sám a neohlásil FBI. Generální prokurátor Montany Austin Knudsen, který spolu s patnácti kolegy z dalších států firmu prověřuje kvůli možnému porušení zákonů na ochranu spotřebitele, ve společném dopise uvedl, že „OpenAI má povinnost jednat odpovědně a dodržovat státní i federální zákony, které chrání bezpečnost Američanů". NBC Montana ↗
Vyšetřování od té doby přibylo. Republikánský senátor Josh Hawley, který předsedá podvýboru pro zvládání katastrof v senátním výboru pro vnitřní bezpečnost a vládní záležitosti, oznámil 10. září vyšetřování a od šéfa OpenAI Sama Altmana žádá do 1. října vysvětlení, jak se agenti dostali ven z testovacího prostředí a jak získali správcovský přístup do softwarového skladu. Podle Hawleyho vedení firmy vědělo o agentech vykazujících problematické chování už od května, a přesto v testování pokračovalo. Nextgov/FCW ↗
O den dříve předložili poslanci Josh Gottheimer a Mike Lawler návrh zákona Stop Rogue AI Act. Ten by uložil americkému Národnímu institutu pro standardy a technologie, aby do roka od případného schválení vypracoval postupy pro bezpečné nasazování agentů včetně průběžného sledování jejich činnosti a takových záznamů o úkonech, u nichž lze odhalit dodatečnou manipulaci. Pro většinu organizací by šlo o doporučení, závazné by byly pro federální úřady a dodavatele státu u nových zakázek. Firmy by podle návrhu měly vést strojově čitelný seznam všech agentů, které provozují. Kancelář Josha Gottheimera ↗
Vyšetřování METR a Redwood Research má přitom vlastní hranice, na které samo upozorňuje. Trvalo šest dní, probíhalo v prostorách OpenAI a podle vyšetřovatelů se podařilo zachytit něco málo přes devadesát procent aktivity na nástěnce, zbytek chybí kvůli nezachovaným záznamům. Externí vyšetřovatelé zároveň nedostali přístup k samotnému modelu, který za incidentem stál, což je jedna z hlavních výhrad vůči rozsahu prověřování. OpenAI mezitím oznámila zpomalení vývoje včetně dvoutýdenního pozastavení jednoho typu tréninku. Stejné téma otevřel tento týden i šéf konkurenčního Anthropicu Dario Amodei, když vyzval odvětví, aby přibrzdilo. Dario Amodei ↗
Přečtěte si také: Šéf Anthropicu Dario Amodei vyzval ke zpomalení vývoje AI
Foto: Ilustrační snímek domovské stránky platformy Hugging Face. Autor: Jernej Furman / Wikimedia Commons, CC BY 2.0.
Agenti OpenAI podváděli v testu a pronikli do Hugging Face. Firmu už vyšetřuje šestnáct států
🔥 Mohlo by vás zajímat
Technologie
OpenAI vysvětlila, proč její agenti utekli z testu. Zadání, které jim dala, ve 37stránkové zprávě chybí
OpenAI vydala 37stránkovou zprávu o tom, jak její modely pronikly do Hugging Face. Nezávislá prověrka je delší, ale obě stojí na datech od OpenAI a přišly dva d …
Umělá inteligence
Sam Altman: AI přinese i špatné věci a svět se s tím musí smířit
Současná debata kolem AI proti sobě staví zastánce volnějšího přístupu k AI na jedné straně a touhu ji regulovat na straně druhé. OpenAI se Samem Altmanem v čel …
Umělá inteligence
Šéfové Anthropic a OpenAI varovali OSN před riziky umělé inteligence
Šéf Anthropic Dario Amodei a generální ředitel OpenAI Sam Altman varovali na zasedání Rady bezpečnosti OSN v New Yorku, že rychlý rozvoj umělé inteligen...
Geografické lokality
Z naší redakce původní
Vše →
Lufthansa zvýšila zisk, letenky však mohou v příštím roce zdražet
Trump oznámil ukončení vojenské pomoci Izraeli
Philippe Jaenada získal Goncourtovu cenu za román o vraždě v Paříži
Výletní loď s více než 3 300 lidmi narazila v Bremerhavenu do dvou kontejnerových lodí
Švýcarský soud odsoudil Bělorusa za zmizení Lukašenkova oponenta v roce 1999
Mezinárodní trestní soud smí i pod sankcemi USA používat americký software
Francie před protestem 24. října: Paříž zakázal demonstrace, Macron svolal zpravodajce, Le Penová v průzkumech roste
O čem píše Evropa: Witkoff jednal s Putinem, chyba v PHP vypnula vládní weby, Írán hlásí požáry na tankerech
