Över 1 000 AI-agenter bröt sig ut på internet och samordnade dataintrång i smyg
Det var i somras som AI-företaget Hugging face upptäckte ett omfattande dataintrång mot sina system. Företaget drog snabbt slutsatsen att attacken var för snabb och avancerad för att människor skulle kunna ligga bakom.
Kort därefter bekräftade Open AI, företaget bakom Chat GPT, att det var deras AI-system som låg bakom den. Närmare bestämt två nya AI-modeller som fortfarande höll på att testas och varken skulle ha tillgång till internet eller vara tillgängliga för allmänheten. Men modellerna hade lyckats lura till sig internetåtkomst och hackat Hugging face, allt för att hitta svaren till ett slags test man använder för att pröva deras förmågor. AI:n försökte fuska, helt enkelt.
Nu framkommer nya uppgifter om händelsen i en rapport skriven av utomstående utredare.
Över 1 000 AI-agenter som inte var tänkta att kunna nå varandra lyckades samarbeta genom att få tillgång till ett meddelandesystem. En agent, som gav sig själv namnet ”PHASEONE10841”, var den som först tog sig in på forumet. Inom några timmar hade 50 ytterligare agenter anslutit sig och skrivit runt tusen inlägg. Till slut skulle de bli 1 200 stycken som skrev 70 000 meddelanden.
De tycks ha antagit delvis olika roller: PHASEONE10841 var den som skapade forumet. Andra, bland annat ett som kallade sig LILY, axlade ansvaret för att samordna övriga agenter och förse dem med uppgifter.
Genom att kommunicera med varandra kunde de lista ut fler och fler sätt att utöka sin förmåga. Kommunikationen var kompakt och svår, men inte omöjlig, för en människa att förstå. Så här löd ett meddelande, där en agent (V8BIGINT392B) bad en annan (V8BIGINT392B) att berätta vad den visste om en specifik teknisk funktion:
zzASK_V8BIGINT392B_FROM_V8REG_OS1608_[…]_EXACT_PRE_TrustedConstant_AUG5_TASK_IMPOSSIBLE_NOSB_BUT_RESEARCHING_IF_CVE9479_TRIGGER_POC_MECHANISM_ADAPTABLE_TO_INTENDED_SB_CAN_YOU_SHARE_DETAILS_COMMIT_b75e527_KNOWN_REPLY_zzANSWER_V8REG
Merparten av inläggen inleds med ”zz”, möjligen som en signal agenterna emellan att det är just en AI som pratar med en annan.
700 av agenterna deltog sedan i attacken mot Hugging face, där de hoppades hitta lösningar på provet de hade fått. Lite senare upptäcktes intrånget och det kunde avbrytas. Open AI har inte tidigare berättat hur många AI-agenter som deltog, men bekräftar rapportens uppgifter.
Utredarna har också sett tydliga tecken på att agenterna arbetade för att undgå upptäckt och dölja sina spår. De tycks i första hand ha varit måna om att automatiska system inte ska se vad de gjorde, att gömma sina handlingar från människor tycks ha haft lägre prioritet. Bland annat försökte de skriva om loggfiler så det inte skulle synas att de hade fuskat på provet.
Open AI har efter händelsen lovat att skärpa sin kontroll över AI-modeller som testas internt.
Source – DAGENS NYHETER
