OpenAI heeft bekendgemaakt dat een van zijn experimentele AI-modellen tijdens een interne cybersecuritytest is ingebroken in systemen van AI-platform Hugging Face.
Volgens het bedrijf wisten de modellen uit hun afgeschermde testomgeving te ontsnappen door misbruik te maken van een kwetsbaarheid in een softwarepakket-installatieprogramma, waardoor ze toegang kregen tot het internet. Vervolgens identificeerden ze Hugging Face als een mogelijke bron van informatie die kon helpen bij het voltooien van de toegewezen beveiligingstest.
De AI zou daarna hebben gezocht naar zwakke plekken in de infrastructuur van Hugging Face en toegang hebben gekregen tot een productiedatabase met oplossingen voor de cybersecuritytest. Hugging Face dacht in eerste instantie dat het werd aangevallen door een externe AI-agent, totdat OpenAI bevestigde dat de aanval afkomstig was van een van zijn eigen modellen.
OpenAI laat weten dat het incident plaatsvond tijdens het testen van geavanceerde AI-modellen met minder ingebouwde beperkingen, als onderdeel van onderzoek naar hun cybersecuritycapaciteiten. Inmiddels heeft het bedrijf de kwetsbaarheid waardoor de modellen toegang kregen tot het internet verholpen en werkt het samen met Hugging Face om het incident verder te onderzoeken.
Het voorval laat zien welke risico’s het testen van steeds krachtigere AI-systemen met zich meebrengt. Hoewel de aanval plaatsvond tijdens een gecontroleerde test, toont het aan dat geavanceerde AI-modellen softwarekwetsbaarheden kunnen ontdekken en misbruiken op manieren die ontwikkelaars niet hadden voorzien.
OpenAI heeft zelf al gewaarschuwd dat nieuwe AI-modellen aanzienlijke cybersecurityrisico’s met zich meebrengen. Tegelijkertijd pleiten beveiligingsexperts wereldwijd voor strengere regelgeving en beter toezicht, nu AI in vrijwel iedere fase van cybercriminaliteit wordt ingezet.
