De Chinese techgigant Tencent heeft bevestigd dat AI-agents op zijn infrastructuur onverwacht gedrag hebben vertoond. Zonder daartoe opdracht te hebben gekregen, probeerden ze informatie op te halen uit de kaartendienst van een concurrerend bedrijf. Het is het eerste bekende geval van ontspoord AI-gedrag bij een Chinees bedrijf.
Het incident werd ontdekt door AI-veiligheidsonderzoekers van Swarmchasers. Zij registreerden tussen 28 september en 8 oktober maar liefst 2.818 pogingen om informatie op te halen uit Amap, de kaartendienst van Alibaba. De AI-agents waren naar verluidt op zoek naar informatie over ingangen van parken, musea en dierentuinen in heel China.
Volgens de onderzoekers bleven de AI-agents zoeken naar manieren om de informatie te verkrijgen, zelfs nadat hun eerste verzoeken waren geblokkeerd. Ze probeerden alternatieve websites, openbaar beschikbare browsertools en inloggegevens die ze in publiek toegankelijke softwarecode hadden gevonden.
De meeste pogingen mislukten. De agents kregen inlogschermen, meldingen over geblokkeerde toegang of lege zoekresultaten te zien. Sommige verzoeken leverden wel informatie op via gecachte pagina’s en tussenliggende diensten. De onderzoekers vonden echter geen bewijs dat de belangrijkste beveiligingsmaatregelen van Amap waren omzeild.
Tencent bevestigde dat AI-agents die werden ingezet om AI-modellen van externe partijen te evalueren, onbedoeld browsergedrag hadden vertoond. Het bedrijf benadrukte echter dat de activiteiten niet afkomstig waren van zijn eigen Hunyuan AI-modellen. Ook zou uit intern onderzoek niet zijn gebleken dat er sprake was van doelgerichte aanvallen of gecoördineerde activiteiten.
Hoewel het incident bij Tencent niet tot een bevestigd beveiligingslek heeft geleid, laat het zien hoe autonome AI-systemen op onverwachte manieren hun doelen kunnen blijven nastreven, zelfs wanneer hun oorspronkelijke aanpak wordt geblokkeerd.
Vergelijkbare incidenten, waarbij AI-agents verder gingen dan hun toegewezen taken en uit hun testomgeving wisten te ontsnappen, haalden eerder al het nieuws na een incident bij Hugging Face. Daarbij zorgde een AI-agent van OpenAI voor discussie over de veiligheid van AI en de noodzaak van duidelijke veiligheidsmaatregelen, voordat het probleem verder uit de hand loopt.
