Vervalste AI-crawlers

Site-eigenaren tellen “GPTBot”, “ClaudeBot” of “ChatGPT-User” in hun toegangslogs als bewijs dat AI-systemen hen lezen of citeren. De User-Agent is vrije tekst. We hebben op drie kleine productiewebsites elk verzoek dat beweerde een van 23 AI- of zoekcrawlers te zijn (16.548 verzoeken; één log van 68 dagen, twee van 7–9 dagen, plus een Cloudflare-edgeweergave van 30 dagen) getoetst aan de verificatiemethode die elke exploitant zelf publiceert: JSON-bestanden met IP-bereiken en forward-confirmed reverse DNS. 39,3% van de claims was vervalst (44,3% van de claims die getest konden worden), 49,5% geverifieerd, 11,2% niet verifieerbaar of onbepaald. Door gebruikers geïnitieerde fetchers, de namen die het vaakst als signaal van een “AI-citatie” worden gelezen, scoorden het slechtst: 67,8% vervalst, en Claude-User, Perplexity-User, MistralAI-User en DuckAssistBot waren voor 0–4,2% echt. Google-Extended, een token dat volgens Google nooit als User-Agent wordt verstuurd, kwam 371 keer voor. Alle vervalsing kwam van hoogstens 54 adressen, 81% in cloud- en hostingnetwerken (de klantruimte van één cloudprovider alleen al: 66%); 97% van de vervalste verzoeken kwam van bronnen die ook naar inloggegevens zochten (.env, config.json, service-account.json) en 92% van bronnen die afwisselend de identiteit van verschillende exploitanten aannamen. Op de hoofdsite was het vervalste volume aan de CDN-edge 3,1 keer zo groot als wat de oorspronkelijke server registreerde; de standaardinstellingen van het gratis abonnement blokkeerden daar 0,7% van. We publiceren ai-bot-verify, een verificatietool zonder afhankelijkheden voor elk toegangslog, die alleen aggregaten uitvoert en weigert IP-adressen weg te schrijven.