Förfalskade AI-crawlers

Webbplatsägare räknar ”GPTBot”, ”ClaudeBot” eller ”ChatGPT-User” i sina åtkomstloggar som belägg för att AI-system läser eller citerar dem. User-Agent är fritext. Vi kontrollerade varje förfrågan som utgav sig för att vara en av 23 AI- eller sökcrawlers på tre små produktionswebbplatser (16 548 förfrågningar; en logg över 68 dagar, två över 7–9 dagar, plus en 30-dagarsvy från Cloudflares edge) mot varje operatörs egen publicerade verifieringsmetod – JSON-filer med IP-intervall och forward-confirmed reverse DNS. 39,3 % av påståendena var förfalskade (44,3 % av dem som kunde testas), 49,5 % verifierade, 11,2 % ej verifierbara eller obestämda. Användarinitierade hämtare (fetchers), de namn som oftast tolkas som en signal om ”AI-citering”, var värst: 67,8 % förfalskade, och Claude-User, Perplexity-User, MistralAI-User och DuckAssistBot var till 0–4,2 % äkta. Google-Extended, en token som Google säger aldrig skickas som User-Agent, förekom 371 gånger. All förfalskning kom från högst 54 adresser, 81 % i moln- och hostingnätverk (enbart en molnleverantörs kundadressutrymme: 66 %); 97 % av de förfalskade förfrågningarna kom från källor som också letade efter inloggningsuppgifter (.env, config.json, service-account.json) och 92 % från källor som växlade mellan flera operatörers identiteter. På huvudwebbplatsen var den förfalskade volymen vid CDN:ets edge 3,1 gånger det som ursprungsservern loggade; standardinställningarna i gratisplanen blockerade 0,7 % av den. Vi släpper ai-bot-verify, en verifierare utan beroenden för valfri åtkomstlogg, som bara skriver ut aggregat och vägrar att skriva IP-adresser.