Podvrhnuté crawlery AI

Majitelia webov počítajú „GPTBot“, „ClaudeBot“ alebo „ChatGPT-User“ vo svojich prístupových logoch ako dôkaz, že ich systémy AI čítajú alebo citujú. User-Agent je voľný text. Každú požiadavku, ktorá sa vydávala za jeden z 23 crawlerov AI alebo vyhľadávačov na troch malých produkčných weboch (16 548 požiadaviek; jeden 68-dňový log, dva 7- až 9-dňové logy a k tomu 30-dňový pohľad z okraja siete Cloudflare), sme overili metódou, ktorú zverejnil každý prevádzkovateľ: súbormi JSON s rozsahmi IP a reverzným DNS s dopredným potvrdením. 39,3 % tvrdení bolo podvrhnutých (44,3 % z tých, ktoré bolo možné otestovať), 49,5 % overených, 11,2 % neoveriteľných alebo nerozhodnuteľných. Najhoršie dopadli boty spúšťané používateľom, teda mená, ktoré sa najčastejšie vykladajú ako signál „citácie AI“: 67,8 % podvrhnutých a pri Claude-User, Perplexity-User, MistralAI-User a DuckAssistBot bolo pravých 0–4,2 %. Google-Extended, token, o ktorom Google uvádza, že sa nikdy neposiela ako User-Agent, sa objavil 371-krát. Všetky podvrhy pochádzali z najviac 54 adries, z toho 81 % v cloudových/hostingových sieťach (samotný adresný priestor zákazníkov jedného poskytovateľa cloudu: 66 %); 97 % podvrhnutých požiadaviek pochádzalo zo zdrojov, ktoré zároveň pátrali po prihlasovacích údajoch (.env, config.json, service-account.json), a 92 % zo zdrojov, ktoré striedali identity viacerých prevádzkovateľov. Na hlavnom webe bol na okraji CDN objem podvrhov 3,1× väčší, než zaznamenal zdrojový server; predvolené nastavenia bezplatného plánu z neho zablokovali 0,7 %. Zverejňujeme ai-bot-verify, overovač bez závislostí pre ľubovoľný prístupový log, ktorý vypisuje iba agregované údaje a odmieta zapisovať IP adresy.