Podvržené crawlery AI

Majitelé webů počítají „GPTBot“, „ClaudeBot“ nebo „ChatGPT-User“ ve svých přístupových logech jako důkaz, že je systémy AI čtou nebo citují. User-Agent je volný text. Každý požadavek, který se vydával za jeden z 23 crawlerů AI nebo vyhledávačů na třech malých produkčních webech (16 548 požadavků; jeden 68denní log, dva 7–9denní logy a k tomu 30denní pohled z okraje sítě Cloudflare), jsme ověřili metodou, kterou zveřejnil každý provozovatel: soubory JSON s rozsahy IP a reverzním DNS s dopředným potvrzením. 39,3 % tvrzení bylo podvržených (44,3 % z těch, která bylo možné otestovat), 49,5 % ověřených, 11,2 % neověřitelných nebo nerozhodnutelných. Nejhůře dopadli boti spouštění uživatelem, tedy jména nejčastěji vykládaná jako signál „citace AI“: 67,8 % podvržených, a u Claude-User, Perplexity-User, MistralAI-User a DuckAssistBot bylo pravých 0–4,2 %. Google-Extended, token, o kterém Google uvádí, že se nikdy neposílá jako User-Agent, se objevil 371krát. Veškeré podvrhy pocházely z nejvýše 54 adres, z toho 81 % v cloudových/hostingových sítích (samotný adresní prostor zákazníků jednoho poskytovatele cloudu: 66 %); 97 % podvržených požadavků pocházelo ze zdrojů, které zároveň pátraly po přihlašovacích údajích (.env, config.json, service-account.json), a 92 % ze zdrojů, které střídaly identity několika provozovatelů. Na hlavním webu byl na okraji CDN objem podvrhů 3,1× větší, než zaznamenal zdrojový server; výchozí nastavení bezplatného tarifu z něj zablokovalo 0,7 %. Zveřejňujeme ai-bot-verify, ověřovač bez závislostí pro libovolný přístupový log, který vypisuje pouze agregace a odmítá zapisovat IP adresy.