Подправени роботи на ИИ

Собствениците на сайтове броят „GPTBot“, „ClaudeBot“ или „ChatGPT-User“ в журналите си за достъп като доказателство, че системи с ИИ ги четат или цитират. User-Agent е свободен текст. Проверихме всяка заявка, представяща се за един от 23 робота на ИИ или на търсачки, на три малки продукционни сайта (16 548 заявки; един журнал за 68 дни, два за 7–9 дни, плюс 30-дневен изглед от периферията на мрежата на Cloudflare) по метода за проверка, публикуван от самия оператор: JSON файлове с диапазони от IP адреси и обратен DNS с потвърждение в права посока. 39,3% от твърденията са били подправени (44,3% от тези, които е можело да бъдат проверени), 49,5% – потвърдени, 11,2% – непроверими или неопределени. Ботовете, стартирани от потребителя – имената, които най-често се тълкуват като сигнал за „цитиране от ИИ“ – се представиха най-зле: 67,8% подправени, а Claude-User, Perplexity-User, MistralAI-User и DuckAssistBot бяха истински в 0–4,2% от случаите. Google-Extended, токен, за който Google заявява, че никога не се изпраща като User-Agent, се появи 371 пъти. Цялото подправяне идваше от най-много 54 адреса, 81% от тях в облачни/хостинг мрежи (само клиентското адресно пространство на един доставчик на облачни услуги: 66%); 97% от подправените заявки идваха от източници, които търсеха и идентификационни данни (.env, config.json, service-account.json), а 92% – от източници, които сменяха идентичностите на няколко оператора. На основния сайт, в периферията на CDN, подправеният обем беше 3,1× по-голям от това, което регистрира сървърът източник; настройките по подразбиране на безплатния план блокираха 0,7% от него. Публикуваме ai-bot-verify – верификатор без зависимости за всеки журнал за достъп, който извежда само агрегирани данни и отказва да записва IP адреси.