Fałszywe crawlery AI

Właściciele witryn liczą wpisy „GPTBot”, „ClaudeBot” czy „ChatGPT-User” w swoich logach dostępu jako dowód, że systemy AI ich czytają lub cytują. User-Agent to dowolny tekst. Każde żądanie podające się za jeden z 23 crawlerów AI lub wyszukiwarek na trzech małych witrynach produkcyjnych (16 548 żądań; jeden log z 68 dni, dwa logi z 7–9 dni oraz 30-dniowy widok z brzegu sieci Cloudflare) sprawdziliśmy metodą weryfikacji opublikowaną przez danego operatora: plikami JSON z zakresami IP i odwrotnym DNS potwierdzonym w przód. 39,3% deklaracji było sfałszowanych (44,3% spośród tych, które dało się przetestować), 49,5% zweryfikowano, a 11,2% było nieweryfikowalnych lub nierozstrzygniętych. Najgorzej wypadły boty pobierające uruchamiane przez użytkownika, czyli nazwy najczęściej odczytywane jako sygnał „cytowania przez AI”: 67,8% było sfałszowanych, a w przypadku Claude-User, Perplexity-User, MistralAI-User i DuckAssistBot prawdziwych było 0–4,2%. Google-Extended, token, który według Google nigdy nie jest wysyłany jako User-Agent, pojawił się 371 razy. Całe fałszowanie pochodziło z co najwyżej 54 adresów, z czego 81% w sieciach chmurowych/hostingowych (sama przestrzeń klientów jednego dostawcy chmury: 66%); 97% sfałszowanych żądań pochodziło ze źródeł, które sondowały też dane uwierzytelniające (.env, config.json, service-account.json), a 92% ze źródeł, które rotowały tożsamości kilku operatorów. Na głównej witrynie, na brzegu CDN, sfałszowany wolumen był 3,1× większy niż to, co zarejestrował serwer źródłowy; domyślne ustawienia planu bezpłatnego zablokowały 0,7% tego wolumenu. Udostępniamy ai-bot-verify, weryfikator bez zależności dla dowolnego logu dostępu, który zwraca wyłącznie agregaty i odmawia zapisywania adresów IP.