Pētījumi / S2
Viltoti MI rāpuļi
Cik liela daļa trafika, kas uzdodas par MI vai meklētājprogrammas rāpuli, ir īsta?
Kopsavilkums
Vietņu īpašnieki savos piekļuves žurnālos skaita „GPTBot“, „ClaudeBot“ vai „ChatGPT-User“ kā pierādījumu, ka MI sistēmas tos lasa vai citē. User-Agent ir brīvs teksts. Trijās nelielās produkcijas vietnēs mēs pārbaudījām katru pieprasījumu, kas uzdevās par vienu no 23 MI vai meklētājprogrammu rāpuļiem (16 548 pieprasījumi; viens 68 dienu žurnāls, divi 7–9 dienu žurnāli un 30 dienu Cloudflare malas (edge) skats), ar katra operatora paša publicēto verifikācijas metodi — IP diapazonu JSON failiem un uz priekšu apstiprinātu reverso DNS (forward-confirmed reverse DNS). 39,3 % apgalvojumu bija viltoti (44,3 % no tiem, kurus varēja pārbaudīt), 49,5 % verificēti, 11,2 % nepārbaudāmi vai nenoteikti. Lietotāja iniciētie ielādes aģenti — nosaukumi, ko visbiežāk uztver kā „MI citēšanas“ signālu, — bija vissliktākie: 67,8 % viltoti, un Claude-User, Perplexity-User, MistralAI-User un DuckAssistBot bija īsti 0–4,2 % gadījumu. Google-Extended — žetons, ko Google, pēc tās teiktā, nekad nesūta kā User-Agent, — parādījās 371 reizi. Visa viltošana nāca no ne vairāk kā 54 adresēm, 81 % no tām mākoņdatošanas vai mitināšanas tīklos (viena mākoņpakalpojumu sniedzēja klientu adrešu telpa vien: 66 %); 97 % viltoto pieprasījumu nāca no avotiem, kas arī meklēja piekļuves datus (.env, config.json, service-account.json), un 92 % — no avotiem, kas mainīja vairāku operatoru identitātes. Galvenajā vietnē CDN malā viltotais apjoms bija 3,1 reizes lielāks nekā tas, ko reģistrēja izcelsmes serveris; bezmaksas plāna noklusējuma iestatījumi bloķēja 0,7 % no tā. Mēs publicējam ai-bot-verify — verificētāju bez atkarībām jebkuram piekļuves žurnālam, kas izvada tikai apkopotus datus un atsakās rakstīt IP adreses.
Citējiet šo pētījumu
EasyxLab (2026). Spoofed AI crawlers. Study S2. EasyByte Hub S. Coop. Mad. https://github.com/easybytehub/easyxlab/tree/main/studies/s2-spoofed-ai-crawlers@techreport{easyxlab_s2,
title = {Spoofed AI crawlers},
author = {{EasyxLab}},
institution = {EasyByte Hub S. Coop. Mad.},
number = {S2},
year = {2026},
url = {https://github.com/easybytehub/easyxlab/tree/main/studies/s2-spoofed-ai-crawlers}
}