Võltsitud TI-roomikud

Saitide omanikud peavad oma juurdepääsulogides esinevaid nimesid „GPTBot“, „ClaudeBot“ või „ChatGPT-User“ tõendiks, et TI-süsteemid loevad või tsiteerivad neid. User-Agent on vaba tekst. Kontrollisime kolmel väikesel tootmissaidil iga päringut, mis väitis end olevat üks 23 TI- või otsinguroomikust (16 548 päringut; üks 68-päevane logi, kaks 7–9-päevast logi ning lisaks 30-päevane vaade Cloudflare'i servavõrgust), iga operaatori enda avaldatud kontrollimeetodiga – IP-vahemike JSON-failide ja forward-confirmed reverse DNS kontrolliga. 39,3% väidetest olid võltsitud (44,3% neist, mida sai kontrollida), 49,5% kinnitatud ning 11,2% kontrollimatud või määramata. Kasutaja algatatud päringuagendid (fetchers), mille nimesid loetakse kõige sagedamini „TI-tsiteerimise“ signaaliks, olid halvimad: 67,8% võltsitud ning nimede Claude-User, Perplexity-User, MistralAI-User ja DuckAssistBot all saabunud päringutest olid ehtsad 0–4,2%. Google-Extended, tunnus, mida Google'i sõnul ei saadeta kunagi User-Agent väärtusena, esines 371 korda. Kogu võltsimine pärines kõige rohkem 54 aadressilt, millest 81% asus pilve- või majutusvõrkudes (ainuüksi ühe pilveteenuse pakkuja kliendiaadressiruum: 66%); 97% võltsitud päringutest pärines allikatest, mis otsisid ka ligipääsuandmeid (.env, config.json, service-account.json), ja 92% allikatest, mis kasutasid vaheldumisi mitme operaatori identiteeti. Põhisaidil oli võltsitud maht CDN-i servas 3,1-kordne võrreldes sellega, mida lähteserver logis; tasuta paketi vaikeseaded blokeerisid sellest 0,7%. Avaldame tööriista ai-bot-verify, sõltuvusteta kontrollija mis tahes juurdepääsulogi jaoks, mis väljastab ainult koondandmeid ja keeldub IP-aadresse kirjutamast.