Lažni crawleri UI-ja

Vlasnici mrežnih mjesta u svojim zapisnicima pristupa broje „GPTBot“, „ClaudeBot“ ili „ChatGPT-User“ kao dokaz da ih sustavi UI-ja čitaju ili citiraju. User-Agent je slobodan tekst. Svaki zahtjev koji se predstavljao kao jedan od 23 crawlera UI-ja ili tražilica na trima malim produkcijskim mrežnim mjestima (16.548 zahtjeva; jedan zapisnik od 68 dana, dva od 7–9 dana te 30-dnevni prikaz s ruba mreže Cloudflare) provjerili smo metodom provjere koju je objavio svaki pojedini operater: datotekama JSON s rasponima IP adresa i obrnutim DNS-om potvrđenim unaprijed. 39,3 % tvrdnji bilo je lažno (44,3 % od onih koje je bilo moguće testirati), 49,5 % provjereno, 11,2 % neprovjerljivo ili neodređeno. Najlošije su prošli botovi koje pokreće korisnik, imena koja se najčešće tumače kao signal „citiranja u UI-ju“: 67,8 % lažnih, a Claude-User, Perplexity-User, MistralAI-User i DuckAssistBot bili su pravi u 0–4,2 % slučajeva. Google-Extended, token za koji Google navodi da se nikad ne šalje kao User-Agent, pojavio se 371 put. Sve lažno predstavljanje došlo je s najviše 54 adrese, od kojih 81 % u mrežama oblaka/hostinga (sam adresni prostor korisnika jednog pružatelja usluga u oblaku: 66 %); 97 % lažnih zahtjeva došlo je iz izvora koji su također tražili vjerodajnice (.env, config.json, service-account.json), a 92 % iz izvora koji su izmjenjivali identitete nekoliko operatera. Na glavnom mrežnom mjestu, na rubu CDN-a, lažni je obujam bio 3,1× veći od onoga što je zabilježio izvorni poslužitelj; zadane postavke besplatnog paketa blokirale su 0,7 % tog obujma. Objavljujemo ai-bot-verify, verifikator bez ovisnosti za bilo koji zapisnik pristupa koji ispisuje samo agregate i odbija zapisivati IP adrese.