S2 — Crawlere IA falsificate

Rezumat

Proprietarii de site-uri numără „GPTBot”, „ClaudeBot” sau „ChatGPT-User” în jurnalele lor de acces drept dovadă că sistemele de IA le citesc sau le citează site-urile. Câmpul User-Agent este text liber. Am verificat fiecare cerere care pretindea că provine de la unul dintre 23 de crawlere de IA sau de căutare pe trei site-uri mici aflate în producție (16.548 de cereri; un jurnal de 68 de zile, două de 7–9 zile, plus o vedere de 30 de zile de la marginea rețelei Cloudflare) prin metoda de verificare publicată de fiecare operator: fișiere JSON cu intervale de IP și DNS invers confirmat direct. 39,3 % dintre identitățile declarate erau falsificate (44,3 % dintre cele care au putut fi testate), 49,5 % au fost verificate, iar 11,2 % erau neverificabile sau nedeterminate. Agenții inițiați de utilizator, numele citite cel mai des drept semnal de „citare de către IA”, au stat cel mai rău: 67,8 % falsificate, iar pentru Claude-User, Perplexity-User, MistralAI-User și DuckAssistBot ponderea autentică a fost de 0–4,2 %. Google-Extended, un token despre care Google spune că nu este trimis niciodată ca User-Agent, a apărut de 371 de ori. Toată falsificarea a provenit de la cel mult 54 de adrese, 81 % în rețele de cloud sau de găzduire (numai spațiul de clienți al unui singur furnizor de cloud: 66 %); 97 % dintre cererile falsificate au venit din surse care căutau și credențiale (.env, config.json, service-account.json), iar 92 % din surse care alternau identitățile mai multor operatori. Pe site-ul principal, la marginea CDN-ului, volumul falsificat a fost de 3,1 ori cel înregistrat de origine; setările implicite ale planului gratuit au blocat 0,7 % din acesta. Publicăm ai-bot-verify, un verificator fără dependențe pentru orice jurnal de acces, care produce doar agregate și refuză să scrie adrese IP.

Citați acest studiu

Citare

EasyxLab (2026). Spoofed AI crawlers. Study S2. EasyByte Hub S. Coop. Mad. https://github.com/easybytehub/easyxlab/tree/main/studies/s2-spoofed-ai-crawlers

BibTeX

@techreport{easyxlab_s2,
  title       = {Spoofed AI crawlers},
  author      = {{EasyxLab}},
  institution = {EasyByte Hub S. Coop. Mad.},
  number      = {S2},
  year        = {2026},
  url         = {https://github.com/easybytehub/easyxlab/tree/main/studies/s2-spoofed-ai-crawlers}
}

Rezumat

Citați acest studiu

Studii conexe