Suklastoti DI robotai

Svetainių savininkai prieigos žurnaluose skaičiuoja „GPTBot“, „ClaudeBot“ ar „ChatGPT-User“ kaip įrodymą, kad DI sistemos juos skaito ar cituoja. User-Agent yra laisvas tekstas. Trijose mažose veikiančiose svetainėse patikrinome kiekvieną užklausą, prisistačiusią vienu iš 23 DI ar paieškos robotų (16 548 užklausos; vienas 68 dienų žurnalas, du 7–9 dienų žurnalai ir 30 dienų Cloudflare tinklo krašto (edge) vaizdas), taikydami kiekvieno operatoriaus paties paskelbtą patikros metodą – IP diapazonų JSON failus ir pirmyn patvirtintą atvirkštinį DNS (forward-confirmed reverse DNS). 39,3 % teiginių buvo suklastoti (44,3 % tų, kuriuos buvo galima patikrinti), 49,5 % patvirtinti, 11,2 % nepatikrinami arba neapibrėžti. Naudotojo inicijuojami robotai – pavadinimai, dažniausiai laikomi „DI citavimo“ signalu, – buvo blogiausi: 67,8 % suklastoti, o Claude-User, Perplexity-User, MistralAI-User ir DuckAssistBot buvo tikri 0–4,2 % atvejų. Google-Extended – žetonas, kurio, pasak Google, niekada nesiunčiama kaip User-Agent, – pasirodė 371 kartą. Visas klastojimas kilo iš ne daugiau kaip 54 adresų, 81 % jų – debesijos ar prieglobos tinkluose (vien vieno debesijos paslaugų teikėjo klientų adresų erdvė: 66 %); 97 % suklastotų užklausų kilo iš šaltinių, kurie taip pat ieškojo prisijungimo duomenų (.env, config.json, service-account.json), o 92 % – iš šaltinių, kurie kaitaliojo kelių operatorių tapatybes. Pagrindinėje svetainėje, CDN tinklo krašte, suklastotas srautas buvo 3,1 karto didesnis, nei užregistravo pradinis serveris; nemokamo plano numatytosios nuostatos užblokavo 0,7 % jo. Skelbiame ai-bot-verify – priklausomybių neturintį tikrintuvą bet kokiam prieigos žurnalui, kuris pateikia tik suvestinius duomenis ir atsisako įrašyti IP adresus.