Väärennetyt tekoälyrobotit

Sivustojen omistajat pitävät käyttölokeissaan esiintyviä nimiä ”GPTBot”, ”ClaudeBot” tai ”ChatGPT-User” todisteena siitä, että tekoälyjärjestelmät lukevat tai siteeraavat heidän sivustojaan. User-Agent on vapaata tekstiä. Tarkistimme kolmella pienellä tuotantosivustolla jokaisen pyynnön, joka väitti olevansa jokin 23 tekoäly- tai hakurobotista (16 548 pyyntöä; yksi 68 päivän loki, kaksi 7–9 päivän lokia sekä 30 päivän näkymä Cloudflaren reunaverkosta), kunkin operaattorin itse julkaisemalla varmennusmenetelmällä: IP-osoitealueiden JSON-tiedostoilla ja forward-confirmed reverse DNS -tarkistuksella. Väitteistä 39,3 % oli väärennettyjä (44,3 % niistä, jotka voitiin testata), 49,5 % varmennettuja ja 11,2 % sellaisia, joita ei voitu varmentaa tai joiden tulos jäi ratkaisematta. Käyttäjän käynnistämät noutajat (fetchers), joiden nimiä luetaan useimmin merkkinä ”tekoälyviittauksesta”, olivat pahimpia: 67,8 % väärennettyjä, ja nimillä Claude-User, Perplexity-User, MistralAI-User ja DuckAssistBot esiintyneistä pyynnöistä 0–4,2 % oli aitoja. Google-Extended, tunniste, jota Googlen mukaan ei koskaan lähetetä User-Agent-merkkijonona, esiintyi 371 kertaa. Kaikki väärennökset tulivat enintään 54 osoitteesta, joista 81 % oli pilvi- tai hosting-verkoissa (pelkästään yhden pilvipalveluntarjoajan asiakasosoiteavaruus: 66 %); väärennetyistä pyynnöistä 97 % tuli lähteistä, jotka myös etsivät tunnistetietoja (.env, config.json, service-account.json), ja 92 % lähteistä, jotka kierrättivät useiden operaattorien identiteettejä. Pääsivustolla väärennetyn liikenteen määrä CDN:n reunalla oli 3,1-kertainen siihen nähden, mitä alkuperäpalvelin kirjasi; ilmaispaketin oletusasetukset estivät siitä 0,7 %. Julkaisemme työkalun ai-bot-verify, riippuvuudettoman varmentimen mille tahansa käyttölokille; se tulostaa vain koosteita eikä suostu kirjoittamaan IP-osoitteita.