Gefälschte KI-Crawler

Websitebetreiber werten „GPTBot“, „ClaudeBot“ oder „ChatGPT-User“ in ihren Zugriffsprotokollen als Beleg dafür, dass KI-Systeme sie lesen oder zitieren. Der User-Agent ist freier Text. Wir haben jede Anfrage, die sich als einer von 23 KI- oder Such-Crawlern ausgab, auf drei kleinen Produktiv-Websites (16.548 Anfragen; ein Protokoll über 68 Tage, zwei über 7–9 Tage, dazu eine 30-tägige Sicht auf die Cloudflare-Edge) mit der Verifizierungsmethode geprüft, die der jeweilige Betreiber selbst veröffentlicht – JSON-Dateien mit IP-Bereichen und Forward-Confirmed Reverse DNS. 39,3 % der Behauptungen waren gefälscht (44,3 % derjenigen, die geprüft werden konnten), 49,5 % verifiziert, 11,2 % nicht verifizierbar oder unbestimmt. Von Nutzern ausgelöste Fetcher, also die Namen, die am häufigsten als Signal für eine „KI-Zitierung“ gelesen werden, schnitten am schlechtesten ab: 67,8 % gefälscht, und Claude-User, Perplexity-User, MistralAI-User und DuckAssistBot waren zu 0–4,2 % echt. Google-Extended, ein Token, das laut Google nie als User-Agent gesendet wird, tauchte 371-mal auf. Alle Fälschungen kamen von höchstens 54 Adressen, 81 % davon in Cloud- und Hosting-Netzen (allein der Kundenadressraum eines einzigen Cloud-Anbieters: 66 %); 97 % der gefälschten Anfragen kamen von Quellen, die auch nach Zugangsdaten suchten (.env, config.json, service-account.json), und 92 % von Quellen, die reihum die Identitäten mehrerer Betreiber annahmen. Auf der Hauptwebsite war das gefälschte Volumen an der CDN-Edge das 3,1-Fache dessen, was der Ursprungsserver protokollierte; die Standardeinstellungen des kostenlosen Tarifs blockierten 0,7 % davon. Wir veröffentlichen ai-bot-verify, einen Verifizierer ohne Abhängigkeiten für beliebige Zugriffsprotokolle, der nur Aggregate ausgibt und sich weigert, IP-Adressen zu schreiben.