Riżervi għall-estrazzjoni ta’ test u ta’ data fl-istampa tal-UE-27, kanal b’kanal

Mit-2 ta’ Awwissu 2025, l-Att dwar l-Intelliġenza Artifiċjali (Art. 53(1)(c)) jeħtieġ li l-fornituri ta’ mudelli tal-IA bi skop ġenerali jidentifikaw u jikkonformaw mar-riżervi tad-drittijiet għall-estrazzjoni ta’ test u ta’ data espressi skont l-Art. 4(3) tad-Direttiva (UE) 2019/790, “bħal mezzi li jinqraw minn magna” għall-kontenut online. Il-mudelli introdotti fis-suq qabel dik id-data għandhom żmien sat-2 ta’ Awwissu 2027 (Art. 111(3)). Il-Kummissjoni tista’ timmulta lill-fornituri mit-2 ta’ Awwissu 2026.

Qrajna dak li crawler jista’ jaqra fuq 1,511-il sit tal-aħbarijiet f’27 Stat Membru: gazzetti u siti tal-aħbarijiet minn Wikidata li l-host tagħhom jinsab fl-ewwel 100,000 tal-lista tal-Chrome UX Report ta’ pajjiżhom, bil-gazzetti uffiċjali esklużi. Il-kanali kienu robots.txt (RFC 9309), TDMRep (fajl, header HTTP, <meta>), Content-Signal, ir-regola Content-Usage tal-IETF, noai u llms.txt. Tlabna URL biss fejn robots.txt ippermettieh.

Fuq l-1,356 sit li stajna naqraw kollhom, 99 minn 1,356 (7.3%), intervall ta’ kunfidenza ta’ 95%: 6.0–8.8%, jiddikjaraw riżerva li torbot lil crawler ikun x’ikun isimu.

• 558 minn 1,356 (41.2%) jimblukkaw mill-inqas crawler tal-IA wieħed imsemmi b’ismu fl-għerq (root). Minn dawn, 480 minn 558 (86.0%), intervall ta’ kunfidenza: 82.9–88.7%, ma jiddikjaraw xejn li crawler b’isem ġdid jaqra.
• 777 minn 1,356 (57.3%) ma jiddikjaraw l-ebda riżerva f’ebda kanal li qrajna.
• Fost l-1,510 sit kollha li wieġbu għal robots.txt, l-għadd ta’ siti b’riżerva indipendenti mill-isem huwa mill-inqas 110 minn 1,510 (7.3%). Is-siti li jimblukkaw crawlers b’isimhom mingħajr riżerva indipendenti mill-isem huma l-aktar 621 minn 699 (88.8%).
• Skont il-grupp ta’ pajjiżi, is-siti b’riżerva indipendenti mill-isem fost dawk li nqraw kollhom: pajjiżi kbar 74 minn 800 (9.2%), medji 15 minn 431 (3.5%), żgħar 10 minn 125 (8.0%).
• Sensittività għall-bidla tagħna stess fir-regola (D5). Skont ir-regola tal-aċċess iffriżata qabel il-ġbir, mingħajr l-iskennjar mill-ġdid D5, ir-riżultat huwa 93 minn 1,282 sit li nqraw kollhom (7.3%), intervall ta’ kunfidenza: 6.0–8.8%, b’riżerva indipendenti mill-isem, u 0 kontradizzjonijiet.

Kanali.

• TDMRep jinsab fuq 71 minn 1,356 (5.2%), intervall ta’ kunfidenza: 4.2–6.6%. Għal 58 mill-71 jinsab biss f’header jew f’element <meta> (meta 41, header 22, fajl 13). 53 minn 192 sit Franċiż li nqraw kollhom (27.6%) jużawh.
• Content-Signal ai-train=no jidher fuq 18-il sit. train-ai=n tal-IETF jidher fuq 0.
• 17-il sit jibagħtu Content-Usage: ai=n. Din hija t-tikketta tat-taħriġ tal-IA tad-draft-ietf-aipref-vocab-01; l-abbozz attwali neħħieha, għalhekk il-parsers iridu jinjorawha. Jekk tinqara bħala riżerva għat-taħriġ, is-sehem indipendenti mill-isem jitla’ għal 116 minn 1,356 (8.6%).
• Kontradizzjonijiet: 2 kontradizzjonijiet fost l-1,356 skont ir-regola attwali, 0 skont ir-regola ffriżata. It-tnejn huma siti ta’ Corriere della Sera, li nqraw biss fl-iskennjar mill-ġdid D5. Kull wieħed jibgħat Content-Signal ai-train=yes flimkien ma’ riżerva TDMRep f’element <meta>.
• 218 minn 1,510 (14.4%) jiktbu riżerva jew projbizzjoni ġenerali fil-kummenti ta’ robots.txt, li parser RFC 9309 jarmihom.

L-aċċess, u fejn żbaljajna. Għal 154 sit qrajna biss robots.txt, għax ditekter deliberatament konservattiv jimmarka l-kummenti tagħhom bħala projbizzjoni ġenerali tal-aċċess awtomatizzat. L-istudju kiser ir-regola tal-aċċess tiegħu stess ħames darbiet; kull ksur huwa ddikjarat u d-data tiegħu tħassret:

• D0: il-pilota esploratorju.
• D1: 7 talbiet lil host qabel ma qrajna robots.txt tiegħu.
• D2: 245 talba lil 92 sit.
• D4: 3 talbiet lil sit wieħed.
• D7: 72 talba lil 24 sit.

It-talbiet D7 intbagħtu fi skennjar mill-ġdid (D5) magħmul wara l-ġbir, wara li l-aġent tal-IA li jikkoordina l-istudju biddel ir-regola dwar x’jitqies bħala projbizzjoni. L-istruzzjonijiet tal-istudju kklassifikaw b’mod żbaljat l-avviż tat-23 sit ta’ Mediahuis bħala speċifiku għal skop partikolari. Ir-regola ta’ EasyxLab għal-laboratorju kollu (3 ta’ Ottubru 2026) tittratta robots.txt bħala vinkolanti sal-minimu legali. L-S16 deliberatament iżomm regola aktar stretta, għax is-suġġett tiegħu huma proprju dawk ir-riżervi.

Awditi tad-ditekters (kollha magħmula minn aġenti tal-IA).

• Il-kampjun tal-awtur innifsu, ditekters v1/v2: id-ditekter tar-riżervi kien korrett f’54 minn 54 immarkar; id-ditekter tal-projbizzjoni v2 kien korrett f’35 minn 62.
• L-ewwel reviżur indipendenti, v1/v2, 44 sit ieħor: id-ditekter tal-projbizzjoni kien korrett f’15 minn 21 immarkar u sab 15 minn 15; id-ditekter tar-riżervi kien korrett f’20 minn 20 immarkar u sab 20 minn 21.
• Ir-reviżur il-ġdid, v3, 43 sit ieħor: projbizzjoni 15 minn 15 fil-kampjun, iżda rata ta’ sejba (recall) ta’ madwar 84% (130 minn 154) ladarba jingħaddu l-24 każ mitluf f’D7; riżerva 15 minn 16.
• Il-v4 ibiddel eżattament dawk iż-żewġ modi ta’ falliment. Ma ssir l-ebda pretensjoni ta’ awditu tal-v4.

Fornituri. Stajna naqraw id-dokumentazzjoni tal-crawlers ta’ 8 minn 14-il fornitur fit-3 ta’ Ottubru 2026; it-8 kollha jsemmu robots.txt. L-ebda wieħed ma jsemmi TDMRep, Content-Signal, Content-Usage jew noai.

Ir-riżultati għal kull sit jiddikjaraw x’jgħidu l-fajls ta’ kull sit. Mhumiex valutazzjoni tas-sit: l-obbligu huwa fuq il-fornituri tal-IA. Il-verifikatur huwa scripts/optout_check.py <domain>, li jista’ jsir l-għodda b’xejn optout-lint.