S7 — Kas Google'i AI Overviews ja AI Mode peavad sammu Hispaania õigusnormide muudatustega? Umbes iga kahekümnes vastus ei pidanud

Kokkuvõte

Esitasime Google'ile Hispaaniast ja hispaania keeles 101 küsimust 28 Hispaania õigusnormi kohta: 27 normi kohta, mis muutusid aastatel 2025–2026 (miinimumpalga, sotsiaalkindlustusmaksete, pensionide, sünnipuhkuse, tarbijate, liikluse, eluaseme ja arveldamise normid), ning ühe väljakuulutatud muudatuse kohta, mida kunagi ei tulnud. Iga AI Overviewsi (AIO) ja AI Mode'i vastust hinnati väljaandes Boletín Oficial del Estado avaldatud konsolideeritud õiguse alusel, nagu see kehtis 2. oktoobril 2026, mitte vastuses viidatud lehekülgede alusel. Sel õhtul tehti kolm mõõtmiskorda (606 tulemust), mis koguti kommertsliku SERP API kaudu. Üks norm, üürihindade korrigeerimise 2% ülempiir, kehtestati uuesti 1. oktoobril ja tunnistati kehtetuks 2. oktoobril; esitame selle eraldi juhtumiuuringuna. Ülejäänud 27 normi puhul ilmus AIO 77–86% päringute korral ja AI Mode vastas alati.

12 AIO vastust 240-st (5,0%, 95% UV 2,9–8,5%) ja 13 AI Mode'i vastust 291-st (4,5%, UV 2,6–7,5%) esitasid asendatud normi kehtivana, segasid selle kehtiva normiga või nimetasid kindla kuupäeva, mida seaduses ei ole. 25 veast kakskümmend puudutavad kolme normi, mis muutusid 2026. aastal: lühiajalise üürimise riiklikku registrit, mille Hispaania ülemkohus mais–juunis tühistas, esitati endiselt kohustuslikuna; töökohtade liikuvuskavade tähtajaks, mida seadusandlik dekreet lühendas 24 kuult 12 kuule, märgiti detsember 2027; ning B2B e-arvete puhul toodi kalendrikuupäevad, kuigi nende tähtajad hakkavad kulgema veel avaldamata ministri määrusest. Üürilae juhtumiuuringus esitasid 5 vastust 23-st, neist 4 AI Mode'ilt, kehtetuks tunnistatud 2% ülempiiri kehtiva õigusena.

BOE-le viidati 5,4%-s AIO vastustest ja 15,8%-s AI Mode'i vastustest. Foorumid ja sotsiaalvõrgustikud moodustasid 13,2% AIO viidetest. Regex-skript märgistas 31 vastust (16 AIO, 15 AI Mode); TI-agent luges uuesti läbi iga märgistuse ja iga vastuse nende kuue fakti kohta, mille võrdlusalust me parandasime. Teine, pimemeetodil töötanud TI-lugeja oli küsimuses, kas vastus oli vale, nõus κ-ga 0,86 (kõigi kategooriate lõikes κ 0,76). Märgistamata vastuste juhuvalimis leidis agent märkamata jäänud vea 0 vastuses 40-st.

Meie enda esimesel faktilehel oli sama viga. BOE algtekstidest tsitaatide kontrollimisel jäid märkamata kuid varem avaldatud ülemkohtu tühistamisotsus ja seadusandliku dekreediga tehtud muudatus ning lisaks üleminekuperiood.

Viita sellele uuringule

Viide

EasyxLab (2026). Do Google's AI Overviews and AI Mode keep up with Spanish rule changes? About one answer in twenty did not. Study S7. EasyByte Hub S. Coop. Mad. https://github.com/easybytehub/easyxlab/tree/main/studies/s7-aio-spanish-regulation

BibTeX

@techreport{easyxlab_s7,
  title       = {Do Google's AI Overviews and AI Mode keep up with Spanish rule changes? About one answer in twenty did not},
  author      = {{EasyxLab}},
  institution = {EasyByte Hub S. Coop. Mad.},
  number      = {S7},
  year        = {2026},
  url         = {https://github.com/easybytehub/easyxlab/tree/main/studies/s7-aio-spanish-regulation}
}

Kokkuvõte

Viita sellele uuringule

Seotud uuringud