Tyrimai / S7
Ar Google funkcijos AI Overviews ir AI Mode spėja su Ispanijos teisės normų pakeitimais? Maždaug vienas atsakymas iš dvidešimties nespėjo
Ar Google funkcijos AI Overviews ir AI Mode spėja su Ispanijos teisės normų pakeitimais?
Santrauka
Iš Ispanijos ir ispanų kalba pateikėme Google 101 klausimą apie 28 Ispanijos teisės normas: 27, kurios pasikeitė 2025–2026 m. (minimaliosios algos, įmokų, pensijų, vaiko gimimo atostogų, vartotojų, eismo, būsto ir sąskaitų faktūrų išrašymo normos), ir vieną paskelbtą pakeitimą, kuris taip ir neįvyko. Kiekvienas AI Overview (AIO) ir AI Mode atsakymas buvo vertinamas pagal oficialiajame leidinyje Boletín Oficial del Estado paskelbtą konsoliduotą teisės aktų redakciją, galiojusią 2026 m. spalio 2 d., o ne pagal atsakyme cituojamus puslapius. Tą vakarą atlikome tris nuskaitymus (606 atsakymai), surinktus per komercinę SERP API. Viena norma – 2 % nuomos mokesčio indeksavimo riba – buvo vėl nustatyta spalio 1 d. ir panaikinta spalio 2 d.; ją pateikiame atskirai kaip atvejo analizę. Kitų 27 normų atveju AIO pasirodė 77–86 % užklausų, o AI Mode atsakė visada.
12 iš 240 AIO atsakymų (5,0 %, 95 % PI 2,9–8,5 %) ir 13 iš 291 AI Mode atsakymo (4,5 %, PI 2,6–7,5 %) jau pakeistą normą pateikė kaip galiojančią, maišė ją su galiojančia arba nurodė fiksuotą datą, kurios teisės akte nėra. Dvidešimt iš 25 klaidų yra susijusios su trimis normomis, kurios pasikeitė 2026 m.: trumpalaikės nuomos valstybinis registras, kurį Aukščiausiasis Teismas panaikino gegužės–birželio mėn., vis dar pateikiamas kaip privalomas; darbo vietos judumo planų terminas, kurį dekretas-įstatymas sutrumpino nuo 24 iki 12 mėnesių, nurodomas kaip 2027 m. gruodis; o B2B elektroninėms sąskaitoms faktūroms nurodomos kalendorinės datos, nors jų terminai skaičiuojami nuo dar nepaskelbto įsakymo. Nuomos mokesčio ribos atvejo analizėje 5 iš 23 atsakymų, iš jų 4 – AI Mode, panaikintą 2 % ribą pateikė kaip galiojančią teisę.
BOE buvo cituojamas 5,4 % AIO atsakymų ir 15,8 % AI Mode atsakymų. Forumai ir socialiniai tinklai sudarė 13,2 % AIO nuorodų. Regex scenarijus pažymėjo 31 atsakymą (16 AIO, 15 AI Mode); DI agentas iš naujo perskaitė kiekvieną pažymėtą atsakymą ir kiekvieną atsakymą apie šešis faktus, kurių etaloninę reikšmę (ground truth) pataisėme. Antrojo, aklai vertinusio DI vertintojo sutarimas dėl to, ar atsakymas klaidingas, buvo κ 0,86 (visoms kategorijoms – κ 0,76). Atsitiktinėje 40 nepažymėtų atsakymų imtyje agentas nerado nė vienos praleistos klaidos (0 iš 40).
Mūsų pačių pirmasis faktų sąrašas turėjo tą pačią spragą. Tikrinant citatas pirminiuose BOE tekstuose, buvo praleisti keliais mėnesiais anksčiau paskelbti Aukščiausiojo Teismo panaikinimas ir dekreto-įstatymo pakeitimas, taip pat pereinamasis laikotarpis.
Cituokite šį tyrimą
EasyxLab (2026). Do Google's AI Overviews and AI Mode keep up with Spanish rule changes? About one answer in twenty did not. Study S7. EasyByte Hub S. Coop. Mad. https://github.com/easybytehub/easyxlab/tree/main/studies/s7-aio-spanish-regulation@techreport{easyxlab_s7,
title = {Do Google's AI Overviews and AI Mode keep up with Spanish rule changes? About one answer in twenty did not},
author = {{EasyxLab}},
institution = {EasyByte Hub S. Coop. Mad.},
number = {S7},
year = {2026},
url = {https://github.com/easybytehub/easyxlab/tree/main/studies/s7-aio-spanish-regulation}
}