Ali Googlovi funkciji AI Overviews in AI Mode sledita spremembam španskih predpisov? Približno vsak dvajseti odgovor jim ni sledil

Googlu smo iz Španije in v španščini zastavili 101 vprašanje o 28 španskih predpisih: o 27, ki so se spremenili v letih 2025–2026 (minimalna plača, prispevki, pokojnine, dopust ob rojstvu otroka ter predpisi o potrošnikih, prometu, stanovanjih in izdajanju računov), ter o eni napovedani spremembi, do katere ni nikoli prišlo. Vsak odgovor AI Overview (AIO) in AI Mode smo ocenili glede na prečiščeno besedilo prava v Boletín Oficial del Estado, kot je veljalo 2. oktobra 2026, in ne glede na strani, ki jih navaja. Tisti večer smo izvedli tri zajeme (606 odgovorov) prek komercialnega API-ja SERP. En predpis, zgornja meja 2 % pri usklajevanju najemnin, je bil 1. oktobra ponovno uveden in 2. oktobra razveljavljen; o njem poročamo ločeno kot o študiji primera. Pri preostalih 27 predpisih se je AIO pojavil pri 77–86 % poizvedb, AI Mode pa je odgovoril vedno.

12 od 240 odgovorov AIO (5,0 %, 95 % IZ 2,9–8,5 %) in 13 od 291 odgovorov AI Mode (4,5 %, IZ 2,6–7,5 %) je nadomeščeni predpis predstavilo kot veljavnega, ga pomešalo z veljavnim ali navedlo fiksen datum, ki ga zakon ne vsebuje. Dvajset od 25 napak se nanaša na tri predpise, ki so se spremenili leta 2026: državni register kratkoročnih najemov, ki ga je Vrhovno sodišče razveljavilo maja in junija, je bil še vedno predstavljen kot obvezen; rok za načrte mobilnosti na delovnem mestu, ki ga je uredba z zakonsko močjo skrajšala s 24 na 12 mesecev, je bil naveden kot december 2027; za izdajanje e-računov B2B pa so bili navedeni koledarski datumi, čeprav roki zanj tečejo od odredbe, ki še ni bila objavljena. V študiji primera zgornje meje najemnin je 5 od 23 odgovorov, od tega 4 iz AI Mode, razveljavljeno zgornjo mejo 2 % predstavilo kot veljavno pravo.

BOE je bil naveden v 5,4 % odgovorov AIO in v 15,8 % odgovorov AI Mode. Forumi in družbena omrežja so predstavljali 13,2 % referenc v AIO. Skript z regularnimi izrazi je označil 31 odgovorov (16 AIO, 15 AI Mode); agent UI je ponovno prebral vsako oznako in vsak odgovor o šestih dejstvih, katerih referenčno resnico (ground truth) smo popravili. Drugi bralec UI, ki je ocenjeval na slepo, se je glede tega, ali je odgovor napačen, ujemal s κ 0,86 (κ 0,76 za vse kategorije). V naključnem vzorcu neoznačenih odgovorov je agent našel 0 spregledanih napak od 40.

Naš lastni prvi pregled dejstev je imel isto pomanjkljivost. Preverjanje navedkov v izvirnih besedilih BOE je spregledalo razveljavitev Vrhovnega sodišča in spremembo z uredbo z zakonsko močjo, objavljeni mesece prej, ter prehodno obdobje.