Houden Googles AI Overviews en AI Mode Spaanse regelwijzigingen bij? Ongeveer één op de twintig antwoorden niet

We stelden Google vanuit Spanje en in het Spaans 101 vragen over 28 Spaanse regels: 27 die in 2025–2026 zijn gewijzigd (regels over minimumloon, sociale premies, pensioenen, geboorteverlof, consumenten, verkeer, huisvesting en facturering) en één aangekondigde wijziging die er nooit is gekomen. Elk antwoord van AI Overview (AIO) en AI Mode werd getoetst aan de geconsolideerde wetgeving in het Boletín Oficial del Estado zoals die op 2 oktober 2026 gold, niet aan de pagina's die het antwoord citeert. Er waren die avond drie metingen (606 responsen), verzameld via een commerciële SERP-API. Eén regel, het plafond van 2% op huurindexeringen, werd op 1 oktober opnieuw ingevoerd en op 2 oktober ingetrokken; die rapporteren we apart als casestudy. Bij de overige 27 verscheen voor 77–86% van de zoekopdrachten een AIO, en AI Mode antwoordde altijd.

12 van de 240 AIO-antwoorden (5,0%, 95%-BI 2,9–8,5%) en 13 van de 291 AI Mode-antwoorden (4,5%, BI 2,6–7,5%) presenteerden een vervangen regel als geldend, vermengden die met de huidige regel of noemden een vaste datum die niet in de wet staat. Twintig van de 25 fouten betreffen drie regels die in 2026 zijn veranderd: het landelijke register voor kortetermijnverhuur, dat het Hooggerechtshof in mei–juni nietig verklaarde, werd nog als verplicht voorgesteld; de termijn voor mobiliteitsplannen op de werkplek, die een wetsdecreet van 24 naar 12 maanden verkortte, werd opgegeven als december 2027; en voor B2B-e-facturering werden kalenderdata genoemd, hoewel de termijnen pas lopen vanaf een ministeriële regeling die nog niet is gepubliceerd. In de casestudy over het huurplafond presenteerden 5 van de 23 antwoorden, waarvan 4 van AI Mode, het ingetrokken plafond van 2% als geldend recht.

Het BOE werd geciteerd in 5,4% van de AIO-antwoorden en in 15,8% van de AI Mode-antwoorden. Fora en sociale netwerken maakten 13,2% van de AIO-verwijzingen uit. Een regex-script markeerde 31 antwoorden (16 AIO, 15 AI Mode); een AI-agent las elke markering opnieuw, evenals elk antwoord over de zes feiten waarvan we de ground truth hebben gecorrigeerd. Een tweede, geblindeerde AI-lezer bereikte met κ 0,86 overeenstemming over de vraag of een antwoord fout was (κ 0,76 over alle categorieën). In een aselecte steekproef van niet-gemarkeerde antwoorden vond de agent in 0 van de 40 een gemiste fout.

Ons eigen eerste feitenoverzicht had hetzelfde gebrek. Bij het controleren van citaten in de oorspronkelijke BOE-teksten werden een nietigverklaring door het Hooggerechtshof en een wijziging bij wetsdecreet gemist die maanden eerder waren gepubliceerd, en daarnaast een overgangsperiode.