Czy AI Overviews i AI Mode firmy Google nadążają za zmianami hiszpańskich przepisów? Mniej więcej co dwudziesta odpowiedź nie nadążała

Zadaliśmy Google, z Hiszpanii i po hiszpańsku, 101 pytań dotyczących 28 hiszpańskich przepisów: 27, które zmieniły się w latach 2025–2026 (płaca minimalna, składki, emerytury, urlop z tytułu urodzenia dziecka, przepisy konsumenckie, drogowe, mieszkaniowe i dotyczące fakturowania), oraz jednej zapowiedzianej zmiany, do której nigdy nie doszło. Każdą odpowiedź AI Overview (AIO) i AI Mode oceniono według skonsolidowanego tekstu prawa w Boletín Oficial del Estado w brzmieniu obowiązującym 2 października 2026 r., a nie według stron, które cytuje. Tego wieczoru wykonaliśmy trzy odczyty (606 odpowiedzi), zebrane za pośrednictwem komercyjnego API SERP. Jeden przepis, limit 2% dla aktualizacji czynszów, przywrócono 1 października i uchylono 2 października; przedstawiamy go osobno jako studium przypadku. W przypadku pozostałych 27 przepisów AIO pojawiał się dla 77–86% zapytań, a AI Mode odpowiadał zawsze.

12 z 240 odpowiedzi AIO (5,0%, 95% CI 2,9–8,5%) i 13 z 291 odpowiedzi AI Mode (4,5%, CI 2,6–7,5%) podawało zastąpiony już przepis jako obowiązujący, mieszało go z obecnym lub podawało stałą datę, której prawo nie zawiera. Dwadzieścia z 25 błędów dotyczy trzech przepisów, które zmieniły się w 2026 r.: państwowego rejestru najmu krótkoterminowego, który Sąd Najwyższy unieważnił w maju i czerwcu, a który nadal przedstawiano jako obowiązkowy; terminu na plany mobilności w miejscach pracy, który dekret z mocą ustawy skrócił z 24 do 12 miesięcy, a który podawano jako grudzień 2027 r.; oraz e-fakturowania B2B, dla którego podawano daty kalendarzowe, chociaż jego terminy biegną od rozporządzenia, którego jeszcze nie opublikowano. W studium przypadku limitu czynszów 5 z 23 odpowiedzi, w tym 4 z AI Mode, przedstawiało uchylony limit 2% jako obowiązujące prawo.

BOE cytowano w 5,4% odpowiedzi AIO i w 15,8% odpowiedzi AI Mode. Fora i serwisy społecznościowe stanowiły 13,2% odnośników w AIO. Skrypt oparty na wyrażeniach regularnych oznaczył 31 odpowiedzi (16 AIO, 15 AI Mode); agent AI ponownie przeczytał każde oznaczenie i każdą odpowiedź dotyczącą sześciu faktów, których wzorzec (ground truth) poprawiliśmy. Drugi czytelnik AI, oceniający na ślepo, zgadzał się co do tego, czy odpowiedź jest błędna, z κ 0,86 (κ 0,76 dla wszystkich kategorii). W losowej próbie nieoznaczonych odpowiedzi agent znalazł 0 przeoczonych błędów na 40.

Nasze własne pierwsze zestawienie faktów miało tę samą wadę. Sprawdzanie cytatów w oryginalnych tekstach BOE nie wychwyciło unieważnienia przez Sąd Najwyższy ani zmiany wprowadzonej dekretem z mocą ustawy, opublikowanych miesiące wcześniej, ani okresu przejściowego.