Mitä kone voi varmentaa Espanjan julkisen sektorin verkkosivustoilla?

Eräät julkisten verkkosivustojen velvoitteet ja hyvät käytännöt jättävät jäljen, jonka ohjelma voi tarkistaa ilman harkintaa: security.txt-tiedosto (RFC 9116), saavutettavuusseloste, johon sivustolta on linkki ja joka on ”actualizada periódicamente, como mínimo una vez al año” (kuninkaallinen asetus 1112/2018, art. 15.1), HTTPS ja HSTS sekä ilmoitettu linjaus tekoälyrobottien suhteen. Tarkistimme ne Espanjan 8 132 kunnasta 6 648:n verkkosivustoilla (81,8 % kunnista, 98,9 % väestöstä) sekä 19 alueellisen hallituksen, 52 maakunta- ja saarineuvoston, 50 julkisen yliopiston ja 22 ministeriön sivustoilla. Niistä 6 730 organisaatiosta, joiden etusivun pystyimme mittaamaan, 5 245 (77,9 %) palautti oman etusivunsa; 179 kunnallista URL-osoitetta johti johonkin muuhun kuin kunnan sivustolle (kaapattuja tai pysäköityjä verkkotunnuksia, hosting-hallintapaneeleja). Näistä 5 245:stä 5 130 (97,8 %) tarjosi etusivun HTTPS:n kautta pyydettäessä, mutta näistä 5 130:stä 1 688 (32,9 %) lähettää HSTS-otsakkeen. **Niistä 5 570 organisaatiosta, joiden palvelin vastasi polkuun /.well-known/security.txt, 12 tarjoaa tiedoston, 8:ssa on sen pakolliset kentät ja 4 on RFC 9116:n mukaan tiukasti kelvollisia, kun taas 329 (5,9 %) vastaa tähän polkuun HTTP 200 -koodilla ja jollakin muulla sisällöllä. 5 245 etusivusta 2 492 (47,5 %) sisältää linkin saavutettavuusselosteeseen niin, että tunnistimemme havaitsee sen; niistä 1 247 selosteesta, jotka luettiin tarkastetulla päivämäärien poimijalla, 908:ssa (72,8 %) on laatimis- tai tarkistuspäivämäärä ja 160:ssa (12,8 %) päivämäärä viimeisten 365 päivän ajalta**. Espanjan virallinen seuranta tarkistaa jo asiantuntijoiden voimin noin 63 verkkosivuston vuotuisesta otoksesta, onko seloste olemassa ja mitä siinä sanotaan; se ei raportoi, linkittävätkö etusivut siihen tai kuinka vanha sen päivämäärä on, ja juuri sen tämä kokonaistutkimus tuo lisäksi. Kuusi yleisintä päivämäärää esiintyy kukin yhdessä ainoassa maakunnassa ja kattaa 479 päivätyistä 908 selosteesta (52,8 %), mikä viittaa selosteisiin, jotka on tuotettu kerralla suurelle joukolle kuntia; emme selvittäneet, kuka ne tuotti. 6 012 organisaatiosta 326 (5,4 %) estää vähintään yhden roboteista GPTBot, ClaudeBot, Google-Extended tai CCBot, ja estot keskittyvät muutamille alueille; spesifikaatiota muistuttava llms.txt löytyy satunnaisessa osaotoksessa 7 sivustolta 1 020:stä (0,7 %). Kuntien verkkosivustoista ei ole virallista kansallista luetteloa; URL-osoitteet ovat peräisin Wikidatasta ja yhdestä alueellisesta hakemistosta, ja pienet kunnat ovat aliedustettuina (4 980 alle 1 000 asukkaan kunnasta 3 612:lla, 72,5 %, on tiedossa oleva URL-osoite). Skannerimme ensimmäinen versio haki 123 organisaation etusivun sekä vielä 722 muun organisaation security.txt- tai llms.txt-tiedoston tai selosteen, vaikka niiden robots.txt-tiedosto ei sallinut sitä; nämä tietueet poistettiin eikä niitä käytetty, ja 123 organisaatiota raportoidaan mittauskelvottomina. Julkaisemme organisaatiokohtaisen taulukon, puhdistetut skannaustietueet, skannerin ja menetelmän sekä ehdotamme maksutonta gov-web-lint-työkalua, jota mikä tahansa hallinnon yksikkö voisi ajaa omalla sivustollaan.