[Gabrymi93]

Sintesi

Il matcher url del referenced-item drift confrontava l'URL consumato con un solo distribution_url per item d'inventario. L'inventario non è autorevole per gli URL di http_file: può descrivere un altro endpoint dello stesso dato, o una sola distribuzione per item. Risultato: due falsi positivi già in produzione, su URL che rispondono 200.

Contesto collegato

Nessuna issue: emerso misurando durante l'onboarding di open-consip (fase 1 della decentralizzazione). Motivazione dell'assenza di issue: il difetto non era segnalato, è stato trovato confrontando il drift con la realtà HTTP.

Cosa cambia

• Modifica script (radar, inventory, source-check, MCP)
• Documentazione

Checklist

• pytest tests/ passa (429 passed, 2 skipped)
• ruff check . passa
• mypy scripts/ so_mcp/ passa
• Comando manuale verificato (so-catalog --dry-run su indice-pa e open-consip)

Verifica

Repo	Prima	Dopo
indice-pa	8 missing (tutti 200 OK)	0 missing, 9/9 matched
open-consip	15 missing (tutti 200 OK)	1 missing, 15 verificati via HTTP

Causa dei falsi positivi:

• indice-pa: l'inventario agid descrive catalogocloud.agid.gov.it, il repo consuma indicepa.gov.it/ipa-dati/... → endpoint diversi, stesso dato;
• open-consip: l'inventario tiene un resource per package, il repo consuma più anni dello stesso package.

Il ref rimasto su Consip è drift reale: consumi-in-convenzione-2023.csv risponde 404 e il portale espone solo 2024/2025/2026.

Semantica: inventario conferma l'URL → matched (nessuna rete); altrimenti decide la verifica HTTP — 2xx → matched, risposta di errore → missing, errore di rete → unknown (un timeout non deve produrre un falso drift). Con inventario vuoto (fonti radar-only, es. dcl-bologna) il check ora gira, dove prima era checked=0. Senza url_probe il comportamento resta quello storico.

Note per chi revisiona

• La semantica di missing si restringe: spariscono i falsi positivi, restano i drift veri. Un unknown in più è preferibile a un drift falso.
• 401/403/407/429 sono unknown, non drift: un blocco WAF o un rate limit non prova che la risorsa sia stata rimossa. Conta sulle fonti che ci proteggono con 403 (ANAC, MUR, Consip hanno già un user_agent dedicato).
• I ref templati ({year}) non si sondano: l'URL concreto lo genera la pipeline a runtime, quindi sondarli darebbe missing per costruzione. Resta l'esito dell'inventario. Vale per 30 URL in 6 repo (es. dichiarazioni-italia, 16 ref).
• La verifica di esistenza non legge il corpo (read_body=False): basta lo status. La lettura è comunque protetta — su uno stream resettato il probe ora è "non concludente" (http_code "-") invece di sollevare, che avrebbe fatto fallire il build.
• I registry/catalog.json committati nei repo si ripuliscono al primo run dopo il merge (cron settimanale): fino ad allora contengono i missing vecchi.
• Costo: N richieste HTTP per run sugli URL non confermati (indice-pa 9, Consip 15), sequenziali, con cache per run. Parallelizzabili se crescono.
• L'UA del probe arriva da [tool.observatory], per le fonti dietro WAF.

Tipo: root fix
Problema reale: il drift `url` usava l'inventario come oracolo di esistenza per
  URL che l'inventario non descrive (endpoint diverso, o una sola distribuzione
  per item) → 23 falsi positivi su 2 repo.
Contratto riusato/sostituito: riusa `probe_pattern` (pattern_probes);
  `check_referenced_items` accetta un `url_probe` tri-stato iniettato.
Codice rimosso/duplicazione: nessuna; l'euristica sull'inventario resta come
  fallback (`_url_state_from_inventory`).
Test aggiunti: 9 — 6 sul drift (probe conferma / rimozione / inconcludente /
  non chiamato quando l'inventario conferma / inventario vuoto / ref templato),
  1 sull'adattatore (mapping + cache + UA + 403 non concludente), 2 sulla
  robustezza del probe (lettura del corpo fallita → non concludente;
  `read_body=False` non legge).
Rischio residuo: N richieste HTTP in più per run; un 403 da WAF sarebbe un falso
  drift (mitigato dall'UA di config).
Follow-up obbligatorio: verificare il 404 di Consip sul repo open-consip.