Ciao,
grazie per essere qui a leggere questa newsletter, per avere invitato altre/i a iscriversi, per darci spesso spunti per i contenuti che pubblichiamo.

🙏Se vuoi sostenerci, puoi farlo con una donazione.

Sostienici

🔗 twitter | youtube

📖Un vademecum sui dati aperti sul PNRR

Introduzione

La newsletter di oggi è per la gran parte dedicata al vademecum sugli open data relativi al PNRR, che abbiamo curato con il supporto di diverse organizzazioni e persone.

Con la campagna datiBeneComune da diverso tempo sottolineiamo come le informazioni sul Piano Nazionale di Ripresa e Resilienza e sulla sua gestione sono ancora molto scarse e inadeguate.
Ad oggi il catalogo open data del sito del Piano contiene i “dettagli” - “aggiornati” al maggio 2022 - di circa 5.000 progetti (per un valore di circa 1 miliardo di euro) e 4 gare (“4” nel senso di “4”, non di poche).
Gia a dicembre 2022, nella seconda relazione al Parlamento sullo stato di attuazione del Piano, si faceva riferimento 73.000 progetti per oltre 65 miliardi di euro.

Oltre al sito del PNRR esistono altre banche dati - per fortuna più ricche e aggiornate - che consentono di fare qualche passo in più nella conoscenza e l’esplorazione dei progetti del Piano.
Questo vademecum nasce per descriverle, in modo che le persone che vogliono raccogliere informazioni sul Piano, possano correlarle tra loro e arricchirle, monitorare il Piano ed estrapolare nuovi punti di sintesi.

Le banche dati

La prima versione che stiamo rilasciando oggi fa riferimento a quelle banche dati più “generaliste” sia in termini territoriali (quindi di taglio nazionale), sia in termini tematici (non faremo riferimento al momento, ad esempio, a PA Digitale 2026, che per fortuna è molto ben descritta e resa disponibile).

In particolare, si tratta di:

OpenCUP, il portale con i dati, in formato aperto, sulle decisioni di investimento pubblico finanziate con fondi pubblici nazionali, comunitarie o regionali o con risorse private registrate con il Codice Unico di Progetto ed è gestito dalla Presidenza del Consiglio dei Ministri - Dipartimento per la programmazione e il coordinamento della politica economica (DIPE);
il Catalogo dei dati aperti di alcune informazioni estratte dalla Banca dati nazionale dei contratti pubblici (BDNCP) relativi alle gare ed appalti, con relativo codice identificativo della gara gestito dall’Autorità Nazionale Anticorruzione (ANAC);
la Banca dati Servizio Contratti Pubblici del Servizio contratti pubblici (SCP) del Ministero delle infrastrutture e dei trasporti (MIT);
OpenBDAP, portale OpenBDAP sezione “Opere pubbliche” dove sono pubblicati i dati di monitoraggio delle opere inviati alla BDAP dagli enti (pubblici o privati) che realizzano opere pubbliche ed è gestito dalla Ragioneria Generale dello Stato (RGS/MEF).

Le informazioni principali e come sono correlabili

Quella dell’immagine sottostante è una rappresentazione di sintesi delle banche dati citate e di come possono essere messe in relazione tra loro.

Abbiamo inserito per prima OpenCUP, per queste ragioni:

l’assegnazione di un Codice Unico di Progetto (CUP) - il codice che identifica un progetto d’investimento pubblico - è in un certo senso il tempo iniziale;
i CUP sono in questo contesto l’elemento informativo più interoperabile, ovvero quello che dà più la possibilità di mettere in relazione tra loro banche dati e documenti sugli investimenti pubblici;
Il portale OpenCUP è tra i pochissimi portali “generalisti” correlati a progetti di investimento pubblico, che ha fatto uscire un dataset “curato” dedicato al PNRR, denominato Focus PNRR.

Sul dataset Focus PNRR sono elencati progetti per circa 170.000 codici CUP per un totale 178,3 miliardi di €. Il file è composto da 221.479 righe e 35 colonne. È un dataset prezioso, ma c’è un’importante nota sul sito di riferimento:

Si ricorda che i dati pubblicati rappresentano gli interventi candidati nell'ambito del PNRR, ma che potrebbero non essere ammessi ai finanziamenti del Piano e successivamente finanziati da altre misure di spesa.

Qui un estratto della tabella dati, con i progetti del Focus PNRR correlati al comune di Messina (in Sicilia).
Per ogni codice è (quasi sempre) disponibile una pagina WEB, con questa struttura:
https://opencup.gov.it/portale/progetto/-/cup/F68B22001000006

La parte finale è il CUP, che va sostituito volta per volta. Avere un indirizzo web è molto comodo per scrivere report, progettare dashboard, comporre mappe interattive. E per esplorare l’intera banca dati c’è anche un motore di ricerca.

L’altra banca dati importante è quella dell’Autorità Nazionale Anticorruzione (ANAC). Ci consente di esplorare una fase successiva della progettazione pubblica, quella delle gare.
ANAC ad oggi non pubblica un elenco filtrato delle sole gare che hanno a che fare con il PNRR, ma pubblica (tra i tanti altri) un dataset che si chiama “CUP”. Contiene soltanto due colonne: quella dei CUP e quella dei CIG.
Il CIG è il Codice Identificativo Gara, un codice alfanumerico di dieci cifre, che consente di identificare in maniera univoca una gara d’appalto.
Se sono interessato ai progetti PNRR di un certo territorio, posso prima estrarre i codici CUP dai dati del Focus PNRR, e poi incrociare questi CUP con i dati di ANAC ed estrarre gli eventuali codici CIG correlati.
E così aggiungere ai dati di progetto, quelle relativi al momento delle gare.
Anche ANAC mette a disposizione una pagina web correlata a un CIG, con questa struttura (c’è anche un motore di ricerca):
https://dati.anticorruzione.it/superset/dettaglio_cig/918052266A

Ma la cosa più interessante - non presente al momento su OpenCUP - è che sia disponibile una API, per fare query a partire da un’applicazione (sotto un esempio di output). Questo rende la possibilità di accesso ai dati molto interessante e conforme con quanto richiesto e auspicato da norme e linee guida sui dati aperti.
Qui una tabella di esempio con i dati di output disponibili su ANAC.

Esempio di output delle API di ANAC sui CIG

La “Banca dati Servizio Contratti Pubblici - SCP” è stata un po’ una scoperta per noi: non ci avevamo mai “guardato dentro”.
Si colloca un po’ a ponte tra le due precedenti, e in qualche modo poi sopravanza la loro linea temporale: riguarda infatti avvisi, bandi ed esiti di gara.
Ancora una volta, a partire dai dati del Focus PNRR, è possibile applicare filtri nei dati SCP, a partire dai CUP e dai CIG e filtrare i dati SCP di proprio interesse. Una tabella dati di esempio.
In SCP due elementi degni di nota:

sono disponibili delle API per interrogare le banche dati;
tra i dati è (qualche volta) presente qualcosa di raro nel mondo dei dati aperti sui progetti di finanziamento pubblico: i link ai documenti correlati a una gara (i disciplinari, gli allegati, gli errata corrige, gli accordi quadro, lo schema di contratto, ecc.). Un URL di esempio.

L’ultima banca dati è quella di OpenBDAP, il portale della Ragioneria Generale dello Stato. Qui è possibile fare delle interrogazioni a partire dai codici CUP, ma non più di 300 per volta e facendo click sullo schermo (non è ideale).
Il foglio elettronico di output è suddiviso in tre fogli (sotto tre esempi, sempre relativi ai dati CUP del Comune di Messina):

Quest’ultimo è di interesse, perché elenca gli indicatori di impatto dei progetti finanziati. Purtroppo, sono ancora disponibili per pochissimi progetti.

Se vuoi partecipare

Questo vademecum non vuole e non può riempire l’attuale vuoto informativo. L’obiettivo è quello di fornire degli strumenti di approfondimento su quanto oggi di meglio disponibile e rendere le persone più autonome nel farlo.

📍L’accesso ai dati è un fatto essenziale, ma soltanto uno dei punti di un percorso di monitoraggio (come ben rappresentato dal metodo di Monithon).

Gli step per la creazione di un report di monitoraggio

Se vuoi dare un contributo a questo lavoro, puoi farlo con:

proposte, per proposte e suggerimenti;
racconti, per raccontarci in cosa ti è stato utile;
richieste di aiuto, per richieste legate ai suoi contenuti e ai suoi obiettivi.

Aggiornamenti

Abbiamo predisposto una sezione Aggiornamenti, in cui inseriremo notizie sugli aggiornamenti sui contenuti di questo progetto e su temi correlati in modo stretto.

Il primo aggiornamento, ad esempio, è quello sul portale nazionale dei dati aperti. In questo al momento ci sono pochissimi dati correlati al PNRR (è normale, perché ci sono pochissimi dati pubblicati dalle PA e il portale è soltanto un indice), ma è da poco stato pubblicato un dataset dalla Regione Piemonte denominato “Progetti PNRR gestiti dalla Regione Piemonte - dettagli”.

In attesa di dati nazionali aggiornati in modo continuo, è un fatto positivo che ci siano delle Pubbliche Amministrazioni che decidono di pubblicare dei dataset tematici.

Il percorso per la redazione di questo vademecum

Questo vademecum non sarebbe nato senza il “fare cose, vedere gente”. In particolare, il nostro amato datiBeneComune, le riunioni dei tavoli dell’Azione 5.02 - Standard aperti per l’inclusività e la partecipazione della società civile nel monitoraggio della spesa pubblica - del “5° Piano d’Azione Nazionale per il governo aperto”, l’Osservatorio Civico PNRR e le sue scuole di monitoraggio, e una rete della società civile per il monitoraggio del PNRR.

A tutte/i loro il nostro “grazie”.

Subscribe now

Due segnalazioni al difensore civico per il digitale

La figura del Difensore civico per il digitale è quella a cui ci si rivolge per fare segnalazioni per la tutela dei diritti di cittadinanza digitali.
Due recenti si sono evolute/concluse.

La prima è stata stimolata dall’immagine di sotto, che riporta un frammento del discorso di fine anno del Presidente Mattarella (l’avevamo già citata qui). In quei giorni, interessati dalla pagina con il testo del discorso, abbiamo aperto le note legali del sito, per capire se ci fossero dei limiti nell’utilizzo e abbiamo verificato che ce ne sono tanti. Tra questi:

È fatto divieto di modificare le informazioni testuali e gli elementi multimediali contenuti in questo sito, nonché di frammentarli o alterarne forma e senso; come di dare luogo con gli stessi a opere derivate.

Non si può fare nemmeno un meme.
Abbiamo allora segnalato che non è applicata - come previsto per i contenuti del sito di una PA - una licenza aperta. L’ufficio del Difensore l’ha valutata come “non infondata” ed è stata trasmessa al Direttore dell’Agenzia per l'Italia digitale che approfondirà con gli uffici del Quirinale (è un percorso a step).

Ringraziamo Dennis Angemi per avere creato questa immagine

La seconda l’ha fatta Donata Columbro, per una cosa apparentemente piccola, ma dal grande impatto:

Segnalo che per la partecipazione a un workshop presso l'Università degli Studi dell'Aquila - Dipartimento di Scienze Umane l'unico modo per ottenere un rimborso spese è inviare in formato cartaceo le ricevute dei biglietti acquistati online, perché viene richiesta la copia "originale": ma è originale anche inviandola via e-mail, in questo caso. Forse sono obbligati a mantenere copia cartacea? Questo mi sembra in contrasto con gli art. 42-43 del CAD

A valle della segnalazione e della verifica è emerso che il formato cartaceo non fosse l’unico accettabile!

I diritti di cittadinanza digitali sono tanti e - anche se non tutto va sempre a buon fine - puoi fare le segnalazioni per farli valere. Un gesto “singolare”, con effetti “plurali”.

Tanti spunti da un tweet

L’Office for Statistics Regulation del Regno Unito ha da poco pubblicato il tweet sottostante.

È una segnalazione al Ministero dell'economia e delle finanze su un grafico che “dà un'impressione fuorviante dell'entità della decelerazione dell'inflazione”:

The graph gives a misleading impression of the scale of the deceleration in inflation, due to the y-axis beginning at 8%

E la fa perché una rappresentazione errata “può minare la fiducia delle persone”, su quanto prodotto/comunicato dallo Stato (qui in particolare da un Ministero).

È raro vedere cose di questo tipo. Spesso ci si ferma a “cartellini gialli” più legati a problemi formali (sono anch’essi importanti), mentre qui si usano parole semplici per sottolineare il valore culturale della cura nel documentare e raccontare un fenomeno a partire da dei dati.
In Italia sarebbe come se Istat lo facesse con il Ministero dell’Economia.

E nel thread su twitter (illeggibile come sempre) ci sono diversi elementi interessanti.
Uno veramente notevole è il Guidance hub, che contiene tra le altre cose una guida per le “Persone al governo che progettano e pubblicano grafici”. E c’è anche quella sulle dashboard, quella per trasformare la conoscenza in azioni, quella sulla riproducibilità delle analisi e tanto, tanto, altro.

Fa pensare al lavoro che, su altri temi, fa in Italia Designers Italia. Ma su quello dei dati non ci risulta che ci sia qui qualcosa di simile di “governativo”.
Sarebbe un fatto essenziale, perché la cultura del dato in questo ambito è ancora spesso troppo poca.

Office for Statistics Regulation @StatsRegulation

We have written to @hmtreasury about a graph giving a misleading impression of the scale of deceleration in inflation. osr.statisticsauthority.gov.uk/correspondence… It is important that data visualisations follow Government guidance to avoid undermining public confidence in the outputs of departments.

Grazie Marco Cortella (è un pusher della nostra newsletter), per averci fatto scoprire questo tweet.

“Spendiamoli Insieme”: come sono spesi i fondi per la democrazia partecipata in Sicilia?

In Sicilia nella legge regionale 5/2014 (art.6, comma 1) si legge:

Ai comuni è fatto obbligo di spendere almeno il 2 per cento delle somme loro trasferite con forme di democrazia partecipata, utilizzando strumenti che coinvolgano la cittadinanza per la scelta di azioni di interesse comune.

Da questo nasce “Spendiamoli Insieme”, il progetto del laboratorio di monitoraggio civico Libellula per un buon uso dei fondi per la democrazia partecipata in Sicilia. È a cura dell’associazione Parliament Watch Italia (PWI).

Il progetto è basato su un lungo e difficile (e continuo) lavoro di monitoraggio. Nonostante le norme sulla trasparenza amministrativa, è infatti impresa ardua risalire ai documenti da cui si può evincere se le somme sono state spese e come.
E il paradosso è che le normative sulla democrazia partecipata, prevedono che tutte le fasi del procedimento devono essere adeguatamente pubblicizzate sul sito istituzionale dell’ente.

E grazie a questo progetto emerge come ad esempio nel 2019 i Comuni avessero a disposizione circa 4,6 milioni di € e ne hanno spesi soltanto 1,3 milioni (circa 1 euro su 3).

L’associazione Parliament Watch Italia sta continuando a occuparsi di questo prezioso progetto, che informa, denuncia e stimola. Non ti resta che seguirne gli aggiornamenti sul sito.
🙏A PWI un sincero grazie!

Un nuovo motore di ricerca sui dati “standard” sugli appalti pubblici globali

Accedere a dati aperti può essere difficile. A dati aperti standardizzati e di qualità è più difficile. I dati globali sugli appalti pubblici possono essere particolarmente difficili, in quanto sono spesso pubblicati da diverse amministrazioni governative, ciascuna con il proprio processo e la propria piattaforma. I dati pubblicati in diverse lingue lo rendono ancora più impegnativo.

Da diversi anni esiste l’Open Contracting Data Standard, uno standard internazionale per descrivere e pubblicare dati sugli appalti pubblici, al quale ha aderito da tempo anche l’Autorità Nazionale Anticorruzione (ANAC). Insieme ad ANAC circa altri 50 punti di accesso da nazioni di tutto il mondo.

L’Open Contracting Partnership ha da pochissimo reso disponibile un punto di accesso centralizzato, in cui è possibile ricercare per paese, periodo di tempo, frequenza di aggiornamento e tipo di contenuto esposto.
I dati sono disponibili in formato JSON, CSV e Excel e hanno tutti lo stesso schema.

🫶Piccole soddisfazioni

Per segnalare fatti, cose e persone, che ci hanno restituito piccole soddisfazioni

1️⃣ nel numero della sua newsletter dal titolo "Servono nuove parole per parlare di intelligenza artificiale", dedica a onData delle belle parole. Ok, è anche una socia, ma fa tanto piacere!

2️⃣ Leonardo Pegollo, che in un tweet scrive “Nelle mie presentazioni, gli amici e le amiche di ⁦ @ondatait ⁩ sempre presenti! Speriamo di non finire ⁦ @openantani ⁩ però 🤭” […] “per rammentare agli amici ed amiche in sanità pubblica della rilevanza e delle competenze necessarie per il proprio ambito”.

3️⃣ Paola Masuzzo - anche lei una socia - nel condividere le sue belle slide “Spazi alternativi di sapere e di vita”, scrive “Mi preme condividere di nuovo taggando @ondatait e @opendatasicilia, perché parlo anche di loro / attraverso loro, e perché sono per me realtà attraverso cui la democrazia politica si fa un po' più sociale”.

Strumenti/risorse

📰 Principio “once only”, la normativa italiana è pronta? Un articolo di Patrizia Saggini;
🧮 ISPRA ha pubblicato i dati sul grado di urbanizzazione in Italia;
📖 Il Disinformation Toolkit, a cura dell’ufficio di comunicazione del Regno Unito;
📺 “Cosa significa “Open”? Introduzione alla Open Education, alle OER e alle OEP”, a cura di Polimi OpenKnowledge;
🗣️ Un thread di Anna Powell-Smith, sulle lacune nei dati pubblici e di come questi vuoti siano “politici”;
🧮 I dati dell’indagine Indagine Flash Eurobarometer 515 sul Piano di ripresa per l’Europa “NextGenerationEU”;
📅 Aperta la registrazione per la meravigliosa Csv,conf,v7 (uno dei keynote è del grande Giuseppe Sollazzo);
🔧 Sta arrivando pandas 2.0. Ecco il “what’s new?”;
📊 Un dataset e 100 visualizzazioni;
🧮 Aggiornamento di Tinitaly, i dati aperti sul modello digitale del terreno del territorio italiano;
📖 Planespotting: una guida aggiornata per il monitoraggio degli aerei in tutto il mondo;
🎙️ Le nuove pagine web per seguire “Stats in a Wrap”, il podcast di Eurostat, per seguire il mondo con uno "sguardo statistico”;
📖 Il primo tutorial ufficiale, su come realizzare una mappa coropletica con Obeservable Plot.

Associazione onData newsletter

📣 Associazione onData - Newsletter #21