📣 Associazione onData - Newsletter #23
📣 Associazione onData - Newsletter #23
In questo numero c'è tanto da "vedere"
Ciao,
grazie per essere qui a leggere questa newsletter, per avere invitato altre/i a iscriversi, per darci spesso spunti per i contenuti che pubblichiamo.
🙏Se vuoi sostenerci, è il momento del 5x1000.
Per sostenere l’Emilia-Romagna
Causale: Alluvione Emilia-Romagna
IBAN: IT69G0200802435000104428964
Intestato a: Agenzia regionale Sic.T. Protezione civile Emilia-Romagna
🏅 È terminata (momentaneamente) l’emergenza sui dati sul PNRR
Da diverso tempo chiedevamo insieme a tante altre organizzazioni la pubblicazione di dati di maggiore dettaglio e più ricchi sul Piano Nazionale di Ripresa e Resilienza.
Ad aprile sono stati finalmente pubblicati nel Catalogo Open Data di Italiadomani (il sito ufficiale del PIANO).
Prima si era in presenza di una emergenza informativa. Infatti, su un piano dal valore complessivo di 235 miliardi di €, erano pubblicati i dettagli di qualche migliaio di progetti e su 4 gare correlate.
Sono stati finalmente resi disponibili nuovi dati, da fonte ReGiS:
ReGiS è lo strumento unico attraverso cui le Amministrazioni centrali e territoriali interessate devono adempiere agli obblighi di monitoraggio, rendicontazione e controllo delle misure e dei progetti finanziati dal PNRR.
Questi i dati pubblicati:
Quelli denominati “Universo”, fanno riferimento a tutti i progetti alla data di estrazione (al momento, il 1° marzo 2023), indipendentemente dall’essere stati sottoposti o meno al processo di validazione.
I progetti “Universo” sono circa 130.000, per un finanziamento totale di 121.3 miliardi di euro, di cui 94.5 miliardi (circa il 77.9%) sono finanziati dal PNRR. Il resto è per lo più dovuto ad altra fonte pubblica (20.3 miliardi di euro).
Il 75 % dei progetti ha un finanziamento PNRR inferiore a 170.000 €.
Di grande interesse i dati sulle localizzazioni dei progetti, che consentono di costruire delle visualizzazioni geografiche, come questa (maggiori dettagli a seguire).
Abbiamo inserito questa nuova fonte dati nel Vademecum PNRR, che potrai leggere per ulteriori dettagli.
Alcuni elementi negativi
A questi dati non è correlata alcuna informazione sulle date. Quindi non è possibile avere alcuna idea sullo stato di avanzamento dei progetti;
A questi nuovi dati non è associata alcuna frequenza di aggiornamento prevista. Questo parametro oltre a essere un requisito obbligatorio da associare a dei dati aperti, è un’informazione essenziale. I dati sono relativi al 1° marzo 2023, sono già di due mesi fa. Fino alla loro recente pubblicazione, non c’erano aggiornamenti dati da più di un anno.
Di questi nuovi dati non è stata data notizia nella sezione Notizie del sito del Piano.
🗺️ La mappa dei dati ReGiS
Tra i dati descritti sopra, la nostra attenzione - in particolare quella di Guenter Richter - è andata sui dati di localizzazione. E Guenter allora ha creato una mappa per esplorarli.
Abbiamo descritto questa mappa in una sezione dedicata del Vademecum, denominata Mappe ReGiS.
I dati utilizzati per la mappa sono quelli denominati “Universo”, e sono relativi a circa 130.000 CUP (Codice Unico di Progetto), per tutte le regioni, province e comuni di Italia.
Di questi la gran parte è associata a una localizzazione comunale. Alcune migliaia hanno valenza di gerarchia geografica superiore (provinciale, regionale e di ambito nazionale); sono pochi in valore assoluto rispetto al totale, ma rappresentano una parte importante del finanziamento PNRR dei dati ReGiS pubblicati. Si pensi ai progetti legati alla mobilità, dal grande valore economico e che sono sviluppati su tutto il paese.
La mappa è divisa i 4 parti principali:
quella dedicata alla mappa stessa, in cui spostarla facendo click e trascinandola, oppure fare zoom avanti e indietro con la rotellina del mouse;
quella con il riepilogo dei conteggi sulle sei Missioni del PNRR;
quella con i conteggi del numero di progetti visibili in mappa e il loro valore complessivo in euro;
quella che contiene, scorrendola, numerosi elenchi di valori univoci contenuti nei dati originali (Regione, Provincia, Missione, Submisura, ecc.) con i conteggi correlati, che possono essere usati anche come filtro.
La mappa è un filtro a finestra mobile: i valori di riepilogo presenti, e la rappresentazione tematica, si adattano all’area inquadrata e alla scala di zoom.
Se stai osservando un’area in cui si visualizzano parte della Calabria e della Sicilia, i valori di sintesi presenti saranno relativi soltanto a questa parte del territorio.
Se hai creato una mappa che ti sembra interessante condividere, con rappresentati soltanto i progetti di una certa area geografica e/o di una certa Missione (o Submisura), è disponibile uno strumento che ti consente di creare un indirizzo personalizzato, che farà aprire la mappa così come la stai visualizzando a schermo.
Ad esempio, se fai click qui, si aprirà la mappa con i soli progetti della Missione 2 “Rivoluzione verde e transizione ecologica”, localizzati in Calabria.
Se vuoi sapere di più su questo strumento di esplorazione cartografica di alcuni dei dati del PNRR, abbiamo realizzato un video incontro (quello a seguire) in cui descriviamo come funziona e gli obiettivi per cui è stato creato.
I linked open data: crearli a partire da una fonte open, ben descritta e strutturata
Lo scorso 27 aprile 2023 abbiamo realizzato questo bel webinar con Giorgia Lodi e Matteo Fortini.
Sono quasi due ore e non è per tutte le persone - perché è richiesta una preparazione di base su certi concetti - ma ci sembra di grande interesse, perché racconta di un bel caso d’uso sulla pubblicazione di dati ben strutturati e ben descritti. Questo presupposto ha reso possibile arricchirli ulteriormente, derivando da questi i linked open data.
Un plauso a Matteo e Giorgia, che sono stati molto chiari e stimolanti. Qui le loro slide:
PAdigitale2026 (Matteo Fortini);
I Linked Open Data: crearli a partire da una fonte open, ben descritta e strutturata (Giorgia Lodi).
🏅 Il dataset “Bandi PNRR” dell’Autorità Nazionale Anticorruzione
Il 20 aprile 2023 l’ANAC ha pubblicato il dataset “Bandi PNRR”:
Il Dataset contiene i dati delle gare pubblicate dalle Stazioni Appaltanti che dichiarano di utilizzare fondi PNRR/PNC e di rispettare le quote di assunzioni previste per le pari opportunità secondo quanto stabilito dall’art. 47 del decreto 77 del 31 maggio 2021.
Due informazioni inedite arrivano con la pubblicazione di questi dati:
le gare etichettate come PNRR/PNC (prima non era possibile in modo diretto quali fossero le gare correlate a PNRR/PNC);
informazioni sulle clausole di condizionalità e premialità previste sui bandi di gara.
Il criterio di condizionalità (articolo 47 del decreto 77 del 31 maggio 2021) prevede che “le stazioni appaltanti prevedono nei bandi di gara, negli avvisi e negli inviti specifiche clausole dirette all’inserimento, come requisiti necessari e come ulteriori requisiti premiali dell’offerta, criteri orientati a promuovere l’imprenditoria giovanile, l’inclusione lavorativa delle persone disabili, la parità di genere e l’assunzione di giovani, con età inferiore a trentasei anni, e donne”.
La premialità è quella descritta nell’articolo 108, comma 7 del decreto legislativo del 31 marzo 2023: “Al fine di promuovere la parità di genere, le stazioni appaltanti prevedono nei bandi di gara, negli avvisi e negli inviti, il maggior punteggio da attribuire alle imprese che attestano, anche a mezzo di autocertificazione, il possesso dei requisiti di cui all’articolo 46-bis del codice delle pari opportunità tra uomo e donna, di cui al decreto legislativo 11 aprile 2006, n. 198”.
Siamo molto contenti di questa pubblicazione di dati, perché è una risposta di ANAC a una richiesta di #DatiBeneComune. Questi dati infatti erano stati già pubblicati alcune settimane fa da Fondazione OpenPolis, ma non erano ancora disponibili presso la fonte principale, il portale OpenData di ANAC.
Avevamo scoperto di questi dati e soprattutto dei dati correlati alla parità di genere, a fine 2022, grazie all’Associazione Donne 4.0, che ci ha stimolato nel richiedere di rendere pubblici questi dati. A loro ancora una volta il nostro grazie e ci fa piacere segnalare il loro osservatorio PNRR.
Questa di ANAC, è stata una conferma di come questa PA sia in ascolto.
Quando i dati ci sono, è possibile “fare cose”. E ad esempio, dopo la pubblicazione di questi dati, Period Think Tank ha costruito la sua PNRR Data Monitoring App, che ha lo “scopo di indagare la presenza e la distribuzione sul territorio e sulle missioni, delle quote occupazionali minime o misure premiali per donne e giovani nei bandi di gara emessi”.
Nel video a seguire, Giulia Sudano (Period Think Tank), Ettore Di Cesare (Fondazione OpenPolis) e il nostro Andrea Borruso raccontano di questi (e altri) dati e di questa applicazione web.
🦠 Aggiornamenti su RISVO, il progetto sui dati aperti e il rischio infettivo
Abbiamo conosciuto il progetto RISVO grazie alla pandemia da COVID19, e soprattutto grazie a #DatiBeneComune.
Abbiamo realizzato con alcune delle persone che se ne prendono cura già tre video incontri dal vivo (il primo, il secondo e il terzo).
Ci siamo sentiti alcune settimane fa, e abbiamo pianificato di farne un altro, per un breve aggiornamento: il 25 maggio alle ore 17:30, con Adriana Cela, Claudia Rudellin, Paola Masuzzo e Andrea Borruso.
🏛️ Open Gov Week 2023
Dall’8 al 12 maggio 2023 si è svolta la settimana dedicata al Governo Aperto e alle sue pratiche, un evento annuale globale che celebra e promuove la trasparenza, la partecipazione e la collaborazione, nel contesto governativo.
L’Italia per realizzare le pratiche di Open Government, si è impegnata a sviluppare il quinto Piano d’Azione Nazionale per il governo aperto 2022-2023 (5NAP). In questo anche le Organizzazioni della Società Civile possono dare un contributo e noi di onData stiamo partecipando all’impegno 5.02, Standard aperti per l’inclusività e la partecipazione della società civile nel monitoraggio della spesa pubblica.
L’impegno mira a creare le condizioni per favorire l’uso del patrimonio informativo esistente a livello nazionale ed europeo, partendo dal miglioramento e dalla messa a sistema di risorse esistenti ed avviando un ciclo virtuoso di co-creazione che coinvolga tutti gli stakeholder.
È un tavolo in cui dal primo giorno abbiamo constatato l’attitudine all’ascolto, al rilancio, al rispetto. Sono elementi di base del lavoro di gruppo, ma non è scontato praticarli.
Partecipando a questo tavolo abbiamo imparato cose, abbiamo potuto fare proposte di pubblicazione dati e loro documentazione, conosciuto persone di qualità e lanciato idee come quella del Vademecum sui dati aperti del PNRR. Che vuole proprio favorire l’uso del patrimonio informativo esistente sui dati del PNRR, partendo dal miglioramento e dalla messa a sistema di risorse già disponibili.
Diversi eventi in questa settimana. Ve ne segnaliamo due in particolare:
“La trasformazione digitale inclusiva nel 5NAP”: In questo abbiamo proprio presentato il Vademecum (al tempo 1:21:17);
“Trasparenza e dati aperti nel PNRR: il ruolo delle piattaforme di aggregazione territoriale”, organizzato da Regione Toscana, che sta ben lavorando sui dati aperti del PNRR.
Qui la playlist del canale Open Gov Italy.
📖 La traduzione in italiano della guida al Prompt Engineering
Il prompt engineering - ingegneria dei prompt - è una disciplina relativamente nuova per lo sviluppo e l'ottimizzazione dei prompt per utilizzare in modo efficiente i modelli linguistici (LM) per un'ampia varietà di applicazioni e argomenti di ricerca.
Avete presente quelle applicazioni basate sul testo e sul linguaggio naturale, come ChatGPT, Claude, Bard, ecc., che possono essere usate per generare testi, traduzioni automatiche, estrazione di fatti, riscrittura, analisi dei “sentimenti”, suggerimenti di sinonimi, rispondere a domande?
Ecco, imparando i concetti del prompt engineering si imparerà a interagire bene con queste applicazioni; che non sono dei motori di ricerca, ma delle “calcolatrici per le parole” (è la bella metafora di Simon Willison).
Bisogna quindi sapere come “parlare” con questi strumenti, come predisporre il dialogo con loro, come definire appunto il prompt.
Maurizio Napolitano (grazie mille) ha tradotto in italiano la “Prompt Engineering Guide”. Ci sono gli elementi utili agli sviluppatori, ma anche a chi soltanto usa una chat per interagire con queste applicazioni.
Si può ottenere molto con semplici prompt, ma la qualità dei risultati dipende da quante informazioni vengono fornite e da quanto sono ben fatte.
📊 Visualizzare l’incertezza
Ogni volta che i dati vengono utilizzati per comprendere qualcosa, esiste la possibilità di errore, ma la visualizzazione grafica dell'incertezza è difficile e spesso trascurata.
Uncertainty è un lavoro di Aaron Hill sulla visualizzazione dell'incertezza, esplorando nuovi modi per rappresentarla graficamente nei dati e cercando di integrare le arti visive in questo processo.
Oltre a una pubblicazione, è disponibile un’applicazione web che a partire dal grado di incertezza di un insieme di variabili visuali (posizione, forma, colore, valore, dimensione, ecc.) restituisce il riferimento a oltre 400 opere d'arte che (per l’autore) hanno la capacità di esprimere l'incertezza utilizzando una vasta gamma di approcci e tecniche.
Grazie a Donata Columbro per la segnalazione di questo lavoro.
📺 Data Council: “pane”, per chi vuole vedere/imparare temi nuovi e stimolanti, sul mondo dei dati
Si è da poco tenuta ad Austin (Texas), l’edizione 2023 di una gran bella conferenza a tema dati.
Te la segnaliamo perché è disponibile la lista della registrazione degli interventi, molto ricca in termini di idee, prodotti, aziende, temi, persone, su tutta la catena di valore dei dati, dalla loro infrastruttura alla loro analisi.
Vengono citati processi, strumenti, metodologie molto eleganti, “nuovi” e soprattutto utili.
Ce ne è per tutti i gusti, ma te ne segnaliamo tre:
Big Data is Dead - una riflessione sui Big Data, su come ci possano fare molta meno “paura”, grazie a strumenti come DuckDB;
Publishing Jupyter Notebooks with Quarto - Quarto è uno sistema per la pubblicazione scientifica e tecnica che ci piace molto. Qui è descritto un bel caso d’uso;
Malloy An Experimental Language for Data - i dati non sono sempre e soltanto “rettangoli” (tabelle), ma ci sono relazioni e gerarchie per cui un nuovo linguaggio di analisi dati, può essere molto comodo;
👩🏫 Nuovi video di didattica sul canale di Observable
Observable è una piattaforma web interattiva per la creazione e la condivisione di visualizzazioni e applicazioni basati sui dati.
È un eccellente strumento con cui raccontare storie, a partire da numeri, date, stringhe di testo, dati spaziali, ecc..
Un suo punto di forza è la grande quantità di esempi pronti e di un eccellente materiale didattico.
Il mese scorso si è sviluppato un corso in quattro episodi dedicato alla manipolazione e analisi dei dati in JavaScript. La docente è la bravissima Allison Horst.
E di poco tempo prima è quello denominato “Course: Data Visualization Fundamentals and Best Practices”.
Nei prossimi giorni un altro corso in 4 episodi (ognuno da un’ora) dedicato al linguaggio SQL, sempre ne contesto di Observable.
I corsi della data.europa academy, sui dati aperti
A febbraio 2023, è stata lanciata la nuova versione data.europa academy, un hub di apprendimento e punto di accesso per i dati aperti dei paesi europei, delle istituzioni, delle agenzie e degli enti dell'UE.
Gli originali 38 corsi sono stati raggruppati in 11 per facilitare la scoperta e l'accesso alle informazioni e ai temi pertinenti, con un totale di 60 lezioni e circa 200 risorse didattiche (video, letture ed e-learning).
🫶Piccole soddisfazioni
Per segnalare fatti, cose e persone, che ci hanno restituito piccole soddisfazioni
1️⃣ Cristina Maccarone, che ci ringrazia per averle fatto scoprire #DisabledData. Noi ringraziamo lei per averne scritto e soprattutto Fightthestroke.org e Sheldon.studio.
2️⃣ Cristian Consonni, che ci scrive “state facendo un lavoro importantissimo. Non sarà accattivante come ChatGPT, ma è fondamentale”, dopo avere visto il nostro intervento all’ultimo Merge-it 20203 (ancora non sono disponibili i video).
3️⃣ Maurizio Napolitano, che nel presentare queste sue gran belle slide “I grafici che ingannano”, citando sempre #DisabledData, scrive “è l'esempio più cool che ci sia per mostrare che la dataviz può diventare ancora più accessibile”. Brave/i Sheldon.studio e per noi è motivio di orgoglio avere collaborato alla costruzione di questo progetto.
Strumenti/risorse
📄 Uno studio dell’Unione Europea che analizza la velocità dei treni su 1.356 tratte tra città europee medio-grandi distanti meno di 500 km tra loro. Ci sono anche i dati e la mappa interattiva;
🎙️ Possiamo nutrire le persone, ripensando la nostra dipendenza dai fertilizzanti chimici? Possiamo trattare le acque reflue in modo da beneficiare gli agricoltori e aumentare i raccolti? È l’ultimo podcast, di CORDIScovery (“unearthing the hottest topics in EU science, research and innovation”);
👩🏫 “Statistics 4 beginners”, per rendere un po' più facile il mondo della statistica sia a chi studia, che per chiunque sia interessato a tale materia. Una sezione del sito di Eurostat, per iniziare a capire bene la statistica;
🪛 JSONstat, introduce nuove feature: “Now it is possible to convert @JSONstat to a #CSV transposed by a variable and to exclude constant variables”;
📄 I notebook rappresentano un modo relativamente nuovo per analizzare i dati e creare visualizzazioni e differiscono dalle interfacce grafiche comuni utilizzate per gli strumenti di visualizzazione in molti modi. Una pubblicazione per indagare le molteplici applicazioni, esplorare i loro vantaggi e svantaggi e condividere i risultati delle proprie ricerche;
⌨️ Il codice sviluppato da Gabriele Arcangelo Scalici per scaricare i dati dal Portale Acque;
🪛 Plotteus, una libreria JavaScript, per raccontare storie basate sui dati;
🧮 Eubucco, i dati sul patrimonio edilizio europeo per oltre 200 milioni di edifici;
🧮 I dati sul grado di artificializzazione delle aree urbane italiane. A cura di ISPRA;
🪛 OpenScreening, uno strumento per cercare, visualizzare e analizzare milioni di record di dati aperti in un'unica interfaccia per scoprire relazioni nascoste riguardo Persone Politicamente Esposte (PPE);
📄 Open access policies in Latin America, the Caribbean and the European Union, un report che analizza le politiche di accesso aperto alla produzione scientifica, sviluppate in America Latina, nei Caraibi e nell'Unione Europea;