🔥Il numero #9 della nostra Newsletter (ci siamo messi un paio di medaglie)
🔥Il numero #9 della nostra Newsletter (ci siamo messi un paio di medaglie)
Ciao,
ti ringraziamo perché sei qui a leggere questa newsletter, perché hai invitato altre/i a iscriversi e perché alle volte la alimenti (in modo diretto e indiretto).
🙏Se vuoi sostenerci, puoi farlo con una donazione.
📍 Se hai qualche problema di lettura di questa newsletter, apri questo link.
🏅Ci siamo riusciti: finalmente i contenuti di ItaliaDomani, il sito del PNRR, sono utilizzabili
Alcuni mesi fa insieme alle/agli aderenti a datiBeneComune abbiamo posto una questione di base: le note di copyright di ItaliaDomani (il sito del PNRR) non consentivano qualsiasi uso dei contenuti pubblicati (qui come era sino al 19 gennaio 2022).
Da fine gennaio 2022 non è più così e i contenuti lì pubblicati sono messi a disposizione con una licenza che consente di riutilizzarli a qualsiasi scopo, anche a fini commerciali, citando semplicemente la fonte.
Era un enorme barriera, formale e sostanziale, e in datiBeneComune siamo proprio contenti di avere dato un contributo per abbatterla.
Per arrivare a questo risultato abbiamo spinto sia in termini di comunicazione (con articoli, newsletter, messaggi sui social network), che con strumenti formali. Qui, ancora una volta, abbiamo fatto una segnalazione al Difensore civico per il digitale, "a garanzia dei diritti digitali dei cittadini e delle imprese". Dopo "approfondimenti istruttori", ha valutato "non infondata" la nostra nota (vedi immagine a seguire) e siamo arrivati a questo buon esito.
Il 21 gennaio inoltre è stata data notizia di una nuova pubblicazione di dati in formato aperto (altri dati erano stati pubblicati in precedenza, ma con poca cura e qualità).
È ancora poca cosa, ma finalmente sembra che qualcosa si stia muovendo.
I dati su posti letto in area non critica e terapia intensiva, non sono pubblicati in modo adeguato
Sentiamo ogni giorno parlare di questi dati, anche troppo. E per questa e altre ragioni molte/i penseranno che siano pubblicati in modo adeguato all'interesse che suscitano. Ma non è così!
Facciamo riferimento in particolare ai dati sui "Ricoverati e posti letto in area non critica e terapia intensiva", disponibili soltanto sul sito dell'"Agenzia Nazionale per i Servizi Sanitari Regionali" (Agenas).
Due importanti barriere:
sono pubblicati da tempo soltanto come pagina HTML, per essere letti a schermo, ma non per essere elaborabili con un Personal Computer;
non è disponibile la serie storica dei dati, ma soltanto l'ultimo dato.
A luglio del 2021 avevamo una prima richiesta via PEC al Ministero della Salute e ad Agenas, alla quale non è stata data alcuna risposta.
Allora, prendendo spunto dal recepimento in Italia dell'aggiornamento della direttiva europea relativa all'apertura dei dati (avvenuto il 15 dicembre 2021), il 5 gennaio 2022 abbiamo fatto una nuova richiesta, per ottenere che questi dati siano anche pubblicati:
in formato aperto (articolo 2 lettera c-ter del decreto)
in formato leggibile meccanicamente (articolo 2 lettera c-bis).
La norma prevede che i dati siano così pubblicati entro 30 giorni (più eventuale proroga) dalla richiesta, salvo che la cosa non comporti "difficoltà sproporzionate" (vedi articolo 5). In caso di diniego, dovrà essere data notizia al richiedente.
🏅Anche i contenuti del Ministero dell’Istruzione, dell’Università e della Ricerca diventano un bene comune
Fino a dicembre del 2021 sul sito del Ministero dell’Istruzione, dell’Università e della Ricerca si leggeva:
I contenuti del sito - codice di script, grafica, testi, tabelle, immagini, suoni, e ogni altra informazione disponibile in qualunque forma - sono protetti ai sensi della normativa in tema di opere dell'ingegno.
Uno dei siti che dovrebbe "fare scuola" sul tema dell'accesso alla conoscenza, ergeva ancora una volta barriere di accesso formali e sostanziali ai contenuti.
Abbiamo fatto anche in questo caso una segnalazione al Difensore Civico per il Digitale, e adesso tutti i contenuti del sito (salvo diversamente specificato) sono utilizzabili per qualsiasi scopo, anche commerciale, citando la fonte.
Fa proprio piacere un po' ripetersi, in casi come questo.
Visto che l'abbiamo citato due volte, e che in questi mesi è stato più volte uno strumento efficace, un saluto e un 🙏grazie all'ufficio del Difensore Civico.
Il comunicato stampa della SIS sul possibile ridimensionamento della pubblicazione dei dati sulla pandemia
La Società Italiana di Statistica (SIS) - tra le prime aderenti alla campagna datiBeneComune - il 14 gennaio del 2022 ha pubblicato un comunicato stampa, in cui esprime la propria preoccupazione, per le notizie circolate in merito ad un possibile ridimensionamento dell’accesso ai dati diffusi giornalmente sui principali indicatori relativi alla evoluzione della pandemia.
È un comunicato che sosteniamo insieme a tante/i altre/i, in cui si ribadisce l'importanza di un accesso ai dati libero e condiviso, ispirato a criteri di qualità.
Diminuire la trasparenza è una grave mancanza verso i cittadini ed è un contributo importante alla creazione di notizie false, che troverebbero terreno fertile in assenza di comunicazioni ufficiali giornaliere.
Siamo con la SIS!
Le risorse del PNRR per la rigenerazione urbana: poca trasparenza e partecipazione
A fine anno il Ministero dell'Interno ha pubblicato un decreto relativo ai “Contributi ai Comuni da destinare a investimenti in progetti di rigenerazione urbana anni 2021-2026”. È accompagnato da tre allegati in PDF, con le tabelle contenenti l'elenco di tutti i progetti.
Non appena Luigi Reggi ci ha segnalato la cosa, abbiamo trasformato le tabelle dei tre PDF in dati in formato CSV. Siamo subito rimasti sorpresi di come con semplici scelte a monte - nonostante il formato di input - si possano ottenere diversi risultati degni di nota:
i nomi dei Comuni sono associati ai codici BDAP (banca dati amministrazioni pubbliche), quindi a una classificazione che consente di definirli e identificarli senza errori;
a ogni progetto, è associato il Codice Unico di Progetto (CUP), ancora una volta un identificativo che consente di identificare l'elemento in modo inequivocabile.
La presenza di codici "standard" rende questi dati interoperabili, ovvero relazionabili con altri. Qui in particolare è di grande interesse la possibilità di essere incrociati con OpenCUP, un progetto che mette a disposizione i dati, in formato aperto, sulle decisioni di investimento pubblico finanziate con fondi pubblici nazionali, comunitarie o regionali o con risorse private registrate con il Codice Unico di Progetto. E quindi quando in quegli allegati leggiamo per una riga il CUP "J87B20002720004", possiamo subito arricchire l'informazione leggendo la pagina relativa in OpenCUP.
Queste informazioni estratte dai PDF e poi appunto un po' arricchite, hanno fatto molto di più. Damiano Sabuzi Giuliani ha esplorato questi dati e ne ha tratto ispirazione per scrivere un bel pezzo sulla "storia" di questo decreto, da cui emergono diverse criticità e che lo hanno portato a fare queste raccomandazioni:
sarebbe necessario creare un database contenente tutti i dati (macro e micro) relativi ai singoli progetti di rigenerazione urbana con dati in formato aperto e riutilizzabile;
bisognerebbe dare evidenza a tutti gli atti relativi alle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti;
inoltre, in caso di possibili ritardi e/o incompiutezza dei progetti/opere, dare evidenza alla programmazione di suddette opere volta al loro completamento, ovvero alle soluzioni alternative quali il riutilizzo, ridimensionamento, cessione a titolo di corrispettivo per la realizzazione di altra opera pubblica, vendita o demolizione;
provvedere ad una mappatura, anche attraverso l’utilizzo di strumenti grafico visivi, che permetta di individuare l’allocazione delle risorse stanziate per i progetti di rigenerazione urbana nei diversi municipi della città.
Questo pezzo di Damiano, dice moltissimo del valori dei dati, come materia prima, da cui produrre valore derivato e non immaginabile. E tra i valori derivati anche la mappa di Guenter Richter per descrivere territorialmente l'oggetto di questo decreto.
Se i dati del PNRR usciranno in formato machine readable, con qualità, con ad esempio una codifica che consentirà di metterli in relazione con tutta la filiera di processo per lo sviluppo dei progetti finanziati/realizzati, sarà possibile dare maggiore valore a queste informazioni e crearne di nuovo.
🏃♀️Partecipa alla Consultazione sul 5 Piano d'Azione Nazionale per il governo aperto 2022 - 2023
Il 25 gennaio 2022 è partita la consultazione sul "Piano d’Azione Nazionale per il governo aperto 2022 -2023", suddivisa in 5 azioni:
Governance e strategia per il governo aperto [AZIONE 1]
Prevenzione della corruzione e cultura dell’integrità [AZIONE]
Rafforzamento della partecipazione della società civile [AZIONE 3]
Difesa dello Spazio civico [AZIONE 4]
Innovazione digitale inclusiva [AZIONE 5]
Chiunque può partecipare: cittadine e cittadini, rappresentanti delle Pubbliche Amministrazioni, rappresentanti delle associazioni della società civile.
➡️Puoi farlo anche tu, entro il 24 febbraio 2022!
Noi parteciperemo, soprattutto sull'Azione 5, in cui uno degli impegni mira a "creare le condizioni per favorire l’uso del patrimonio informativo esistente a livello nazionale ed europeo, partendo dal miglioramento e dalla messa a sistema di risorse esistenti ed avviando un ciclo virtuoso di co-creazione che coinvolga tutti gli stakeholder.
Il risultato atteso è costituito dalla disponibilità di dati aperti e machine readable delle gare/appalti, parte dei quali sarà relativa ad appalti che implementano il PNRR; si prevede che ANAC pubblichi i dataset riguardanti la fase di pubblicazione del bando di gara, la fase di aggiudicazione e quella finale degli appalti in formato aperto secondo il modello proposto da Open Contracting Partnership per tutti gli appalti di valore superiore a 40.000 €."
Sandro Ciotti on Zenodo | Una datacronaca
Il 14 gennaio 2022 abbiamo organizzato un incontro in diretta streaming - con Luca Corsato, Gianluigi Tiddia (il mitico @insopportabile), Angelo Gulina, Paola Masuzzo e Andrea Borruso - in cui abbiamo parlato di Zenodo, uno spazio, uno strumento, un luogo, dove pubblicare contenuti.
È gestito dal CERN (Organizzazione europea per la ricerca nucleare) e nasce per consente ai ricercatori di pubblicare documenti di ricerca, dataset, software, e qualsiasi altro artefatto digitale correlato alla ricerca. A ognuno di questi viene assegnato un identificatore di oggetto digitale (DOI) persistente, che rende gli elementi archiviati facilmente citabili.
È ormai uno spazio per tutte e tutti, dove condividere (con cura e cum grano salis) i propri "oggetti digitali".
Luca, Gianluigi, Angelo, Paola e Andrea, ne parlano per un'ora in questo video.
Nuova versione del portale dei Dati Aperti dell’Istituto Nazionale di Geofisica e Vulcanologia
In questi giorni è stata lanciata la nuova versione del portale dei Dati Aperti dell’Istituto Nazionale di Geofisica e Vulcanologia (INGV).
Se siete interessati ai dati generati dalle attività di ricerca svolta nei campi della sismologia, vulcanologia e dell’ambiente dal più autorevole istituto italiano nel settore potete accedere al nuovo portale qui.
La Politica dei Dati dell’INGV si basa sul principio fondamentale di “Accesso Aperto” e questa iniziativa si muove nella direzione di promuovere il paradigma dell’Open Science, mettendo alla portata di tutti dati e metadati su temi chiave come terremoti, vulcani e ambiente in generale.
Più di 370 dataset prodotti dal personale INGV da solo o in collaborazione con altre organizzazioni, possono essere consultati sia dai ricercatori ma anche dalla società civile soddisfando quelle esigenze legate al miglioramento della collaborazione tra istituzioni di ricerca e all’apertura dei dati e del sapere scientifico, per una maggiore conoscenza dell’ambiente che ci circonda visto con gli occhi esperti di chi studia questi fenomeni.
JSON-stat, una soluzione per la condivisione di dati statistici
Quando in un'associazione il vice presidente (Vincenzo Patruno) lavora all'"Istituto nazionale di statistica" (Istat), forse è inevitabile dedicare del tempo alla divulgazione di contenuti correlati a questa disciplina.
Qui l'ispirazione è venuta dalla Camera di Commercio delle Marche che, con Fabio Castelletti e i suoi colleghi e colleghe, ha reso disponibile nel portale Open Data istituzionale, lo 🪛strumento Eurostat Explorer, che rende semplice la navigazione e visualizzazione dei dati Eurostat, grazie a JSON-stat.
JSON-stat rappresenta lo standard internazionale di riferimento per la disseminazione "agile" di dati statistici, destinati all'elaborazione in tempo reale, all'interno di servizi web.
Per saperne di più non vi resta che ascoltare Vincenzo e Fabio.
Abbiamo aggiornato la guida di VisiData
VisiData è un fantastico strumento open source per esplorare e manipolare dati. Mette insieme la chiarezza di un foglio di calcolo, con l'efficienza del terminale e la potenza di Python, in una utility leggera in grado di gestire milioni di righe con facilità.
La prima versione della guida ci ha restituito diversi riscontri positivi. Questo, insieme al fatto che lo riteniamo un gran bel progetto, ci ha fatto venire la voglia di aggiornare il motore di pubblicazione della guida, che adesso è molto più leggibile, usabile e comoda, da qualsiasi terminale.
➡️È basata su Material for MkDocs e la trovate qui!
Open Data Covid, il nuovo portale per il monitoraggio della pandemia della provincia dell'Aquila
Il 21 gennaio 2022 è stato lanciato Open Data Covid, un progetto per il monitoraggio del COVID-19 nella provincia dell'Aquila, a cura del Gran Sasso Science Institute, in collaborazione con la Azienda Sanitaria Locale ASL1 - Avezzano, Sulmona, L’Aquila, con il contributo dell’Università dell’Aquila, del Comune dell’Aquila e di openpolis.
Dopo circa due anni dall'inizio della pandemia, ci si potrebbe stupire di "un altro sito a tema". Ma in realtà è uno di quei progetti che ci mostra cosa si sarebbe potuto fare con i dati pandemici.
Open Data Covid realizza una delle missioni del Gran Sasso Science Institute: quella di considerare i dati un bene pubblico che va reso usufruibile in modo trasparente ai cittadini, agli operatori sanitari, ai decisori politici
Quella dei dati come bene pubblico, bene comune, è una metafora che ci piace molto, ma aldilà di questo ci sono diversi elementi di interesse:
viene messo a frutto il lavoro di interscambio di dati, informazioni, procedure e conoscenze di dominio tra le parti. Senza il lavoro dell'ASL1 sarebbero mancate le basi dati, senza il lavoro del Gran Sasso Science Institute non sarebbe stato possibile arrivare alla pubblicazione di dati, informazioni e servizi in queste modalità;
si ha un'informazione geografica di dettaglio, superiore alla gran parte di tutte le altre pubblicazioni a tema;
ai dati pandemici sono affiancate le informazioni sulle fasce d’età e le patologie croniche degli assistiti della Asl 1, molto utili ai fini della prevenzione, a partire dalle persone con maggiori fragilità;
i dati aperti sono resi disponibili tramite API.
Fa pensare che esiti di questo tipo si hanno per scelte e opportunità locali, e che non siano disponibili per tutto il territorio, a valle di scelte e opportunità nazionali.
The State of Open Data 2021
Ogni anno, verso la fine dell'anno, escono diversi report a tema, che non saranno sfuggiti ai più. Qui segnaliamo quello a cura di Digital Science, Springer Nature e figshare: The State of Open Data 2021.
Ha qualcosa di speciale rispetto ad altri: viene corredato dai dati del questionario su cui è basato, composto da più 150 domande, con più di 20.000 risposte in 5 anni, fatte a più di 4.200 ricercatori da tutto il mondo.
La cosa più sorprendente del rapporto è che mentre la familiarità e il rispetto dei principi della Scienza Aperta sono al massimo da sempre, c'è una grande preoccupazione per la condivisione di dati.
Il 66% degli intervistati ha sentito parlare dei principi FAIR (dati trovabili, accessibili, interoperabili e riutilizzabili) e il 28% ha risposto di conoscerli: è il numero più alto da quando questa domanda è stata posta per la prima volta, nel 2018. Ma dal questionario emerge come permangono preoccupazioni in merito al credito (le dovute citazioni, ecc.), all'uso improprio dei dati e al supporto in merito al diritto d'autore e alle licenze.
All'interno del report diversi paragrafi interessanti, tra i quali sottolineiamo quello intitolato "The role of data curation in enhancing data and metadata quality" e "Open source and open data: collaboration is key", perché sono due temi chiave.
Ti racconto i dati bene comune: una puntata del podcast Continuous Delivery
Donata Columbro, Luca Tremolada e Andrea Borruso, sono stati i protagonisti della puntata del 24 gennaio 2022 di Continuous Delivery, un podcast "fatto da Dev per i Dev: web e mobile development, DevOps, Cloud-Native, knowledge working".
I dati riguardano tutti. Parliamo di open data, big data, small data, quello che vi pare data. I dati sono anche un bene comune, e a volte ci interessano, a volte sono troppi, a volte sono troppo pochi, a volte sono inaccessibili. Il nostro podcast parla di informatica, ovvero la scienza dello spostare dati, del manipolare dati, del trasformare dati: i dati ci riguardano eccome, e ne parliamo con un trio di super esperti!
Grazie di 💜a Edoardo Dusi, Annalisa Gennaro e a tutta SparkFabrik, per lo spazio che da sempre dedicano a questi temi e per la cura che mettono nella realizzazione di Continuous Delivery.
La rilevazione censuaria sul personale delle amministrazioni pubbliche (old, but gold)
Diciamo subito che questa non è una novità, infatti facciamo riferimento a dei dati aggiornati al 2019. Ma li abbiamo esplorati da poco e se - come per alcuni di noi - non sono conosciuti, sono sicuramente una gran bella scoperta.
Si tratta dei dati del Conto Annuale, la rilevazione censuaria sulle amministrazioni pubbliche che viene effettuata dal 1992 dal Dipartimento della Ragioneria Generale dello Stato. La ricchezza e il dettaglio delle informazioni raccolte è sorprendente e pochi altri open data italiani sono così "grossi".
Non sono infatti certamente big data, ma sono dati che richiedono un po' di esperienza nella loro lettura, trasformazione e analisi. Per ogni anno di rilievo (dal 2001 al 2019), 20 tabelle informative per circa 3.000.000 di righe, su età, tipo di contratto, titolo di studio, assenze, distribuzione geografica, anzianità, ecc.., dei dipendenti della Pubblica Amministrazione.
I dati sono scaricabili da qui (sono dei CSV, con il ";" come separatore) e sono corredati da file di anagrafica che ne consentono la decodifica.
Non appena possibile cerchiamo di capire se esistono dati aggiornati.
ECMWF rende disponibili un'ampia gamma di dati previsionali ambientali
Il 25 gennaio ECMWF ha annunciato il rilascio di dati previsionali su venti, temperature, pressione, precipitazione, ecc. con licenza aperta CC BY 4.0, con una risoluzione di 0.4 x 0.4 gradi.
Sono accessibili tramite le ricche modalità descritte qui, e sono resi disponibili dei Jupyter Notebook per accedere, trasformarli, analizzarli e rappresentarli (per alcuni di questi).
Buone pratiche: far "parlare" i dati energetici
L'Agenzia ORE (Energy Network Operators) riunisce tutti gli attori francesi nella distribuzione di elettricità e gas. Fornisce dati con l'obiettivo di supportare e creare consapevolezza sulla transizione energetica nei territori francesi, in open data e sotto forma di visualizzazioni di dati.
Ci sembra assolutamente da emulare, perché sono temi importanti, con un grande impatto sul quotidiano e sul futuro, su cui c'è da fare crescere la consapevolezza, a partire proprio dai numeri.
Strumenti/risorse
📺"Dialogo sulla misurazione della corruzione", la presentazione di un compendio di buone pratiche sulla misurazione della corruzione, a cura di Eurispes;
📺"Per una PA trasparente, dati aperti per il decisore politico. Il recepimento italiano della direttiva UE Public Sector Information", un convegno a cura della Senatrice Mantovani;
📖"Official Statistics, Building Censuses, and OpenStreetMap Completeness in Italy", uno studio che fornisce un quadro di verifica del grado di copertura e completezza delle mappe insediative derivate dal database OpenStreetMap (OSM) a scala nazionale italiana;
📺"Dati aperti e dati territoriali: lo stato dell’arte in Italia", un webinar di Formez PA volto a fornire una panoramica sullo stato dell’arte in Italia su dati aperti e dati territoriali;
🧮"the Light Every Night data set", l'archivio di tutte le immagini notturne acquisite ogni notte negli ultimi tre decenni dal NOAA, da due tipi di sensori;
📖"Fighting COVID-19 Disinformation - Reports", i report pubblicati dalla Commissione Europea su come alcuni big provider della comunicazione web stanno lavorando sulla disinformazione sul COVID-19 e sui vaccini;
🧮"EASIN - European Alien Species Information Network" il servizio web per accedere ai dati sulle specie "aliene" in Europa;
🎤Come possiamo utilizzare i dati e la tecnologia per migliorare le nostre vite? Se ne parlerà il 3 febbraio al Masters of Digital 2022;
📖Cosa fare e cosa non fare, quando si vogliono visualizzare dati. Una guida a cura della European Environment Agency;
📖Il report sulla revisione dell'indagine sulla qualità della vita, curato dalla Commissione Europea dal 2004;
🧮Conoscete le sanzioni internazionali imposte a persone, aziende e beni legati ai governi di Chávez e Maduro? Se siete interessati ecco i dataset di un progetto a cura di Transparencia Venezuela y Vendata
🧮 La distribuzione e la densità della popolazione mondiale con una risoluzione di 10 metri;
💡climometre, il bellissimo osservatorio cittadino sulle emissioni di CO2, nella città di Valencia;
📺"Piccoli gesti, grandi crimini 2021", la campagna di sensibilizzazione contro l'abbandono dei mozziconi di sigaretta nell'ambiente, basata su numeri impressionanti;
📖I dati del report Open Data in America Latina e Caraibi;
🪛"COVID-19 Data Ireland", un account twitter che pubblica automaticamente dati COVID-19 sull'Irlanda, a partire da fonti ufficiali;
Per sostenerci
Se vuoi sostenerci questo il link per farlo. E invita per favore i tuoi contatti a iscriversi alla nostra newsletter.
🙏Ti ringraziamo e ti diamo appuntamento tra un mese.
