📣 Associazione onData - Newsletter #27
Un bel percorso didattico, nuovi dati ANAC sul PNRR, un hackathon sulle acque e sulla salute, una mappa sugli incendi e tanto altro.
Ciao,
grazie per essere qui a leggere questa newsletter, per avere invitato altre/i a iscriversi, per darci spesso spunti per i contenuti che pubblichiamo.
🙏Se vuoi sostenerci, puoi farlo in questi modi.
👉 Se ci leggi da e-mail, fai click qui per leggerla per intero
🪴 Il piacere di vedere germogliare quanto seminato
Per un'associazione come la nostra è molto bello quando quello che si semina produce dei frutti.
Ed è successo con una storia che inizia nella prima settimana di luglio del 2023.
In quei giorni Nicola Vallinoto - sviluppatore software in Liguria Digitale - ci scrive un'e-mail per avere un suggerimento sulle risorse didattiche da usare per costruire un corso sui dati aperti per un istituto tecnico.
Da lì inizia un fitto scambio, in cui la parte del leone, in modo inizialmente inaspettato, la fanno:
Il nostro vademecum sui dati aperti del PNRR;
La nostra guida su VisiData, un'applicazione comodissima per esplorare e analizzare dati.
Nicola ci fa tante altre domande, ma soprattutto ci fa notare errori da correggere e ci dà diversi suggerimenti (grazie mille).
Finché non è arrivato il giorno in cui ci ha mostrato la presentazione che ha costruito insieme alle sue colleghe e ai suoi colleghi (Alessandro Miracca, Stefano Parodi, Franco Avran, Roberta Serafini e Cecilia Costa).
Sono 207 pagine di grande qualità, frutto di un lavoro di sintesi difficile e bello, con tanta cura nella ricerca di fonti e di costruzione di un percorso formativo, che consentisse alle persone di impadronirsi sia dei concetti teorici di base, che imparare a usare alcuni strumenti di visualizzazione, analisi, trasformazione e rappresentazione dei dati. Con un focus su VisiData e QGIS e con il monitoraggio civico come esperienza per mettere in pratica il tutto.
Vedere citate in questo lavoro tante cose costruite da noi (in modo diretto e indiretto), vedere punti di sintesi che derivano da nostre pubblicazioni, vedere consigliata questa newsletter, ci fa un piacere veramente grande. Ci dà la bellissima sensazione di avere dato un piccolo contributo culturale.
Se sei interessato al tema dei dati aperti, questo è un prodotto didattico che ti consigliamo di mettere nella tua biblioteca.
È un lavoro di Liguria Digitale, grazie al tramite di Scuola Digitale Liguria, in collaborazione con Accademia Digitale Liguria ITS-ICT, Anpal Servizi e l’I.I.S. Gastaldi Abba di Genova, per il PCTO (Percorso per le competenze trasversali e per l’orientamento) "Open Data". L’attività si concluderà il 6 novembre con la presentazione dei progetti di entrambe le classi. I migliori verranno successivamente ripresentati durante l’evento PCTO Open Data: un esperimento di filiera scuola - lavoro, in programma il 17 novembre a Orientamenti 2023, il festival dedicato al mondo della scuola e del lavoro e alle diverse opportunità offerte sul territorio.
In ultimo un affettuoso saluto agli studenti e alle studentesse e ai docenti dell'Istituto di Istruzione Superiore Gastaldi-Abba. Con loro e con Nicola, speriamo di organizzare presto un incontro video dal vivo, in cui raccontare l'esperienza.
🪫 OpenUK e talk aperti a tema sostenibilità
Il Regno Unito, nel panorama internazionale, è un paese con diverse belle realtà quando si tratta di dati aperti e pubblici e anche scienza e tecnologia aperte.
Una di queste realtà è OpenUK, che si propone di rendere il panorama tecnologico del paese sempre più aperto e accessibile, organizzando corsi (anche per bambini), eventi, e facendo attività di advocacy.
Il 14 settembre di quest'anno si è svolto a Edimburgo (Scozia, UK) un loro evento, dedicato al tema della sostenibilità. Sono intervenute diverse personalità del mondo del pubblico e del privato, da rappresentanti del governo e delle Nazioni Unite a executive di azienda e accademici.
I talk, per essere fedeli allo spirito di apertura, sono disponibili a tutti online, fruibili a questo link.
Ti consigliamo vivamente di darci un'occhiata - naturalmente sono in inglese - ma si può chiedere a YouTube di generare sottotitoli in molte lingue.
C'è questo talk per esempio, della Chief Research Officer di OpenUK stessa, che ha parlato di efficienza energetica di diversi linguaggi di programmazione, mostrando per esempio come Python sia uno dei peggiori, il che non è molto sorprendente essendo un linguaggio interpretato ma è sempre bene tenere a mente.
🧮 ANAC aggiunge il flag “PNRR” ai dati sui bandi
Uno degli obiettivi del nostro vademecum sulle principali fonti dati PNRR della Pubblica Amministrazione Italiana, è quello di valorizzare quei dati già pubblici, ma magari poco noti, complicati da “usare”, difficili da mettere in relazione con altri dati o per i quali fosse complesso distinguere quelli correlati al PNRR dagli altri.
Per quest’ultimo punto una soluzione classica è quella di aggiungere un flag, ad esempio una colonna in una tabella con i valori 0 e 1 (ovvero “no” e “sì”), per indicare se una certa riga è associata al PNRR.
Da qualche settimana lo ha fatto l’Autorità Nazionale Anticorruzione (ANAC), per i dati sui bandi di gara, che sono probabilmente quelli più scaricati della loro banca dati. È possibile, grazie alla nuova colonna FLAG_PNRR_PNC, applicare un filtro a questi dati e ottenere soltanto quelli relativi al Piano Nazionale di Ripresa e Resilienza (PNRR) o del Piano Nazionale per gli investimenti Complementari al PNRR (PNC).
👉 NOTA BENE: Il flag è valorizzato dal 2023, sulle risorse incrementali del dataset “CIG aggiornamenti delta”.
Questa novità è visibile anche nella dashboard interattiva realizzata da ANAC, per esplorare i dati della “Banca Dati Nazionale dei Contratti Pubblici”: nell’interfaccia è presente un menu a tendina per applicare il “flag” PNNR/PNC come filtro.
In ultimo sottolineiamo che il 3 ottobre 2023 l’ANAC ha pubblicato due nuovi dataset a tema PNRR:
Indicatori PNRR/PNC
Misure premiali PNRR/PNC
Il primo riguarda le “quote di inclusione” ed eventuali deroghe alla norma sulle pari opportunità, per i bandi di gara che utilizzano fondi PNRR/PNC (art. 47 del decreto 77 del 31 maggio 2021).
Il secondo riguarda l’elenco delle misure premiali che attribuiscono un punteggio aggiuntivo all’offerente o al candidato, per i soli bandi di gara che utilizzano fondi PNRR/PNC e che presentano ulteriori misure premiali nell’avviso o nell’invito.
Abbiamo contribuito a “spingere” per la pubblicazione di questi dati e ci fa piacere vedere gli esiti del lavoro a tema da parte dell’Autorità.
🛠️ L’hackathon del progetto WHOW
Il progetto WHOW – Water Health Open knoWledge, sull’apertura dei dati sulla qualità delle acque marine, superficiali e per il consumo umano, e su parametri di salute, è alle battute finali e organizza un hackathon conclusivo per valorizzare i dati aperti ora disponibili.
L’hackathon si terrà il giorno sabato 18 novembre 2023 dalle 9:00 alle 19:30. Sarà sia in presenza, presso Regione Lombardia - palazzo Pirelli in via Filzi 22 Milano, ma potrà essere seguito anche online via streaming. Per parteciparvi in entrambe le modalità è necessario registrarsi. La registrazione rimarrà aperta fino al giorno prima dell’evento.
Il tema dell’hackathon, pensato per ospitare anche partner europei, è "Water is life: Knowing it for a Better Future". Vari team saranno chiamati a sviluppare idee ma anche vere e proprie soluzioni software per rispondere ad alcune sfide che i partner del progetto hanno scelto. Nello specifico, sono quattro le sfide individuate:
Riutilizzo dei dati aperti di WHOW. Progettare o progettare e sviluppare qualsiasi tipo di riutilizzo del dato (e.g., una data viz, delle mappe, delle vere e proprie applicazioni). Per facilitare la sfida, strumenti per l’interrogazione dei dati verranno spiegati e messi a disposizione dei partecipanti dai mentor dell’hackathon.
Sviluppare API REST semanticamente arricchite. La sfida ha lo scopo di progettare API di tipo REST che siano ben documentate attraverso schemi di API semanticamente arricchiti con i riferimenti alle ontologie (o modelli semantici dei dati) sviluppate nel progetto WHOW. L’idea è quella di agire secondo quanto richiesto nell’ecosistema di interoperabilità italiano e proporre i risultati di questa sfida per l’inclusione nel catalogo nazionale della semantica dei dati, schema.gov.it.
Multilinguismo. Massimizzare il riutilizzo, anche in un contesto transfrontaliero, significa fornire risorse multilingua, comprensibili da un pubblico vasto. La sfida ha lo scopo di arricchire le risorse aperte messe a disposizione con ulteriori risorse multilingua. Questo, per esempio, può essere fatto estendendo la pipeline di produzione del dato aperto di WHOW con l’uso di servizi esterni di traduzione.
Sfida speciale. Una sfida aperta: si usa la fantasia per arricchire e usare i dati aperti del progetto WHOW.
Quanto prodotto sarò pubblicato su piattaforma GitHub del progetto e i team vincitori saranno annunciati nei siti web istituzionali delle pubbliche amministrazioni coinvolte in WHOW.
Per ulteriori informazioni sul programma della giornata e sul link per lo streaming, suggeriamo di seguire i canali di comunicazione di WHOW linkedin e sito web.
👉 Noi di onData ci saremo!
🎓 L’Università degli Studi di Milano è il primo Ateneo lombardo a contribuire a Open Data Lombardia
L’Università degli Studi di Milano è il primo Ateneo lombardo a contribuire a Open Data Lombardia, il portale di Regione Lombardia che espone, in formato aperto, i dati delle pubbliche amministrazioni del territorio lombardo a cittadini, imprese ed enti, in linea con il Piano Triennale per l’Informatica nella Pubblica Amministrazione (2022-2024), strumento essenziale di promozione della trasformazione digitale del Paese.
Il risultato è frutto di un accordo con Regione Lombardia, su iniziativa della Direzione Performance, Assicurazione Qualità, Valutazione e Politiche di Open Science, in collaborazione con la Direzione ICT.
La Statale è dunque presente su Open Data Lombardia con una propria sezione “Università degli Studi di Milano – Pubblicazioni”, facilmente reperibile selezionando la categoria “Università e ricerca” o attraverso il motore di ricerca del portale, e con un dataset che raccoglie le pubblicazioni scientifiche degli ultimi cinque anni inserite nell’applicativo AIR (Archivio Istituzionale della Ricerca).
l dataset, la cui creazione ha impegnato le Direzioni dell’Università Statale per un semestre, sarà aggiornato mensilmente, in attesa del caricamento automatico dei dati in programma nei prossimi mesi, grazie all’interoperabilità dei sistemi informativi tra pubbliche amministrazioni.
🗣️ A proposito dei dati aperti su Omicidi volontari e violenza di genere: l’importanza di dialogare con la PA
Nel numero #26 della nostra newsletter ti abbiamo raccontato che il Ministero dell’Interno ha pubblicato finalmente anche in formato (potenzialmente) adatto all’analisi i dati del report settimanale su “Omicidi volontari e violenza di genere” (in formato CSV).
Abbiamo valutiamo molto positivamente la cosa, ma facevamo notare l’opportunità di pubblicare altri dei dati (al momento soltanto leggibili a schermo nei file PDF) e di pubblicare meglio i file in formato CSV.
Su questi due punti abbiamo scritto agli uffici che si occupano nella loro pubblicazione e abbiamo avuto una prima risposta nei fatti: il file CSV del report non contiene più tante delle criticità segnalate.
Lo sottolineiamo per evidenziare il valore e l’opportunità di dialogare con la Pubblica Amministrazione. Su questi dati continueremo a farlo con il Ministero.
🚩 Alcune segnalazioni/richieste che abbiamo fatto
1️⃣ In Italia vale il cosiddetto Open by default: “i dati e i documenti pubblicati dalle Pubbliche amministrazioni, senza un'esplicita licenza d'uso che ne definisca le possibilità e i limiti di riutilizzo, sono da intendersi come dati aperti”. E questo lo spiega il filmato pubblicato dal Ministero dell’Interno nel 2017, che però - un po’ paradossalmente - è pubblicato con una licenza non aperta, la CC-BY-NC-SA, che non consente l’uso commerciale.
Abbiamo allora segnalato la licenza inadeguata al Difensore civico per il digitale, che l’ha valutata “ricevibile” e che sta “dialogando” con il Ministero per risolvere la cosa.
2️⃣ L’Agenzia delle Dogane e dei Monopoli cura una pagina con dei report sul gioco legale in Italia: gli ultimi dati sono del 2019 e “intrappolati” in file PDF. Abbiamo chiesto di aggiornarla con le informazioni sugli gli anni mancanti, e di pubblicare i dati anche in formato leggibile meccanicamente (ovvero delle “vere” tabelle, usabili da un’applicazione di analisi dati).
🗺️ La mappa dell’impatto degli incendi in Sicilia
Anche quest’estate la terra ha bruciato in molte aree dell’Europa. La situazione in Sicilia ha suscitato diverse reazioni da parte della stampa siciliana e nazionale, nonché pubblicazioni di associazioni e gruppi di attivisti. Ad esempio, il post di OpenDataSicilia sulle “Terre percorse dal fuoco” o l’articolo “A Palermo è stata una disastrosa estate di incendi” de Il Post.
Sono emerse diverse fonti dati - SIF (Sistema Informativa Forestale - Regione Sicilia), EFFIS (European Forest Fire Information System - Copernicus) e l’Elenco dei comuni inadempienti al catasto degli incendi - che Guenter Richter ha usato per creare una mappa per:
mostrare l'impatto degli incendi sul territorio, “sommando” i vari eventi;
mostrare il loro rapporto con l'uso dei rispettivi territori (parchi, zone ricreative, ecc.);
mostrare la dinamica degli eventi (curve con incendi per anni, mesi o giorni della settimana);
combinare la situazione storica (SIF) con quella attuale (EFFIS).
🧮 Il Tree Equity Score
Gli alberi sono infrastrutture urbane critiche, essenziali per la salute e il benessere pubblico.
Il Tree Equity Score è una metrica che aiuta a valutare il grado di copertura arborea equa, disponibile per quasi 200.000 quartieri urbani degli Stati Uniti.
Il punteggio deriva dalla copertura arborea, dai dati climatici, demografici e socioeconomici. Il punteggio varia da 0 a 100. Più basso è il punteggio, maggiore è la priorità di piantare alberi. Un punteggio di 100 significa che il quartiere ha raggiunto gli obiettivi di piantumazione di alberi.
Il Tree Equity Score di un’area è pubblicato con un indice di priorità ponderato che viene integrato nel punteggio di equità. Un indice di priorità più alto, indica una “tipologia” di popolazione più a rischio.
Nella pagina “Methods & Data” i dati, e il “data glossary”.
🧮 Dati pubblicati
👉 Iniziamo dall’aggiornamento de dati ISPRA copertura e consumo di suolo. Da due anni non rallenta più, e nel 2022 accelera bruscamente e torna a correre a ritmi che, in Italia, non si vedevano da più di 10 anni. I dati grezzi sugli indicatori li trovi qui e qui tutto il materiale di presentazione del rapporto edizione 2023. Trucchetto: noi seguiamo tutti questi aggiornamenti dei dati ISPRA, tramite il loro feed RSS dedicato.
👉 Altri dati sono quelli del progetto Cresce Bologna: uno spazio online dedicato al racconto delle iniziative e dei progetti promossi dal Comune e dalla Città metropolitana di Bologna e finanziati attraverso risorse PNRR, PON Metro 2014-2020 e FSC.
👉 In ultimo, sul portale Open Data del Comune di Bologna una mappa collegata alle nuove raccolte di dati che consentono di vedere in tempo reale la disponibilità di posti presenti nei principali parcheggi della città, con informazioni dettagliate sulla localizzazione dei parcheggi, il numero di posti a disposizione, le tariffe previste per la sosta e molto altro ancora.
👀 Il feed Bluesky, per seguire il tema dei dati aperti
Bluesky è un progetto di ricerca e sviluppo di una piattaforma social decentralizzata e aperta, basata su standard e protocolli comuni. È stato annunciato nel dicembre 2019, con l’obiettivo di creare un social network che sia più resistente alla censura, alla manipolazione e agli abusi. È ancora in fase embrionale e non ha ancora rilasciato nessun prodotto o codice sorgente.
I feed di Bluesky sono una funzionalità che consente agli utenti di personalizzare il loro flusso di contenuti in base ai propri interessi. Paola Masuzzo ha creato per onData quello per seguire il tema dei dati aperti, in diverse lingue. È molto utile per scoprire persone, progetti, attività, ecc. a tema.
È necessario un account, che al momento sono ad inviti (alcuni di noi ne hanno alcuni, se volete lasciate un commento).
🫶 Piccole soddisfazioni
Per segnalare fatti, cose e persone, che ci hanno restituito piccole soddisfazioni
1️⃣ Le belle parole di Giuseppe Sollazzo, nel numero #083 de LaCulturaDelDato
Sicuramente il lavoro dell’Associazione OnData, che mette insieme attivismo sui dati aperti e lavoro tecnico di qualità, si pensi ad esempio al lavoro di data processing che hanno fatto durante le ultime elezioni. La loro mailing list è una fantastica risorsa su quello che succede in Italia nell’ambito dei dati e del pubblico. Recentemente Andrea Borruso, presidente dell’associazione, ha rilasciato un bellissimo, e molto accessibile, articolo sul come usare DuckDB per l’analisi di file CSV molto grandi, che è un esempio di come rendere l’uso dei dati più facile e comprensibile per tutti.
2️⃣E Marco Bastian Stizioli, che scrive “Il lavoro pazzesco sugli open data di Associazione onData”, segnalandoci però un tema importante e per il quale ci metteremo in contatto con lui: sono pochi i dati su diagnosi HIV e IST in Italia e alcuni sono intrappolati in file PDF.
Strumenti/risorse
📺 Un video corso in quattro parti su Observable Plot, una libreria ad alto livello (basato sulla grammar of graphics) per la creazione di data visualization.
👀 L'Head of App Development di Datawrapper condivide il percorso di migrazione da uno stack tecnologico basato su PHP+JQuery a uno più moderno con Node+SvelteKit.
🔧 Graphic Walker: un progetto open-source che si propone come alternativa a Tableau. C'è anche una versione dedicata a Python chiamata PyGWalker.
🗓️ il 2 Febbraio 2024, ad Amsterdam, la quarta DuckCon celebra DuckDB (il potente database di cui via ha già parlato Andrea Borruso) nella sua città natale.
🙌 Il tappeto data-driven creato da Giorgia Lupi (Pentagram) in collaborazione con Well Woven, per arredare le case di chi ama i dati;
🧮 Dove sono le donne, nelle strade di Tolosa? Un bel post che racconta l’analisi fatta Éric Mauvière, sui nomi delle strade della città.
🔧 Gridviz, una libreria JavaScript di Eurostat che consente di visualizzare dati a “griglia” (o qualsiasi serie di dati tabellari con posizione x/y) in un'ampia gamma di stili cartografici.
👀 Documentare il movimento femminista in Italia. Il Centro Studi Movimenti di Parma ha reso disponibile dei materiali sul tema della storia del movimento femminista in Italia.
📰 Una riflessione del Prof. Paolo Ciuccarelli (Northeastern CAMD - Politecnico di Milano) sul ruolo dei dati nella società contemporanea dopo la visita alla Biennale Architettura di Venezia.
🎓 La prima lezione del corso Rethorical Data Visualization del Prof. Enrico Bertini sul ruolo delle visualizzazioni dati nel supportare argomenti e nella loro interpretazione.
📖 Una completissima guida alla Data Visualization pubblicata dal Publication Office dell'Unione Europea che copre diversi aspetti dall'accessibilità agli aspetti di storytelling partendo dalle basi ai concetti più avanzati.
📊 Un esempio molto originale di data visualization creativa dal team di Bloomberg Graphics, che ha utilizzato perline e braccialetti per rappresentare il successo internazionale di Taylor Swift.
🗓️ Il 7 novembre, l’edizione 2023 dell’ODI summit, dal titolo “Data changes”.
🗓️ Il 1° novembre inizia il mitico mese di “sfide con le mappe”, il 30DayMapChallenge.
🔧 Tad è uno dei visualizzatori open source più rapidi, per file in formato CSV, Parquet, SQLite e DuckDB. È uscita la release 0.13.
🖥️ Rilasciato Python 3.12.
Ciao, posso chiedervi un invito a Bluesky? Sono curiosa :)