Associazione onData - Newsletter #16 (nel mese delle elezioni)

Sep 5, 2022

Ciao,

grazie per essere qui a leggere questa newsletter, per avere invitato altre/i a iscriversi, per darci spesso spunti per i contenuti che pubblichiamo.

🙏Se vuoi sostenerci, puoi farlo con una donazione.

📍 Se hai qualche problema di lettura di questa newsletter, apri questo link.

🔗 twitter | youtube

📅Il raduno 2022 di OpenDataSicilia: dati e potere

Come abbiamo già segnalato nel numero precedente, la comunità OpenDataSicilia organizza il suo raduno, a Catania, il 30 settembre e il 1 ottobre:

➡️Dati e Potere: https://ods2022.opendatasicilia.it/.

Il tema di fondo ci piace molto e campagne come #datiBeneComune nascono per criticità o vuoti nella relazione tra potere (governo) e dati, e per sottolineare il potere dei dati aperti di qualità.

Si svolgerà in due giorni, uno di conferenza e uno per workshop didattici.

Ti invitiamo a partecipare, iscrivendoti qui.

🗳️I programmi elettorali presentati ufficialmente dai partiti per le prossime elezioni politiche e i diritti digitali

Il 25 settembre 2022 si svolgeranno le elezioni politiche 2022. I partiti (movimenti o gruppi politici) che vogliono partecipare devono "depositare" presso il Ministero dell'interno - come previsto nelle "Istruzioni per la presentazione e l'ammissione delle candidature" - il loro programma elettorale. Nel dettaglio:

Per il programma elettorale è richiesto, oltre al formato cartaceo, anche quello digitale, in quanto necessario ai fini degli adempimenti previsti dall'articolo 4, comma 1, della legge n. 165 / 2017 e dall'articolo 2 della legge n. 4 / 2004. Pertanto, dovrà essere consegnato anche un CD-ROM contenente i files in formato accessibile (PDF/A).

È previsto che il Ministero dell'interno predisponga una sezione denominata "Elezioni Trasparenti", i cui i contrassegni e i programmi sono pubblicati IN MANIERA FACILMENTE ACCESSIBILE (il tutto maiuscolo è presente nelle istruzioni del Ministero), abilitando la "la ricerca per cognome e nome di ciascun candidato ammesso, per denominazione del partito, del movimento politico o della lista nonché per circoscrizione in occasione delle elezioni europee ed anche per collegio in caso di elezioni politiche".

Li abbiamo scaricati dal sito del Ministero:

35 i partiti (movimenti o gruppi politici) in elenco;
31 i programmi disponibili, al 2 settembre 2022;
30 file in formato PDF e uno in formato DOC;
Circa il 75% dei programmi in PDF - 23 su 30 - non ha il testo leggibile (contengono soltanto immagini);
6 programmi sono composti da meno di 3 pagine. Il 75% rientra in un massimale di 18 pagine.

È un bruttissimo segnale che la maggioranza dei programmi consegnati da partiti, movimenti o gruppi politici al Ministero dell'Interno non abbiamo il testo leggibile. Sia dal lato di chi consegna, sia dal lato di chi riceve, che dovrebbe pretendere dei documenti senza alcuna barriera, per garantire l'accessibilità, nel rispetto dei diritti di cittadinanza digitali.

Alcuni dei programmi pubblicati sul sito del Ministero, sono già vecchi e superati. Ad esempio sul sito ufficiale di consegna un programma di 15 pagine, mentre sul sito del partito ce ne è uno aggiornato da 200. Sicuramente questa difformità non è "fuori legge", ma il Ministero dovrebbe a nostro avviso richiedere di ricevere nel tempo anche gli aggiornamenti dei documenti, archiviandone le varie versioni. Altrimenti è una trasparenza (per i programmi) non efficace e troppo formale.

In un punto di accesso centralizzato come questo, che nasce per facilitare la richiesta informativa delle persone, sarebbe opportuno abilitare un motore di ricerca dei programmi politici, e poi poter condividere le porzioni di testo correlate alle ricerche fatte (un embedding alla YouTube, ma di testo).

Abbiamo abilitato un motore di ricerca, basato sui documenti pubblicati sul sito del Ministero.

Basterà aggiungere del testo al campo di ricerca presente. Ad esempio:

"crisi energetica" (come nell'immagine di sotto), troverà tutti i documenti in cui le due parole sono entrambe presenti, una dopo l'altra. È importante in questo caso l'uso delle virgolette " in cui racchiudere le due parole;
scuola AND inclusione, per tutti i programmi in cui sono presenti sia la parola scuola, che inclusione. Qui c'è da fare attenzione al maiuscolo di AND;
"scuola inclusione"~10, per avere tutti i documenti in cui la parola scuola e la parola inclusione non distano tra loro più di 10 parole. È il carattere ~ seguito da 10, dopo le due parole tra ", che imposta la distanza in parole.

Si possono fare diversi altri tipi di ricerca, con altri parametri. Qui la 📖documentazione. Ed è possibile pure utilizzare le API di ricerca.

🔗I dettagli di questo lavoro sui programmi, sono leggibili qui.

🏅Le liste delle candidate e dei candidati alle elezioni politiche 2022, in formato leggibile meccanicamente

Il primo settembre 2022 Vittorio Nicoletta pubblicava il tweet di sotto, in cui si dava visibilità a una notizia importante: il Ministero dell'Interno aveva pubblicato una pagina web con le liste delle candidate e dei candidati, corredato anche dalla possibilità di scaricare gli stessi dati in formato leggibile meccanicamente, con tasto " Per noi sono proprio "i dati che vorrei".

Però la discussione su twitter di sviluppava ed emergeva che in realtà non c'era la possibilità di scaricare nulla.

Allora abbiamo aperto il sito dedicato del "Dipartimento per gli Affari Interni e Territoriali" (è lo stesso dei programmi) e abbiamo visto che le pagine sono basate su dei file di testo strutturato (in formato JSON). Quindi i file leggibili meccanicamente sono pubblici, ma non ne viene data evidenza.

La sera stessa abbiamo scaricato questi file, li abbiamo trasformati in CSV e resi disponibili:

Questa pubblicazione di dati ha suscitato subito grande interesse e nelle ore successive se ne è parlato online, in email e in chat.

💪Ebbene in meno di 24 ore il Ministero ha abilitato il download dei dati in formato CSV sul proprio sito; ci piace pensare che i segnali di fumo lanciati da tante e tanti di noi in quelle ore siano stati uno stimolo a farlo.

Alcune note, in termini propositivi, per il Ministero:

il tema del sesso e delle cariche politiche, non soltanto è da anni un tema di interesse (vedi ad esempio "Sesso è potere" di Davide Del Monte). Sarebbe un attributo da pubblicare, sarebbe un modo semplice ed efficace di fare cultura;
molte persone si domandano "e quindi, io che vivo in via Cippa Lippa a Milano, per chi posso votare". L'Istat ha pubblicato le basi geografiche dei collegi elettorali, ma i codici presenti sul sito del Minestero e di Istat non consentono una correlazione immediata. L'interoperabilità informativa, per dati di così grande interesse, è un fatto propedeutico;
sarebbe ideale aggiungere una nota sulla licenza con cui sono pubblicati questi dati. Non è indicata, quindi o vale il cosiddetto open by default o vale la licenza base del Ministero dell'Interno (CC BY 3.0).

In questa pagina, qualche dettaglio in più su quanto abbiamo fatto.

Vittorio Nicoletta @vi__enne

@Viminale 👀

🧮Il dialogo con Regione Toscana, sui dati del PNRR pubblicati sul portale open data regionale

Il 19 luglio 2022 Alessandra de Renzis ci ha segnalato (grazie) che la regione Toscana ha pubblicato i dati sul PNRR sul portale open data regionale.

Il dataset, pubblicato in diversi formati, fa emergere (tra le altre cose):

1373 progetti;
poco più di 3 miliardi di € di importo totale;
circa 300 soggetti richiedenti;
circa il 90% sono relativi al livello territoriale comunale, per poco più di 200 comuni;
si tratta soprattutto di realizzazioni di infrastrutture sociali, di trasporto e ambientali;
più del 75% sono progetti con un importo superiore o uguale a 250.000 €.

Questi numeri di sintesi si riescono ad avere grazie all'esistenza di questi dati strutturati. La tabella informativa è molto più ricca e, tra le informazioni presenti, anche una coppia di coordinate per individuare il luogo in cui la misura avrà effetto.

Subito dopo la pubblicazione, abbiamo segnalato alcune problematicità nei dati in formato CSV, che sono state recepite e risolte poco dopo. A seguire ne abbiamo fatte altre due (questa e questa), presto risolte.

Quanto fatto dalla regione Toscana ci piace. Sia per l'ascolto continuo, pubblico ed efficace, ma soprattutto per la pubblicazione di un dataset tematico molto ricco.

Dalla struttura dei dati, sembra correlato al Sistema CUP ed è ragionevole pensare che a breve si possano vedere informazioni di questo tipo per tutto il territorio nazionale (prova ne sia anche il dataset OpenCUP di maggio 2022).

Sotto una buona notizia correlata.

🤞Nuove funzionalità per inserire sul sistema CUP i progetti del PNRR

Seguire i progetti finanziati dal PNRR, non è ancora qualcosa di semplice, perché diverse informazioni sono pubblicate soltanto in modo aggregato.

Ci sono diversi segnali di un cambio di passo - vedi circolari su monitoraggio e rendicontazione del PNRR, di cui abbiamo parlato nel numero 14 - e a fine luglio 2022 se ne è aggiunto uno.

Sul sito di OpenCUP - un progetto che pubblica i dati, in formato aperto, sulle decisioni di investimento pubblico finanziate con fondi pubblici nazionali, comunitarie o regionali o con risorse private registrate con il Codice Unico di Progetto - è stata annunciata l'introduzione di nuove funzionalità legate al PNRR.

Una pubblica amministrazione finanziata per la realizzazione di un progetto, è obbligata ad richiedere un codice di progetto, unico (appunto il CUP), che verrà associato al progetto. In fase di richiesta, se il progetto rientra tra linee di finanziamento previste dal PNRR, sarà obbligatorio registrare anche "Tematica PNRR", "Target previsto" e "Data completamento prevista".

L'aggiornamento del Sistema CUP in ottica PNRR è il risultato di un percorso di collaborazione tra il Dipartimento della programmazione e il coordinamento della politica economica (DiPE) e l’Unità di Missione (UdM) PNRR presso la Ragioneria Generale dello Stato del Ministero dell’economia e delle finanze.

Se son rose, fioriranno (dati) e saranno un bene comune.

Pensare fuori dagli schemi: soluzioni per produrre dati di genere migliori

Nonostante gli investimenti nella promozione dell'uguaglianza di genere, i divari nei dati di genere continuano a ostacolare la nostra capacità di comprendere le esperienze vissute.

Il Center for Global Development, Data2X e Open Data Watch hanno organizzato un incontro per provare a spostare l'attenzione dall'identificazione dei problemi relativi ai dati di genere alla ricerca di soluzioni pratiche, presentando il rapporto "“Transforming the Data Landscape: Solutions to Close Gender Data Gaps".

Oltre al rapporto in PDF, un catalogo con circa 150 soluzioni/idee.

Interesse collettivo e dati personali: il caso della statistica ufficiale

Vincenzo Patruno il 23 Settembre 2022, sarà al Trieste Next, al festival della ricerca scientifica, per l'incontro dal titolo "Interesse collettivo e dati personali: il caso della statistica ufficiale"

Nella vita quotidiana lasciamo, più o meno inconsciamente, tracce digitali della nostra vita, delle nostre abitudini, dei percorsi, dei consumi e così via. Nell'era dei Big Data e degli Open Data, quali sono gli strumenti per tutelare la riservatezza e nel contempo offrire informazioni sempre più precise e dettagliate? Istat mette a confronto chi produce i dati e chi li utilizza nell'ambito della statistica ufficiale per rispondere alle curiosità e alle preoccupazioni dei cittadini.

Vi è piaciuto VisiData? Sta diventando più "grosso"

VisiData è un fantastico strumento open source per esplorare e manipolare dati. Mette insieme la chiarezza di un foglio di calcolo, con l'efficienza del terminale e la potenza di Python, in una utility leggera in grado di gestire milioni di righe con facilità.

Il suo autore lo sta estendendo per accedere con la stessa semplicità ed efficacia con cui funziona attualmente con i file di testo strutturato a database a fonti SQLite, MySQL, PostgreSQL, DuckDB, ClickHouse e Google BigQuery.

In questo video un'anteprima. Se vuoi approfondire qui il repository.

Il portale delle coste di ISPRA

L'Istituto superiore per la protezione e la ricerca ambientale (ISPRA) rende accessibili i dati sulla fascia costiera italiana e sulla sua evoluzione.

Il Portale delle Coste consente di studiare l'evoluzione costiera di lungo periodo, dovuta all'azione del mare, all'attività antropica e ai cambiamenti climatici.

Il Geodatabase della linea di costa comprende la digitalizzazione dell’intera linea di costa nazionale, delle opere di difesa, delle opere portuali, del limite di retrospiaggia con relativa caratterizzazione dell’uso del suolo e della delimitazione degli areali delle spiagge emerse negli anni 2000, 2006 e 2020.

I dati sono consultabili tramite un'interfacca cartografica interattiva, tramite servizi OGC/INSPIRE, e in download in formato GeoPackage.

Bankit-FTV, i dati sul commercio italiano dal 1862 al 1939

Il database Bankit-FTV è stato sviluppato da Giovanni Federico, Giuseppe Tattara e Michelangelo Vasta in un progetto sostenuto da Banca d'Italia. La banca dati riporta i dati sul commercio italiano dal 1862 al 1939 e si basa su fonti ufficiali molto dettagliate (Movimento Commerciale del Regno d'Italia). Ogni prodotto è stato riclassificato secondo SITC Revision 2.0 a livello di 4 cifre.

Più di 200.000 record di dati, utilizzati (insieme ad altri) per Lost Highway, un progetto che mira a testare un'ipotesi generale presente nei dibattiti tra storici economici ed economisti sulla crescita economica italiana, ovvero che le radici dell'attuale malessere economico possono essere ricondotte ad alcune carenze specifiche del primo processo di industrializzazione italiana.

Di interesse nel sito, la sezione con le pubblicazioni.

Wiki Loves Monuments 2022

Wiki Loves Monuments è l’edizione italiana del più grande concorso fotografico del mondo, un contest dedicato ai monumenti, che invita tutti i cittadini a documentare la propria eredità culturale realizzando fotografie con licenza libera, nel pieno rispetto del diritto d’autore e della legislazione italiana in merito.

Obiettivo di Wiki Loves Monuments è la valorizzazione dell’immenso patrimonio culturale italiano sul web.

Le fotografie dei monumenti vengono condivise su Wikimedia Commons, il grande database di immagini di Wikipedia, con licenza libera CC-BY-SA. Wiki Loves Monuments contribuisce infatti a diffondere la filosofia di Wikimedia Italia e di tutti i progetti wiki, che si basano sulla libera condivisione della cultura.

Nel 2022 il concorso è organizzato in Italia da Wikimedia Italia, con Istituto Italiano dei Castelli. Il tema del concorso sono proprio i castelli e le fortificazioni.

➡️Per partecipare https://www.wikimedia.it/wiki-loves-monuments/fotografi/

Strumenti/risorse

🪛Parsr, uno strumento per trasformare le informazioni racchiuse nei tuoi documenti (immagini, pdf, email, docx) in dati;
❓Una consultazione pubblica di Eurostat sul potenziale delle nuove fonti, per eventualmente aggiornare i compiti delle autorità statistiche;
📄"SQLite: Past, Present, and Future", un'interessantissima lettura su SQLite, che ci mostra le interessantissime funzioni che verranno introdotte prossimamente;
📄Capire in pochi minuti come è fatto un RDF con sintassi Turtle. Un bel lavoro didattico di Bob DuCharme, pubblicato sull'ottimo Learn X in Y minutes;
🧮I dati aggiornati sul consumo di suolo in Italia (19 ettari al giorno, il valore più alto negli ultimi dieci anni), a cura di ISPRA;
📰Nell'ultimo numero di Nessun Dogma, una sezione dedicata ai dati sulla frequenza all’ora di religione cattolica, che l'UAAR insieme a noi ha trasformato in "bene comune";
📄Lo stato della sicurezza alimentare e della nutrizione nel mondo, nel 2022. Un report dell'unicef;
📰Missione impossibile: il monitoraggio dei fondi dal sito che traccia il Pnrr, un articolo su IRPI Media, sulle difficoltà nel riuscire a leggere le informazioni sui progetti del PNRR;
🟦heroicons, una bella raccolta di icone in SVG, da usare per i tuoi progetti;

Per sostenerci

Se vuoi sostenerci, questo il link per farlo. E invita per favore i tuoi contatti a iscriversi alla nostra newsletter.

🙏Ti ringraziamo e ti diamo appuntamento tra un mese.

Associazione onData newsletter