Torino, Open Data Day 2016, 5 marzo, appena svegli, guardando fuori dalla finestra, la prima cosa che viene in mente è “Ma porc…”. L’unica nevicata dell’anno, e pure abbondante, arriva proprio il giorno in cui bisogna stanare dai propri rifugi degli sviluppatori di prima mattina!?! Indossate scarpe pesanti, sciarpa e guanti, ci rechiamo al Centro Nexa del Politecnico di Torino, che, come tradizione (quest’anno assieme alla startup Synapta) ha organizzato un piccolo hackathon per festeggiare l’Open Data Day nel modo più concreto: sviluppando codice per “aprire” un po’ di dati.
Il titolo è Hunting 4 data hunters!
La sfida per i partecipanti è andare alla caccia di quanti più dati possibili sulle piattaforme che le PA utilizzano per fare trasparenza sulla spesa dei soldi pubblici.
In particolare, su contributi e sussidi, sui bandi di gara, e sui relativi contratti pubblici. Tutti dati che devono essere pubblicati obbligatoriamente, e come Open Data, ai sensi del Decreto Trasparenza.
Tra i materiali forniti ai partecipanti (disponibili QUI per chi volesse cimentarsi): un elenco degli URL delle pagine su contributi e sussidi nelle sezioni trasparenza di circa 8500 siti di pubbliche amministrazioni. Ovviamente, da qui all’effettivo file CSV, XLS, XLSX, HTML, ODS o altro contenente i dati, a volte passano vari click, ammesso che il file ci sia.Un analogo elenco su bandi di gara e contratti, nonché altri link relativi ai bandi pubblici. Ad esempio, quelli degli osservatori regionali e simili. Tutti siti ricchi di informazioni, ma spesso con dati non facilmente recuperabili (lodevole l’eccezione della Lombardia, che pubblica molti dati CSV sul proprio portale Open Data!).Infine, un elenco di pubbliche amministrazioni che non avevano comunicato correttamente i propri XML relativi ai contratti pubblici all’ANAC (si tratta dei dati che è obbligatorio comunicare ai sensi della Legge Anticorruzione, L.
190/2012). Per esperienza diretta, sapevamo che, in realtà, molte di queste PA avevano ottemperato all’obbligo di pubblicazione sul proprio sito web, ma qualcosa era andato storto nella comunicazione con l’Autorità Anticorruzione (cui bisogna inviare via PEC un modulo PDF, non proprio la procedura più agile ed a prova di errore che si possa immaginare).
Federico Morando di Synapta premia Riccardo Magliocchetti, vincitore dell’hackathon sui soldi pubblici in occasione dell’Open Data Day a Torino
SYNAPTA
Dato che Synapta ha messo in palio un piccolo premio, sulla lavagna in sala abbiamo condiviso il criterio di “peso” dei dati scaricati: un piccolo “mercato dei dati”, che tutti hanno giustamente preso come uno spunto competitivo scherzoso. Nelle prime ore, il duello tra l’uomo e la macchina ha pure visto in testa i partecipanti che procedevano a scaricare alcuni dati particolarmente ostici mano… ma poi i programmi hanno cominciato a macinare dati.
Dopo otto ore di ricerca di dati e programmazione interrotte solo da un rapido panino, cui alcuni hanno fatto seguire una veloce sfida al mitico biliardino del Centro Nexa, il vincitore è stato, per un incollatura rispetto al secondo classificato Diego, Riccardo Magliocchetti. Riccardo si è concentrato proprio sull’ultima sfida, quella relativa ai dati sui contratti pubblici per l’autorità anticorruzione, lavorando a realizzare degli scraper specifici per le piattaforme di terze parti, usate perlopiù dalle piccole pubbliche amministrazioni. Il codice sviluppato da Riccardo è disponibile sul suo account GitHub QUI.
Il lavoro di Riccardo, così come quello degli altri partecipanti, non esaurisce certo la sua utilità all’hackathon e non andrà sprecato: Synapta, assieme al Centro Nexa, sta infatti analizzando un grafo di 3,127,346 lotti di contratti, assegnati da 12,681 enti pubblici, con 604,810 aziende partecipanti (e le informazioni su tutte le “alleanze” tra loro in fase di partecipazione agli appalti). Informazioni cui vanno aggiunte quelle scaricate all’hackathon e che stiamo continuando a recuperare.
Presto rilasceremo pubblicamente non solo i risultati dell’analisi in termini di data visualisation e report, ma anche molti open linked data, nonché il codice sorgente sviluppato, con licenza free and open source. Se volete rimanere aggiornanti sugli sviluppi, seguite l’account twitter di @synapta.
FEDERICO MORANDO
President and CEO Synapta
