Utilizzo delle metriche di Measurement Lab e valorizzazione delle informazioni attraverso tecniche di Data Science

Measurement Lab è un progetto open source che mette a disposizione misurazioni relative a prestazioni della rete internet. Il consorzio TOP-IX ha deciso di utilizzare le metriche messe a disposizione da M-LAB per ottenere maggiori informazioni sull’impatto dei propri consorziati sul territorio e per analizzare fenomeni che possano potenzialmente influenzare le prestazioni di connettività degli internet provider membri. Questo articolo presenta il processo di estrazione dei dati usati tramite standard SQL in Google BIgQuery, acquisizione ed organizzazione del dataset usando uno script di Python, ed esplorazione di tali dati con librerie Python come Numpy, Pandas, Matplotlib and Seaborn. L'articolo prosegue esponendo una selezione di casi di studio: la profilazione dei provider di servizi internet (in particolare Wireless Internet service provider); la correlazione tra le prestazioni della rete ed i piani commerciali dei provider; la correlazione tra le prestazioni della rete e le condizioni metereologiche usando dati open da ARPA. La ricerca si propone di verificare l'assunto che dati da M-LAB possono essere utilizzati per esplorare ed analizzare il comportamento della connettività di provider ed eventi che possano influire sulle prestazioni Se validato, tale approccio potrebbe essere utilizzato per arricchire informazioni sulla connettività provenienti dai provider stessi tramite un’analisi ottenuta aggregando da dati open e da altre autorità locali.

---

How to leverage Measurement Lab internet metrics to get useful insights through data science

Measurement Lab is an open source project that provides free, open Internet performance measurement data. TOP-IX Consortium is one of the partners that supports M-LAB, and it decided to leverage the open data provided to get more insights concerning the impact of its network on the territory and the factors that might influence the performances by the connectivity providers among its members. This paper presents the process used to query the data using standard SQL in Google BigQuery, to collect and organize the datasets using Python scripts, and to explore them through open source Python libraries such as Numpy, Pandas, Matplotlib and Seaborn. The research exposed presents a selection of case studies regarding the profiling of internet service providers (particularly wireless service providers), correlation between network performance metrics and commercials public plans, and correlation between performances and weather conditions using open data provided by ARPA. The goal is to validate the assumption that data from M-LAB (basically an enriched speed test) might be used as a "proxy" to explore / analyze connectivity providers behaviours and the events (such as the weather) impacting on their performances. If validated, this approach might be used to enrich the information that connectivity providers extract from their own network, to offer an objective multi-operator analysis and to represent a good tool to verify (thanks to the dataset openness) the reports created by operators themselves or other authorities.