Iacopo Colonnelli
- Università di Torino
- https://www.unito.it/
10 ottobre 2019 - SESSIONE: Cloud e servizi: modelli, novità e casi d'uso - I
Streamflow: un approccio dichiarativo a workflow e pipeline di micro-servizi
Streamflow: un approccio dichiarativo a workflow e pipeline di micro-servizi
Iacopo Colonnelli è studente di dottorato in Modeling and Data Science presso l’Università di Torino e membro del gruppo di ricerca Alpha, che si focalizza sullo sviluppo di modelli di programmazione, linguaggi e strumenti per il calcolo parallelo. Si è laureato in Ingegneria Informatica presso il Politecnico di Torino, con una tesi sulla parallelizzazione e l’ottimizzazione di un algoritmo di tracciamento di particelle nell’ambito della fisica delle alte energie. Attualmente, la sua ricerca si focalizza sui metodi di ottimizzazione di sistemi distribuiti, prevalentemente in ambito deep learning, sia su cloud, sia in ambienti HPC.
Iacopo Colonnelli is a Ph.D. student in Modeling and Data Science at the University of Torino and a member of the Alpha research group, which is interested in programming models, languages and tools for parallel computing. He graduated in Computer Engineering at the Polytechnic University of Torino with a thesis on the parallelisation and optimisation of a particle tracking algorithm in the context of high energy physics. Currently his research focuses on optimisation methods for distributed systems, mainly in the field of deep learning, on both cloud computing and HPC environments.
Streamflow: un approccio dichiarativo a workflow e pipeline di micro-servizi
Negli ultimi anni, gli approcci orientati ai container si sono dimostrati particolarmente efficaci nel garantire portabilità e riproducibilità dei workflow scientifici. Tuttavia, con il continuo aumento del volume di dati a disposizione e la crescente complessità delle procedure di analisi in ogni campo della ricerca, anche i requisiti di performance e riusabilità si fanno via via sempre più essenziali. L’obiettivo principale di Streamflow è quello di fornire un nuovo paradigma, totalmente dichiarativo, per la descrizione e l’accelerazione di workflow scientifici in ambienti distribuiti. La peculiarità di Streamflow risiede nel fatto che l’ambiente di esecuzione è interamente descritto in termini di servizi (container), connessioni tra essi e fattori di replica. Inoltre, ogni task del workflow è esplicitamente mappato sulla tipologia di servizio richiesta. Questo permette un maggior controllo sull’utilizzo delle risorse e politiche di scheduling più precise, a vantaggio delle performance. I principali vantaggi di un approccio dichiarativo sono invece la più facile comprensione ed estensione dei modelli esistenti, a vantaggio della riusabilità.
Streamflow: a declarative approach to workflows and micro-services pipelines
In the last years, container-based approaches have proved to be very effective in guaranteeing portability and reproducibility of scientific workflows. Nevertheless, with the continuous increase of data volumes and analyses complexity in every research domain, also performances and reusability are becoming increasingly essential requirements in this field. The main goal of Streamflow is to provide a fully declarative paradigm to describe and accelerate scientific workflows on distributed environments. The peculiarity of Streamflow lies in the fact that the execution environment is entirely described in terms of services (containers), interconnections between them and replication factors. Moreover, each workflow task is explicitly mapped to the required service typology. This allows a greater control over resource utilisation and more detailed scheduling policies, to the benefit of performances. The main advantages of a declarative approach are instead a better understandability of the existing models and an easy way to extend them, to the benefit of reusability.
