AI DATA ENGINEER

7 ore fa

Bologna, Emilia-Romagna, Italia Michael Page International Tempo pieno
Overview

In questa posizione, progetti e sviluppi pipeline di elaborazione dati su larga scala sfruttando Spark e Spark SQL, con focus su Azure Data Factory e pipeline end-to-end. Supporti l’ingegneria dei dati per dati strutturati e non strutturati e applichi tecniche ML per problemi reali in contesti come fashion, geospaziale e industriale. Lavori a stretto contatto con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven e presenti i risultati tramite report e dashboard. Un ruolo chiave in un’azienda tecnologica in crescita dove l’innovazione e le attività di MLOps garantiscono scalabilità e affidabilità.

Retribuzione / Benefits
  • smart working/ibrido
  • formazione e aggiornamento tecnico continuo
  • contratto a tempo indeterminato
  • opportunità di crescita in azienda
  • tipo di contratto indeterminato
  • areas zona Bologna
Responsabilità
  • Progettare e sviluppare pipeline di elaborazione dati su larga scala using Spark (Scala e Spark SQL)
  • Ottimizzare processi di elaborazione distribuita (RDD, DataFrame, Spark SQL)
  • Sviluppare UDF personalizzate per trasformazioni complesse
  • Gestire architetture di data ingestion e data processing su Microsoft Azure (Azure Data Factory)
  • Costruire pipeline end-to-end per dati strutturati e non strutturati
  • Applicare ML (regressione, clustering, anomaly detection, forecasting) in diverse aree
  • Supportare messa in produzione di modelli (MLOps) per scalabilità e affidabilità
  • Collaborare con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven
  • Realizzare report, dashboard e presentazioni per comunicare risultati a tecnici e business
Requisiti fondamentali
  • Esperienza consolidata con Apache Spark (Scala, Spark SQL)
  • Ottima conoscenza di Python e/o Scala
  • Conoscenza di paradigmi di elaborazione distribuita (RDD, DataFrame, MapReduce)
  • Esperienza su Microsoft Azure Data Platform, in particolare Azure Data Factory
  • Capacità di progettare e gestire pipeline ETL e data ingestion
  • Conoscenza di tecniche di Machine Learning: regressione, clustering, anomaly detection, forecasting/serie temporali
  • Esperienza (anche base) nella messa in produzione di modelli
  • Gradita esperienza con strumenti di data visualization e reporting
  • Collaborazione con stakeholder
  • Comunicazione efficace
  • Orientamento ai risultati
  • Apache Spark (Scala, Spark SQL)
  • Python e/o Scala
  • RDD/DataFrame/MapReduce