Senior Data Engineer

17 ore fa

Cuneo CN, Provincia di Cuneo; Piemonte, Italia Sopra Steria Tempo pieno
Overview In questo ruolo, integrerai il centro di competenza Data Engineering per progettare architetture dati moderne e robuste. Lavorerai a stretto contatto con Data Scientist e Data Architect per garantire pipeline scalabili e performanti su ambienti Cloud (Azure/AWS/GCP). Guidando design e gestione di architetture Medallion e Delta Lake, risolverai colli di bottiglia e assicurerai qualità e governance dei dati in contesti Batch e Streaming. L'opportunità ti permette di operare in progetti internazionali in un contesto di innovazione tecnologica orientato al business, contribuendo significativamente alla trasformazione digitale dei clienti. RAL tra 33.000 e 40.000 smart working (policy aziendale) trasferte nazionali e internazionali ambiente dinamico e progetti nazionali/internazionali opportunità di crescita professionale Progettare, sviluppare e implementare pipeline di dati scalabili Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala) Gestire Data Lakehouse con partizionamento e indexing per performance Implementare Data Governance & Security tramite Unity Catalog Collaborare con ML e Power BI durante l'esposizione di dataset Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati Apache Spark Ecosistema Hadoop Scala e Python Almeno 2 anni di esperienza su servizi cloud Microsoft Azure Esperto in data ingestion sia batch che streaming, focus su performance e qualità del dato Collaborazione cross-funzionale Orientamento alla qualità del dato Apache Spark Ecosistema Hadoop Scala