Senior Databricks Data Engineer

20 ore fa

Ravenna, Emilia Romagna, Italia Sopra Steria Tempo pieno

Overview
In questo ruolo, integrerai il centro di competenza Data Engineering per progettare architetture dati moderne e robuste.
Lavorerai a stretto contatto con Data Scientist e Data Architect per garantire pipeline scalabili e performanti su ambienti Cloud (Azure/AWS/GCP).
Guidando design e gestione di architetture Medallion e Delta Lake, risolverai colli di bottiglia e assicurerai qualità e governance dei dati in contesti Batch e Streaming.
L'opportunità ti permette di operare in progetti internazionali in un contesto di innovazione tecnologica orientato al business, contribuendo significativamente alla trasformazione digitale dei clienti.
Retribuzione / Benefits
RAL tra ** e **
smart working (policy aziendale)
trasferte nazionali e internazionali
ambiente dinamico e progetti nazionali/internazionali
opportunità di crescita professionale
Responsabilità
Progettare, sviluppare e implementare pipeline di dati scalabili
Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect
Guidare design dell'architettura Medallion (Bronze/Silver/Gold) e gestione Delta Lake
Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming
Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala)
Gestire Data Lakehouse con partizionamento e indexing per performance
Implementare Data Governance & Security tramite Unity Catalog
Collaborare con ML e Power BI durante l'esposizione di dataset
Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati
Requisiti fondamentali
Apache Spark
Ecosistema Hadoop
Scala e Python
Almeno 2 anni di esperienza su servizi cloud Microsoft Azure
Esperto in data ingestion sia batch che streaming, focus su performance e qualità del dato
Collaborazione cross-funzionale
Orientamento alla qualità del dato
Problem solving
Apache Spark
Ecosistema Hadoop
Scala