Senior Databricks Data Engineer

11 ore fa

verona, veneto, Italia Sopra Steria Tempo pieno
Overview

In questo ruolo, integrerai il centro di competenza Data Engineering per progettare architetture dati moderne e robuste. Lavorerai a stretto contatto con Data Scientist e Data Architect per garantire pipeline scalabili e performanti su ambienti Cloud (Azure/AWS/GCP). Guidando design e gestione di architetture Medallion e Delta Lake, risolverai colli di bottiglia e assicurerai qualità e governance dei dati in contesti Batch e Streaming. L’opportunità ti permette di operare in progetti internazionali in un contesto di innovazione tecnologica orientato al business, contribuendo significativamente alla trasformazione digitale dei clienti.

Retribuzione / Benefits
  • RAL tra 33.000 e 40.000
  • smart working (policy aziendale)
  • trasferte nazionali e internazionali
  • ambiente dinamico e progetti nazionali/internazionali
  • opportunità di crescita professionale
Responsabilità
  • Progettare, sviluppare e implementare pipeline di dati scalabili
  • Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect
  • Guidare design dell’architettura Medallion (Bronze/Silver/Gold) e gestione Delta Lake
  • Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming
  • Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala)
  • Gestire Data Lakehouse con partizionamento e indexing per performance
  • Implementare Data Governance & Security tramite Unity Catalog
  • Collaborare con ML e Power BI durante l’esposizione di dataset
  • Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati
Requisiti fondamentali
  • Apache Spark
  • Ecosistema Hadoop
  • Scala e Python
  • Almeno 2 anni di esperienza su servizi cloud Microsoft Azure
  • Esperto in data ingestion sia batch che streaming, focus su performance e qualità del dato
  • Collaborazione cross-funzionale
  • Orientamento alla qualità del dato
  • Problem solving
  • Apache Spark
  • Ecosistema Hadoop
  • Scala