Senior Databricks Data Engineer

4 ore fa

Cuneo, Piemonte, Italia Sopra Steria Tempo pieno
Overview

In questo ruolo operi nel centro di competenza Data Engineering e Advanced Analytics per costruire architetture dati moderne. Garantisci qualità di ingestione e trasformazione, promuovendo best practice su ambienti Cloud (Azure/AWS/GCP) all’interno dei team. Progetti pipeline di dati scalabili, ottimizzi carichi di lavoro eguidi l’architettura Medallion (Bronze-Silver-Gold) e gestione Delta Lake. Lavori con Data Scientist e Power BI per fornire set di dati ottimizzati.

Retribuzione / Benefits
  • smart working (stone policy)
  • progetti nazionali ed internazionali
  • opportunità di crescita professionale
  • lavoro in contesto dinamico
  • collaborazione cross-funzionale
Responsabilità
  • Progettare, sviluppare e implementare pipeline di dati scalabili e performanti
  • Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect
  • Guidare il design dell’architettura Medallion e gestione Delta Lake
  • Garantire sicurezza e governance dei dati (Unity Catalog)
  • Collaborare in contesti Agile con MLflow e Power BI Developer
  • Automazione e monitoraggio tramite Databricks Jobs e CI/CD
Requisiti fondamentali
  • Apache Spark
  • Ecosistema Hadoop
  • Scala e Python
  • Almeno 2 anni di esperienza su servizi e tecnologie Azure (cloud-native)
  • Ingestion (batch e streaming) ad alte performance e qualità del dato
  • lavoro di squadra
  • orientamento ai risultati
  • problem solving
  • Apache Spark (PySpark, Spark SQL, Scala)
  • Delta Lake
  • Unity Catalog