Big Data Engineer

Big Data Engineer

Stiamo attualmente collaborando con un’organizzazione leader nel settore assicurativo, impegnata in un ambizioso progetto di evoluzione della propria piattaforma Big Data. L’azienda è un player innovativo che punta a consolidare la propria infrastruttura dati per supportare processi decisionali strategici e operativi. Il mercato assicurativo è caratterizzato da una crescente domanda di soluzioni per l’elaborazione in tempo reale, architetture distribuite e integrazione con piattaforme cloud, in risposta alla necessità di ridurre la latenza e migliorare la qualità delle analisi. Il cliente si colloca in questo contesto come protagonista della trasformazione digitale, con un approccio orientato alla scalabilità, sicurezza e innovazione tecnologica.

Descrizione del Progetto

Il progetto nasce dalla necessità di evolvere il sistema Big Data esistente, rendendolo più performante e capace di gestire flussi di dati in tempo reale. Attualmente, l’elaborazione è principalmente batch, con limitata capacità di streaming, il che impatta negativamente sulla tempestività delle analisi e sulla reattività dei processi di business. Per questo motivo, il progetto mira a implementare un’architettura moderna che integri strumenti di streaming, con particolare attenzione a Spark Streaming, per consentire l’elaborazione continua di dati provenienti da fonti eterogenee.

Il progetto prevede:

- La progettazione e realizzazione di pipeline di streaming integrate con sistemi di messaggistica (Kafka) e storage distribuiti (HDFS, Amazon S3).
- La definizione di standard architetturali e best practice per garantire scalabilità, sicurezza e manutenibilità.
- L’ottimizzazione delle performance del sistema Big Data, riducendo la latenza e migliorando l’affidabilità dei dati.
- L’integrazione con strumenti batch e NoSQL per una gestione completa dei dati.

L’azienda si aspetta un approccio hands-on, con forte interazione con il team interno e capacità di guidare il cambiamento tecnologico in tempi rapidi. Questo intervento è cruciale per garantire insight tempestivi, supporto alle decisioni strategiche e una piattaforma resiliente e scalabile.

Ruolo e Responsabilità

Stiamo cercando un Big Data Engineer che collaborerà con il team interno per progettare e implementare pipeline di streaming basate su Spark Streaming, ottimizzando l’elaborazione dei dati in tempo reale. Il consulente sarà responsabile della definizione delle soluzioni tecniche, dell’integrazione con i sistemi esistenti e della garanzia di scalabilità e sicurezza dell’architettura.

L’obiettivo è affiancare il team nella creazione di un ecosistema Big Data robusto, capace di gestire sia elaborazioni batch che streaming, riducendo la latenza e migliorando la qualità delle informazioni disponibili. Il ruolo richiede una presenza costante sul campo e un approccio operativo, favorendo la collaborazione tra le funzioni aziendali e promuovendo soluzioni innovative.

Competenze Richieste

- Esperienza consolidata come Big Data Engineer in contesti complessi.
- Conoscenza approfondita di Spark Streaming e framework di elaborazione distribuita.
- Familiarità con strumenti batch (Spark, Hadoop, Hive) e storage distribuiti (HDFS, Amazon S3).
- Esperienza con sistemi di messaggistica e streaming (Kafka, Flink, Storm).
- Competenza in DB NoSQL (HBase, Cassandra, MongoDB).
- Ottima padronanza di linguaggi di programmazione (Scala, Python, Java), con focus su Scala.
- Conoscenza di architetture Big Data e pattern di data-architecture.
- Capacità di progettare soluzioni scalabili e sicure.
- Preferenziale: esperienza con Cloudera, Databricks, AWS.
- Fondamenti di Machine Learning e tecniche di data wrangling.

Dettagli Contrattuali

- Sede di lavoro: Full-Remote
- Tipologia Contrattuale: Consulente Autonomo Libero Professionista (Partita IVA)
- Engagement: Full Time
- Durata: Ingaggio iniziale fino a fine giugno 2026 con alta probabilità di estensioni progettuali