Big Data Engineer

Big Data Engineer Stiamo attualmente collaborando con un'organizzazione leader nel settore assicurativo, impegnata in un ambizioso progetto di evoluzione della propria piattaforma Big Data. L'azienda è un player innovativo che punta a consolidare la propria infrastruttura dati per supportare processi decisionali strategici e operativi. Il mercato assicurativo è caratterizzato da una crescente domanda di soluzioni per l'elaborazione in tempo reale, architetture distribuite e integrazione con piattaforme cloud, in risposta alla necessità di ridurre la latenza e migliorare la qualità delle analisi. Il cliente si colloca in questo contesto come protagonista della trasformazione digitale, con un approccio orientato alla scalabilità, sicurezza e innovazione tecnologica. Descrizione del Progetto Il progetto nasce dalla necessità di evolvere il sistema Big Data esistente, rendendolo più performante e capace di gestire flussi di dati in tempo reale. Attualmente, l'elaborazione è principalmente batch, con limitata capacità di streaming, il che impatta negativamente sulla tempestività delle analisi e sulla reattività dei processi di business. Per questo motivo, il progetto mira a implementare un'architettura moderna che integri strumenti di streaming, con particolare attenzione a Spark Streaming, per consentire l'elaborazione continua di dati provenienti da fonti eterogenee. Il progetto prevede: La progettazione e realizzazione di pipeline di streaming integrate con sistemi di messaggistica (Kafka) e storage distribuiti (HDFS, Amazon S3). La definizione di standard architetturali e best practice per garantire scalabilità, sicurezza e manutenibilità. L'ottimizzazione delle performance del sistema Big Data, riducendo la latenza e migliorando l'affidabilità dei dati. L'integrazione con strumenti batch e NoSQL per una gestione completa dei dati. L'azienda si aspetta un approccio hands-on, con forte interazione con il team interno e capacità di guidare il cambiamento tecnologico in tempi rapidi. Questo intervento è cruciale per garantire insight tempestivi, supporto alle decisioni strategiche e una piattaforma resiliente e scalabile. Ruolo e Responsabilità Stiamo cercando un Big Data Engineer che collaborerà con il team interno per progettare e implementare pipeline di streaming basate su Spark Streaming, ottimizzando l'elaborazione dei dati in tempo reale. Il consulente sarà responsabile della definizione delle soluzioni tecniche, dell'integrazione con i sistemi esistenti e della garanzia di scalabilità e sicurezza dell'architettura. L'obiettivo è affiancare il team nella creazione di un ecosistema Big Data robusto, capace di gestire sia elaborazioni batch che streaming, riducendo la latenza e migliorando la qualità delle informazioni disponibili. Il ruolo richiede una presenza costante sul campo e un approccio operativo, favorendo la collaborazione tra le funzioni aziendali e promuovendo soluzioni innovative. Competenze Richieste Esperienza consolidata come Big Data Engineer in contesti complessi. Conoscenza approfondita di Spark Streaming e framework di elaborazione distribuita. Familiarità con strumenti batch (Spark, Hadoop, Hive) e storage distribuiti (HDFS, Amazon S3). Esperienza con sistemi di messaggistica e streaming (Kafka, Flink, Storm). Competenza in DB NoSQL (HBase, Cassandra, MongoDB). Ottima padronanza di linguaggi di programmazione (Scala, Python, Java), con focus su Scala. Conoscenza di architetture Big Data e pattern di data-architecture. Capacità di progettare soluzioni scalabili e sicure. Preferenziale: esperienza con Cloudera, Databricks, AWS. Fondamenti di Machine Learning e tecniche di data wrangling. Dettagli Contrattuali Sede di lavoro: Full-Remote Tipologia Contrattuale: Consulente Autonomo Libero Professionista (Partita IVA) Engagement: Full Time Durata: Ingaggio iniziale fino a fine giugno 2026 con alta probabilità di estensioni progettuali