Big Data Engineer

Big Data EngineerStiamo attualmente collaborando con un'organizzazione leader nel settore assicurativo, impegnata in un ambizioso progetto di evoluzione della propria piattaforma Big Data. L'azienda è un player innovativo che punta a consolidare la propria infrastruttura dati per supportare processi decisionali strategici e operativi. Il mercato assicurativo è caratterizzato da una crescente domanda di soluzioni per l'elaborazione in tempo reale, architetture distribuite e integrazione con piattaforme cloud, in risposta alla necessità di ridurre la latenza e migliorare la qualità delle analisi. Il cliente si colloca in questo contesto come protagonista della trasformazione digitale, con un approccio orientato alla scalabilità, sicurezza e innovazione tecnologica.Descrizione del ProgettoIl progetto nasce dalla necessità di evolvere il sistema Big Data esistente, rendendolo più performante e capace di gestire flussi di dati in tempo reale. Attualmente, l'elaborazione è principalmente batch, con limitata capacità di streaming, il che impatta negativamente sulla tempestività delle analisi e sulla reattività dei processi di business. Per questo motivo, il progetto mira a implementare un'architettura moderna che integri strumenti di streaming, con particolare attenzione a Spark Streaming, per consentire l'elaborazione continua di dati provenienti da fonti eterogenee.Il progetto prevede:La progettazione e realizzazione di pipeline di streaming integrate con sistemi di messaggistica (Kafka) e storage distribuiti (HDFS, Amazon S3).La definizione di standard architetturali e best practice per garantire scalabilità, sicurezza e manutenibilità.L'ottimizzazione delle performance del sistema Big Data, riducendo la latenza e migliorando l'affidabilità dei dati.L'integrazione con strumenti batch e NoSQL per una gestione completa dei dati.L'azienda si aspetta un approccio hands-on, con forte interazione con il team interno e capacità di guidare il cambiamento tecnologico in tempi rapidi. Questo intervento è cruciale per garantire insight tempestivi, supporto alle decisioni strategiche e una piattaforma resiliente e scalabile.Ruolo e ResponsabilitàStiamo cercando un Big Data Engineer che collaborerà con il team interno per progettare e implementare pipeline di streaming basate su Spark Streaming, ottimizzando l'elaborazione dei dati in tempo reale. Il consulente sarà responsabile della definizione delle soluzioni tecniche, dell'integrazione con i sistemi esistenti e della garanzia di scalabilità e sicurezza dell'architettura.L'obiettivo è affiancare il team nella creazione di un ecosistema Big Data robusto, capace di gestire sia elaborazioni batch che streaming, riducendo la latenza e migliorando la qualità delle informazioni disponibili. Il ruolo richiede una presenza costante sul campo e un approccio operativo, favorendo la collaborazione tra le funzioni aziendali e promuovendo soluzioni innovative.Competenze RichiesteEsperienza consolidata come Big Data Engineer in contesti complessi.Conoscenza approfondita di Spark Streaming e framework di elaborazione distribuita.Familiarità con strumenti batch (Spark, Hadoop, Hive) e storage distribuiti (HDFS, Amazon S3).Esperienza con sistemi di messaggistica e streaming (Kafka, Flink, Storm).Competenza in DB NoSQL (HBase, Cassandra, MongoDB).Ottima padronanza di linguaggi di programmazione (Scala, Python, Java), con focus su Scala.Conoscenza di architetture Big Data e pattern di data-architecture.Capacità di progettare soluzioni scalabili e sicure.Preferenziale: esperienza con Cloudera, Databricks, AWS.Fondamenti di Machine Learning e tecniche di data wrangling.Dettagli ContrattualiSede di lavoro: Full-RemoteTipologia Contrattuale: Consulente Autonomo Libero Professionista (Partita IVA)Engagement: Full TimeDurata: Ingaggio iniziale fino a fine giugno **** con alta probabilità di estensioni progettuali