Data Engineer

Descrizione dell'offerta di lavoro

CHI SIAMO?
AGAP2 è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy. Presente in 14 Paesi europei con oltre 7.500 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, SORRISO, DINAMISMO, VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.

POSIZIONE: DATA ENGINEER – FULL REMOTE
1. IL TUO RUOLO

Entrerai a far parte di un team tecnico dedicato alla progettazione e all'evoluzione di piattaforme dati moderne e scalabili in ambiente AWS.

Ti occuperai della progettazione e dello sviluppo di pipeline dati end-to-end, utilizzando principalmente servizi serverless e containerizzati.

Sarai coinvolto nella realizzazione di soluzioni di Data Engineering e Data Lake, garantendo qualità, resilienza, scalabilità e affidabilità del dato.

Svilupperai servizi e API in Python e applicazioni containerizzate, collaborando alle scelte architetturali e all'evoluzione della piattaforma.

Ti occuperai anche di Data Governance, catalogazione, metadata management e data lineage.

Avrai un ruolo attivo nell'ottimizzazione delle performance, della sicurezza e dei costi della piattaforma cloud.

2. LE TUE MANSIONI

Progettare e sviluppare pipeline dati end-to-end su AWS attraverso servizi come Lambda, Step Functions, AWS Pipes, Glue, ECS ed ECR.

Realizzare e gestire architetture Data Lake utilizzando tecnologie come S3, Glue e Athena.

Sviluppare servizi e API in Python, principalmente attraverso FastAPI, e applicazioni containerizzate con Docker.

Progettare ETL/ELT robusti, scalabili e idempotenti.

Progettare, amministrare e ottimizzare database RDS e database analitici.

Gestire attività di Data Governance, catalogazione, metadata management e data lineage attraverso Glue Data Catalog e DataZone.

Integrare differenti sorgenti dati attraverso strumenti come AppFlow e DMS.

Implementare sistemi di observability tramite Grafana, metriche, logging strutturato e alerting.

Applicare le best practice di sicurezza AWS, con particolare attenzione a IAM, gestione dei secret e principio del minimo privilegio.

Gestire e ottimizzare i costi e l'utilizzo delle risorse AWS.

Utilizzare strumenti di Infrastructure as Code, in particolare Pulumi con Python, gestendo moduli, stato e differenti ambienti.

Collaborare all'evoluzione dell'architettura cloud e al miglioramento continuo della piattaforma.

3. I REQUISITI

Esperienza in ambiente AWS in contesti produttivi, con particolare focus su architetture serverless e container.

Solida conoscenza di AWS Lambda, Step Functions, AWS Pipes, ECS ed ECR.

Ottima conoscenza di Python, con esperienza nello sviluppo di codice strutturato, testato e con utilizzo di type hints.

Esperienza concreta di Data Engineering su AWS e conoscenza di Glue, Athena, S3 e architetture Data Lake.

Solide competenze nella progettazione, gestione e ottimizzazione di database RDS e database analitici.

Esperienza con Infrastructure as Code e conoscenza di Pulumi, preferibilmente utilizzato con Python.

Conoscenza di Data Governance, catalogazione, metadata management e data lineage.

Esperienza nell'implementazione di soluzioni di observability attraverso metriche, log e sistemi di alerting.

Conoscenza dei principali principi di sicurezza cloud, IAM, gestione dei secret e least privilege.

Buona conoscenza di Linux e dimestichezza con la linea di comando.

Capacità di analizzare e ottimizzare costi e consumi in ambiente AWS.

Buone capacità di problem solving, autonomia e collaborazione in team tecnici.

Costituirà titolo preferenziale:

Esperienza con Amazon Bedrock e soluzioni di GenAI/Foundation Models, inclusi RAG, agenti e integrazione di LLM.

Conoscenza di Hasura e di architetture basate su GraphQL.

Esperienza con AppFlow e DMS per l'integrazione e la migrazione dei dati.

Conoscenza di Amazon DataZone e dei concetti di Data Mesh e Data Sharing.

Esperienza nella progettazione di strategie di backup e disaster recovery su AWS.

Conoscenza e applicazione dell'AWS W