Data Engineer Python

4 giorni fa

Matera, Basilicata, Italia Pauwels Consulting A tempo pieno

Nous sommes à la recherche deux consultants de haut niveau spécialisés en Data Engineering, disposant d'une expertise approfondie dans les technologies Python, Data, GenAI, AWS (Kinesis, S3, EMR, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu'une solide maîtrise de SQL, Snowflake et les architectures Data Streaming. Une expertise en Scala et Spark serait fortement appréciée.

Il sera chargé de concevoir et développer des pipelines de données, développer sur des chatbots AI dans un environnement cloud tout en contribuant activement à la fiabilité, l'automatisation et la scalabilité de notre plateforme data.

Le contexte:

L'un des objectifs majeurs du plan de transformation DATA de notre client est de développer les applications DATA qui permettent à nos métiers businness (pilotage, marketing, commerce, ...) d'être autonomes dans l'analyse des données et des KPI 

Dans ce cadre, notre client a déployé les outils : AWS, Gitlab, Terraform, DBT, Snowflake, Braze, AI, Python, Scala, Spark, Python, POWERBI, .etc.

Architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-Driven, Streaming, etc. 

Des exemples de projets sont nombreux: 

  • Chatbot AI

  • Socle vidéo, navigation et calcul des audiences

  • AI pour recommandation des programmes .etc.

  • Feature Store

  • Moderniser les flux financiers

  • Content Platform

  • Mise en place Kubernetes

  • Plateforme pour le traitement des données CRM et usage

  • Partager des informations sur les clients à nos partenaires (Netflix, Apple, M6, TF1, etc.)

  • Piloter plus efficacement l'activité des marchés profesionnels

  • Mettre à disposition des applications de data-selfservice

Votre rôle sera de :

  • Faire des développements avanacés en Python

  • Mettre en place des systèmes basés sur la GenAI

  • Concevoir, développer, maintenir et déployer des pipelines de données scalables et performants.

  • Mettre en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake...).

  • Développer en Scala et exploiter Apache Spark pour le traitement massif des données.

  • Automatiser les workflows avec Apache Airflow et DBT pour orchestrer les pipelines.

  • Concevoir et exposer des APIs performantes (ecommandations en temps réel, etc.)

  • Optimiser les performances et garantir la scalabilité du système pour gérer un grand volume d'utilisateurs.

  • Travailler en collaboration avec les équipes Data Science, Produit et DevOps pour assurer une intégration fluide.

What are we looking for?

Compétences et qualités attendues :

  • Vous justifiez d'une expérience de 5 ans minimum dans un environnement similaire

  • Vous maîtrisez AWS, Gitlab CI/CD, Terraform, vous êtes fluent en Python avancé et aimez les challenges

  • Vous etes experts dans le développement de solution d'intégration de données.

  • Vous parlez Anglais couramment 

  • Vous connaissez et maîtrisez les outils JIRA et les méthodes « agiles » n'ont pas de secret pour vous

  • Autonome, ouvert d'esprit et bon communiquant, vous disposez d'une grande curiosité scientifique

  • System engineer

    13 ore fa

    Matera, Basilicata, Italia e-GEOS A tempo pieno

    e-GEOS, una società ASI (20%) / Telespazio (80%) soggetta alla direzione e al coordinamento congiunto di Leonardo S.p.A. e Thales S.A, è uno dei principali operatori internazionali nelsettore dell'Osservazione della Terra (OT) e delle informazioni geospaziali.Stiamo cercando una risorsa da inserire presso il Centro Spaziale di Matera per coprire il ruolo...

  • Data Analyst SQL Python Tableau

    2 settimane fa

    Matera (MT), Italia Randstad Digital Italia A tempo pieno

    Randstad Digital, divisione specializzata nella ricerca e selezione di profili IT di Randstad Italia , cerca professionisti che desiderano lavorare su progetti innovativi e nuove tecnologie e che condividono il forte orientamento dell'azienda al lavoro di gruppo. Per importante azienda finale, siamo alla ricerca di un/una Data Analyst da inserire nel team....

  • Data Analyst

    3 settimane fa

    Matera, Italia Randstad Digital Italia A tempo pieno

    Randstad Digital, divisione specializzata nella ricerca e selezione di profili IT di Randstad Italia , cerca professionisti che desiderano lavorare su progetti innovativi e nuove tecnologie e che condividono il forte orientamento dell'azienda al lavoro di gruppo. Per importante azienda finale, siamo alla ricerca di un/una Data Analyst da inserire nel team....

  • Remote Sensing Data Scientist

    1 settimana fa

    Matera, Italia ARESYS A tempo pieno

    **ARESYS** is a R&D oriented company with nearly 20 years of history in the field of Remote Sensing and Earth Observation. **Main tasks and responsibilities** - to design scientific algorithms and to develop prototypes to process data acquired by Synthetic Aperture RADAR from raw to geophysical information; - to develop and asses the accuracy and...

  • System Engineer Senior

    2 settimane fa

    Matera, Italia Leonardo A tempo pieno

    Job Descriptione-GEOS , una società ASI (20%) / Telespazio (80%) soggetta alla direzione e al coordinamento congiunto di Leonardo S.p.A. e Thales S.A, è uno dei principali operatori internazionali nel settore dell'Osservazione della Terra (OT) e delle informazioni geospaziali e propone un portafoglio unico di servizi applicativi.Nell'ambito della unità...

  • Data analyst

    3 settimane fa

    Matera (MT), Italia Randstad Digital Italia A tempo pieno

    Randstad Digital, divisione specializzata nella ricerca e selezione di profili IT di Randstad Italia, cerca professionisti che desiderano lavorare su progetti innovativi e nuove tecnologie e che condividono il forte orientamento dell'azienda al lavoro di gruppo. Per importante azienda finale, siamo alla ricerca di un/una Data Analyst da inserire nel team....

  • Data Analyst

    3 settimane fa

    Matera (MT), Italia Randstad Digital Italia A tempo pieno

    Randstad Digital, divisione specializzata nella ricerca e selezione di profili IT di Randstad Italia , cerca professionisti che desiderano lavorare su progetti innovativi e nuove tecnologie e che condividono il forte orientamento dell'azienda al lavoro di gruppo. Per importante azienda finale, siamo alla ricerca di un/una Data Analyst da inserire nel team....

  • Ingegnere di processo senior

    2 settimane fa

    Matera, Italia agap2 Italia A tempo pieno

    AGAP2 è un gruppo europeo di consulenza ingegneristica operativa facente parte del Gruppo MoOngy. Presente in 11 paesi europei con oltre 6.000 dipendenti abbiamo aperto, da circa tre anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra...

  • Ingegnere Di Processo Senior

    2 settimane fa

    Matera, Italia Agap2 Italia A tempo pieno

    AGAP2 è un gruppo europeo di consulenza ingegneristica operativa facente parte del Gruppo MoOngy.Presente in 11 paesi europei con oltre ***** dipendenti abbiamo aperto, da circa tre anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra...