Premiers maillons de la chaine de valorisation des données, le data engineer met à disposition les données dans un format qui facilite leur accès et leur analyse.
Intégré aux équipes techniques, le consultant Data Engineer conçoit des architectures de données optimales et met en place des pipelines de traitement de données robustes, alignés sur les besoins métier. Véritable partenaire des Data Analysts, Data Scientists et autres acteurs en charge de l’exploitation de la donnée et de sa valorisation, il est également garant de la qualité, de la sécurité et de l’évolutivité des systèmes de données.
Les missions confiées aux consultants Data Engineers sont riches et varient selon le volume, les sources et la nature des données collectées par l’entreprise, et son degré de maturité en matière d’exploitation et de valorisation des données.
- Concevoir, développer et documenter des solutions de traitement de données.
- Créer ou ajuster des flux et veiller à leur conformité fonctionnelle et technique.
- Maintenir des systèmes de données, garantir leur évolutivité et assurer un support technique.
- Collaborer avec les équipes métier et techniques pour bien comprendre les enjeux.
- Développer des algorithmes.
- Assurer une veille technologique.
Professionnel multidisciplinaire expérimenté en développement de solutions de gestion de données.
Expérience significative dans l’environnement de la Data sur des missions similaires.
Master informatique, mathématiques ou statistiques (ou Bac+3 avec expérience).
Compétences et savoir-faire
Un technophile inventif, capable de comprendre les enjeux métiers.
Compétences techniques IT
On attend généralement d’un consultant Data Engineer de solides compétences en programmation (Python, Java, SQL, Scala, C++…), une connaissance des systèmes d’exploitation, ETL et bases de données (Hadoop, Spark, NoSQL, Talend…), et une familiarité avec au moins une plateforme de services cloud et des outils de visualisation et d’analyse de données.
Architecture de données et modélisation
Les consultants Data Engineer doivent savoir concevoir des modèles de données efficaces et évolutifs, adaptés aux besoins spécifiques des utilisateurs. La connaissance d’outils de modélisation de données (ERD, UML ou spécifiques) peut être utile aussi.
Curiosité intellectuelle et résolution de problèmes
Une grande partie du travail de consultant Data Engineer consiste à comprendre et trouver les meilleures solutions aux problèmes posés parmi une multitude d’options possibles. Cela implique d’explorer au maximum les possibilités des outils, et requiert également une certaine dose d’inventivité.
Gestion de projet
Savoir gérer des projets de données complexes en termes de planification et de gestion des risques notamment, et être en mesure de communiquer efficacement avec l’ensemble des parties prenantes – qui peuvent parfois être nombreuses, côté métier comme technique.
Généralement intégré à une équipe d’Experts, on ne travaille jamais tout seul quand on est Data Engineer. En plus de disposer d’un excellent relationnel, il faut savoir ‘jouer collectif’: aider, expliquer, comprendre, et créer autour de soi un environnement de travail sain et stimulant.
#J-18808-Ljbffr
