Ingénieur(e) de données

Pour la version anglaise de cette description de poste, veuillez consulter le lien suivant / For the English version of this job description, please refer to the following link :

• Senior Data Engineer

À propos d’AppDirecte

Devenez un citoyen du monde à l’ère numérique et outillez une nouvelle génération d’entrepreneurs branchés aux quatre coins du globe. AppDirecte offre une plateforme d’abonnement permettant de vendre n’importe quel produit en tant que service, et ce, par n’importe quel canal et sur n’importe quel appareil. Nous alimentons des millions d’abonnements pour le compte d’organisations de partout dans le monde. Notre action est toujours guidée par nos valeurs et notre culture – une culture qui vous permet d’être vu, de rester authentique et d’exceller.

À propos de l'équipe de connaissance des données

Notre mission est d'unifier les données de toutes les unités commerciales de l’entreprise au sein d'un lac de données gouverné avec couche sémantique, afin d'alimenter l'analytique, l'IA, les rapports, le partage de données et les tableaux de bord internes et externes.

À propos de vous

Nous sommes à la recherche d’un ou d’une ingénieur(e) de données senior ayant une approche
« données en tant que produit » et capable de concevoir des pipelines et des modèles de production fiables et réutilisables pour rejoindre notre équipe de connaissance des données basée à Montréal. À ce poste, vous développerez des produits de données de production et des pipelines de lac de données qui alimentent l'analyse et les tableaux de bord internes et externes. Vous travaillerez en collaboration avec les équipes d'ingénierie et de produit pour établir des contrats de données clairs et définir des modèles réutilisables.

Ce que vous ferez et ce qui vous fera briller

• Architecture et modélisation de la plateforme : Concevoir, construire et améliorer la plateforme de données du lac de données (modèles et pipelines réutilisables sur Snowflake + dbt, avec charges de travail Databricks intégrées) afin de fournir aux équipes d’analytique et de produit des données fiables et gouvernées.
• Analyse des besoins et collaboration avec les parties prenantes : Traduire les exigences produit et commerciales en modèles et pipelines de données, en collaboration avec les chefs de produit, les unités opérationnelles et les ingénieurs, afin que la logique de domaine soit correctement déployée en production.
• Modernisation des pipelines : Migrer les processus ETL existants vers des pipelines de flux et incrémentaux modernes et performants, en optant pour Snowflake ou Databricks selon les besoins.
• Performance et coût de Snowflake : Utiliser et optimiser Snowflake pour en maximiser la fiabilité et l’efficacité, notamment en ajustant le dimensionnement et l’utilisation de l’entrepôt de données, en regroupant/partitionnant selon les besoins, et en assurant la visibilité sur les dépenses de crédit pour éviter une explosion des coûts.
• Opérations assistées par l’IA : Utiliser des outils de développement assistés par l’IA et des flux de travail basés sur des spécifications pour concevoir, automatiser et déployer les pipelines de données et la plateforme.
• Fonctionnement en libre-service : Faciliter l’intégration des données et permettre aux ingénieurs des unités opérationnelles de créer leurs propres produits de données sur notre plateforme.
• Produits de données destinés aux clients : Concevoir et évoluer les données alimentant les produits destinés aux clients (y compris les services de rapports et d’analytique) afin que les pipelines et les modèles offrent des expériences produit fiables.
• Qualité et fiabilité des données : Garantir la qualité des données en favorisant et en déployant une gouvernance des données robuste, des tests automatisés, des techniques de validation et la traçabilité des données.
• Gestion des métadonnées : Maintenir des métadonnées riches et détaillées dans Unity Catalog et Snowflake pour alimenter les applications en aval, notamment les agents d’IA et notre couche sémantique (Cube.dev).
• Recherche et innovation : Trouver des solutions à divers problèmes complexes et élaborer des preuves de concept pour évaluer les technologies émergentes.
• Documentation et culture : Rédiger et maintenir une documentation de haute qualité pour faciliter le partage des connaissances et les flux de travail assistés par l’IA.

Compétences requises

• Développement assisté par IA : Excellente compréhension des flux de travail associés au développement assisté par IA, avec une expérience pratique des outils conçus pour améliorer l’efficacité, l’automatisation et la qualité du code, notamment Cursor, Claude, OpenCode, GitHub Copilot ou ChatGPT.
• Développement guidé par les spécifications : Expérience de l’approche du développement guidée par les spécifications, notamment la transformation des exigences en spécifications et critères d’acceptation clairs, puis leur implémentation (y compris les flux de travail assistés par des agents d’IA).
• Expertise de Snowflake (compétence clé) : 2+ années d’expérience en conception et exploitation de pipelines et modèles de données de production sur Snowflake, avec SQL, Python et dbt, incluant la livraison de transformations ELT fiables avec un historique de qualité et rendement.
• Maîtrise de dbt : 2+ années d’expérience pratique dans la conception de modèles de données modulaires, versionnés et testés avec dbt (outil de construction de données), en considérant la transformation comme une pratique d’ingénierie logicielle (flux de travail Git, revue de code, tests automatisés).
• AWS : 2+ années d’expérience de travail avec les services infonuagiques AWS.
• Gouvernance des données : Solide compréhension des concepts liés à la qualité, la traçabilité, les techniques de validation et la gouvernance des données.
• Collaboration et communication : Capacité d’aborder des concepts techniques complexes avec des interlocuteurs techniques et non techniques, de comprendre les besoins et travailler efficacement au sein d’une équipe distribuée.

Atouts supplémentaires

• Databricks : Expérience pratique avec Databricks (espaces de travail, tâches/workflows, Spark SQL/PySpark, Delta Lake) pour contribuer au développement du lac de données en parallèle de Snowflake.
• Ingestion gérée (Fivetran) : Connaissance de Fivetran (ou de connecteurs ELT similaires) pour une ingestion fiable des données de la source vers l’entrepôt de données, la gouvernance des connecteurs et la gestion de l’évolution des schémas.
• Couche sémantique (Cube.dev) : Maîtrise de Cube.dev (ou couche sémantique/métrique similaire) pour des analyses contrôlées et en libre-service, ainsi que des indicateurs cohérents entre les produits et les utilisateurs.
• Flux de données en temps réel : Expérience souhaitée dans la conception et la maintenance de solutions de données en temps réel utilisant des plateformes de flux comme Apache Kafka. 

Chez AppDirect, nous croyons que l’innovation est à son meilleur dans un environnement favorisant la diversité de l’excellence, de l’expérience et de la pensée. Nous accueillons chaque « AppDirecteur » et « AppDirectrice » pour l’empreinte unique qui est la sienne. Nous favorisons un environnement inclusif et sans discrimination à l’égard de la race, de la religion, de l’âge, de l’orientation sexuelle et de l’identité de genre, afin de favoriser l’authenticité, la fierté et l’excellence. Dans cette optique, nous encourageons fortement les candidatures des personnes autochtones, des personnes handicapées, des personnes issues de la diversité des orientations sexuelles et des genres et/ou des personnes aux identités intersectionnelles.

Chez AppDirect, nous prenons la protection de la vie privée très au sérieux. Pour plus d'informations sur notre utilisation et notre gestion des données personnelles des candidats, veuillez lire notre politique de confidentialité des candidats. Pour en savoir plus sur nos pratiques générales en matière de confidentialité, veuillez consulter l'avis de confidentialité d'AppDirecte: https://www.appdirect.com/about/privacy-notice

Veuillez noter que ce rôle nécessite une bonne connaissance de l'anglais puisque le/la candidat.e sélectionné.e devra collaborer avec des équipes situées, entre autres, aux États-Unis, en Inde, en Argentine, ainsi que dans les provinces de l'Ontario et de l'Alberta.

Chez AppDirect, des outils d'intelligence artificielle peuvent assister notre équipe de recrutement dans certaines automatisations administratives — toujours sous supervision humaine. Ces outils ne prennent pas de décisions d'embauche ni de décisions entièrement automatisées concernant votre candidature – toutes les décisions sont prises par nos équipes. En soumettant votre candidature, vous reconnaissez que vos renseignements peuvent être traités de cette façon. Vous pouvez demander l'accès à vos renseignements ou leur suppression en tout temps en contactant [email protected].

#li-hybrid