La plateforme de données unique de Rapolabs est la preuve la plus puissante d'une organisation AI-native.
: Nous recherchons un Data Engineer pour vivre cette mission passionnante ensemble !
[Voici l'organisation dont vous ferez partie 🚀]
À l'ère de l'IA, la valeur des 'bonnes données' a considérablement augmenté. En particulier, Rapolabs, qui aspire à être une organisation AI-native, partage cette valeur parmi tous ses membres. L'équipe Data Engineering de Rapolabs a pour mission de produire et de gérer ces bonnes données de manière continue. Ainsi, nous ne nous contentons pas de transmettre des données, mais concevons également des pipelines en tenant compte des caractéristiques physiques des données, de leur contexte et des besoins de leurs collègues qui les utilisent. Actuellement, la donnée fonctionne comme le moteur de croissance de Quinit et Palduck, et nous recherchons quelqu'un pour aider à faire évoluer la plateforme de données vers un niveau supérieur. Dans une plateforme de commerce en pleine croissance, vous aurez l'occasion de réfléchir en permanence et de vous développer, afin de fournir les données à l'instant même où elles sont les plus nécessaires, sous la forme la plus précise.
[En rejoignant, vous ferez ce type de travail 🚀]
• Concevoir et mettre en place des pipelines pour analyser les énormes données générées par Quinit et Palduck.
• Charger en temps réel les données des dizaines de microservices dans BigQuery via un CDC et améliorer le pipeline de traitement en streaming avec Kafka et Debezium.
• Améliorer la logique d'exploration des tables pour augmenter la précision des agents de données basés sur l'IA et développer une pipeline d'évaluation des réponses pour surveiller la qualité.
• Construire un nouveau système Mart qui fournit la logique métier clé de l'entreprise sous forme de tableaux et migrer les Marts clés des systèmes hérités existants.
• Créer une gouvernance où les producteurs de données génèrent des métadonnées, et construire une plate-forme de métadonnées pour faciliter la recherche de données par tous les membres de l'entreprise.
• Mettre en place un système de contrôle de la qualité des données en classifiant l'urgence des tables, en définissant les normes de qualité et en établissant et en exploitant des processus de réponse aux problèmes.
[Rapolabs recherche des personnes avec ces qualifications 🚀]
• Avoir plus de 5 ans d'expérience en ingénierie des données ou une expérience et des compétences équivalentes
• Être à l'aise avec SQL et être capable de travailler de manière compétente avec au moins un autre langage de programmation, comme Python
• Avoir de l'expérience dans la construction et l'exploitation d'infrastructures de données basées sur le cloud comme BigQuery, Airflow
• Avoir de l'expérience en utilisant des systèmes de traitement de données open source tels que Kafka, Spark pour établir des pipelines de données de grande taille
• Avoir de l'expérience dans l'introduction et l'exploitation de fonctionnalités basées sur l'IA ou sur les LLM dans des services réels ou des systèmes internes.
Qualifications souhaitées
[Si vous avez ce type d'expérience, ce serait encore mieux 🚀]
• Avoir de l'expérience dans la construction et la gestion d'infrastructures de données dans des environnements Kubernetes
• Avoir de l'expérience dans la gestion de la qualité des données ou dans la construction de catalogues de données à l'aide de Dataform
• Avoir de l'expérience dans la création de pipelines de données en temps réel en utilisant le CDC (Change Data Capture)
• Avoir de l'expérience dans la montée en charge des infrastructures de données dans des environnements de commerce ou de plateforme en forte croissance.
[Voici votre parcours pour rejoindre Rapolabs 🚀]
• Processus de sélection : vérification des documents ＞ premier entretien technique > second entretien culturel > négociation des conditions > acceptation finale
◦ Le processus peut évoluer ou être complété selon les plannings et les circonstances, cela sera annoncé à l'avance.
◦ Quel que soit le résultat des entretiens (accepté/rejeté), tous les candidats seront contactés individuellement dans un délai de 1 à 2 semaines.
◦ Pour les employés permanents, une période d'essai de trois mois s'applique. Pendant cette période, le salaire sera versé à 100 %, et en fonction de l'évaluation, la période d'essai peut être prolongée ou terminée.
◦ Si des informations inexactes ou fausses sont détectées dans les CV ou les pièces justificatives soumis durant le processus de recrutement, l'acceptation peut être annulée.
[Voici comment vous pouvez évoluer dans l'équipe d'ingénierie des données 🚀]
• Faites évoluer la plateforme de données en adéquation avec l'ère de l'IA. Concevez et construisez des agents de données basés sur l'IA et des plates-formes de métadonnées.
• Obtenez l'expérience de la refonte totale de l'architecture des données lors du passage des infrastructures héritées à de nouveaux systèmes.
• Obtenez l'occasion d'établir la gouvernance des données sur une plateforme de commerce en pleine croissance et de créer une culture des données au sein de l'organisation.
• Profitez de l'ensemble du spectre de l'ingénierie des données, allant de la gestion de la qualité des données au streaming en temps réel, tout en grandissant pour devenir un ingénieur senior.
[Une parole d'un collègue qui travaillera avec vous 🚀]
Notre équipe est en train de créer complètement une nouvelle plateforme de données. Nous construisons des agents de données basés sur l'IA, éliminons les systèmes hérités et créons simultanément de nouveaux systèmes Mart et des plates-formes de métadonnées. Dans un tel environnement, il n'y a pas de réponse définie, et nous devons rapidement valider et os er de renoncer pour trouver quelque chose d'impactant. C'est pourquoi nous recherchons quelqu'un qui n'est pas seulement là pour entretenir les pipelines existants, mais qui souhaite également définir collectivement l'orientation de la plateforme de données. Plongeons ensemble dans ce que signifie 'de bonnes données' à l'ère de l'IA et façonnons cela ensemble.
