Somos um ator global em EdTech! Na Catchitplay, buscamos alguém que pode mudar o futuro da educação com IA usando 970 milhões de dados sobre o comportamento de aprendizado como base.
Estamos em busca de um engenheiro de dados que assuma a responsabilidade pela plataforma de dados e ML para o desenvolvimento de novos produtos e motores.
Procuramos alguém que possa lidar de forma estável com logs de aprendizado em larga escala e que também tenha responsabilidade pela infraestrutura dos modelos de ML.
Queremos alguém que comece da plataforma de dados e expanda seu papel para a área de MLOps.
• Alguém que consegue considerar tanto a estabilidade quanto os custos da pipeline de dados.
• Alguém que possa discutir com os engenheiros de ML a necessidade e o contexto de uso das funcionalidades.
• Alguém que prefira uma abordagem MVP, começando primeiro e melhorando gradualmente, em vez de um design perfeito desde o início.
• Alguém que tenha a responsabilidade de rastrear a causa dos problemas até o fim e impedir a recorrência de problemas.
• Alguém que esteja interessado em expandir seu papel da plataforma de dados para a plataforma ML·MLOps.
Principais responsabilidades
A. Plataforma de dados (~60%)
• Projeto, implementação e operação de pipelines para coleta e processamento de grandes dados de eventos, logs e aprendizado de serviços ao vivo
• Operação estável de pipelines ETL/ELT usando ferramentas de fluxo de trabalho como Airflow, responsabilidade pela resposta a falhas, otimização de desempenho e eficiência de custos
• Design e construção de um Data Warehouse (DW) e Data Marts (DM) em uma forma útil para analistas, engenheiros de ML e equipes de planejamento
• Garantindo a confiabilidade dos dados através do estabelecimento de gerenciamento de qualidade de dados e governança (metadados, catálogo, controle de acesso)
• Operação de infraestrutura de dados em nuvem (AWS, GCP, etc.) e liderança em melhorias de arquitetura considerando escalabilidade e eficiência de custos.
B. Área adjacente à plataforma ML·MLOps (~40%)
• Colaboração com a equipe de ML para operar uma pipeline de dados para aprendizado e serviço de modelos de recomendações, correspondências e previsões de abandono, bem como gerenciar o Feature Store
• Operação da infraestrutura de serviço e monitoramento de modelos para garantir um ambiente de inferência de baixa latência e estabilidade operacional
• Implementação de um sistema de detecção de desvio de dados e desempenho
• Mais de 3 anos de experiência prática em engenharia de dados
• Domínio de Python, SQL
• Experiência no processamento de logs de usuários em grande escala (high-volume event processing)
• Experiência prática com frameworks de processamento distribuído como Spark, Flink
• Experiência em construção de pipelines ETL (Airflow, Prefect, etc.)
• Capacidade de entender a diferença entre processamento de dados em batch e em streaming e projetar ambos
• Experiência na construção de infraestrutura de dados em um ambiente de nuvem (AWS, GCP, etc.)
• Experiência na operação de ambientes baseados em contêineres com Docker/Kubernetes
• Experiência na gestão de código de infraestrutura (IaC, Terraform, etc.)
Qualificações preferenciais
• Experiência na construção de plataformas de streaming em tempo real (Kafka, Kinesis, etc.)
• Experiência na operação de grandes armazéns de dados para análises (BigQuery, Redshift, Snowflake, etc.)
• Experiência na construção ou operação de Feature Stores (Feast, etc.)
• Experiência na construção de pipelines de treinamento e serviço de modelos de ML (MLflow, Kubeflow, etc.)
• Experiência com infraestrutura para inferência de LLM/modelos grandes (vLLM, TGI, etc.)
• Experiência na detecção de desvio de dados/desempenho em modelos de ML (Evidently, WhyLabs, etc.)
• Experiência na gestão de latência de inferência e SLA de disponibilidade (Prometheus + Grafana, etc.)
• Experiência no processamento de logs de comportamento de usuários em grande escala em EdTech, jogos e serviços de recomendação
• Experiência em contribuições de código aberto ou apresentações em conferências de tecnologia ou publicações de pesquisas
Benefícios e ambiente de trabalho
• 🏠 Ambiente de trabalho totalmente remoto - um ambiente de trabalho produtivo que permite trabalhar de qualquer lugar do país.
• 📊 Gestão de opções de ações - gestão de opções de ações para funcionários chave de P&D (revisão para concessão após um ano de emprego estável)
• 📈 Experiência de crescimento global - experiência em um produto com as tendências atuais que busca alcançar 10 milhões de downloads (como Google Feature)
• 💼 Experiência em desenvolvimento de sistemas fundamentais - contribuição direta ao desenvolvimento de infraestrutura e sistemas em um setor empresarial único que combina jogos e IA.
• 🌴 Escritório em Jeju & refresco - possibilidade de trabalhar no escritório central em Jeju, incluindo suporte para refrescos.
• 📚 Apoio ao desenvolvimento pessoal - apoio ao desenvolvimento pessoal através de livros e cursos online.
• 💪 Apoio à gestão da saúde - apoio aos custos de check-ups médicos / programas de gestão da saúde internos.
• ❤️ Cultura esportiva agradável - promoção de uma cultura esportiva agradável através de desafios esportivos mensais.
• Documentos a serem apresentados — CV, carta de apresentação, portfólio ou amostras escritas por você (especifique claramente o que você mesmo fez)
• Processo de contratação — revisão de documentos·portfólio → primeira entrevista (online) → segunda entrevista (online) → entrevista final (offline) → anúncio dos resultados
• Durante a entrevista, pode haver uma tarefa (com duração inferior a 1 dia) ou teste a ser realizado.
[Para mais detalhes, consulte a página do Notion abaixo]
https://catchitplay.notion.site/AI-Mid-Senior-36098f74ee5a8003a68ac81fc502eca9
