教育科技全球巨头!我们希望寻找一位'数据工程师'来负责基于9.7亿学习行为数据的新产品与引擎开发的数据·ML平台,改变Catch It Play的人工智能教育的未来。
我们正在寻找一位能够可靠处理大规模学习日志并对ML模型基础设施负责的数据工程师。希望寻找从数据平台开始,逐渐扩展到MLOps领域的人。
• 能够同时考虑数据管道的稳定性和成本。
• 能够与ML工程师讨论功能的必要性和应用背景的人。
• 偏好先以MVP试行而不是从一开始就追求完美设计的人。
• 具有一定责任感,能够追踪故障原因并预防复发。
• 对于从数据平台扩展到ML平台·MLOps领域的角色感兴趣的人
A. 数据平台(~60%)
• 设计、实现并运营来自实时服务的大规模事件、日志和学习数据的收集和处理管道。
• 使用Airflow等工作流工具确保**ETL/ELT管道**的稳定操作,处理故障,优化性能和成本效率。
• 以分析师、ML工程师和策划团队可使用的形式设计、建立和资产化数据仓库(DW)和数据集市(DM)。
• 通过数据质量管理和治理(元数据、目录、访问控制)建立数据可靠性。
• 领导基于云(AWS、GCP等)数据基础设施的架构改善,考虑可扩展性和成本效率。
B. ML平台和MLOps相邻领域(~40%)
• 与ML团队合作,运营推荐、匹配和用户流失预测等模型的训练和服务数据管道,管理**Feature Store**。
• 一起运营模型服务和监控基础设施,确保低延迟推理环境和操作的稳定性。
• 实施数据和性能漂移检测及报警系统。
• 3年以上数据工程相关的实际经验
• 精通Python、SQL
• 有处理大规模用户日志的经验(high-volume event processing)
• 在Spark、Flink等分布式处理框架上有实际经验
• 有建立ETL管道的经验(Airflow、Prefect等)
• 能够理解批处理和流处理的差异并能进行设计
• 在云环境(AWS、GCP等)中有数据基础设施建设经验
• 有基于Docker / Kubernetes的容器环境运营经验
• 有基础设施代码(IaC,Terraform等)管理的经验
• 有实时流媒体平台(Kafka、Kinesis等)的构建经验
• 运营大规模分析数据仓库(BigQuery、Redshift、Snowflake等)的经验
• 构建或管理Feature Store的经验(Feast等)
• 构建ML模型训练和服务管道的经验(MLflow、Kubeflow等)
• 有LLM/大规模模型推理基础设施(vLLM、TGI等)经验
• 有检测ML模型数据/性能漂移的经验(Evidently、WhyLabs等)
• 具备推理延迟和可用性SLA管理经验(Prometheus + Grafana等)
• 在教育科技、游戏、推荐服务等领域处理大规模用户行为日志经验
• 有开源贡献或技术会议/论文发表的经验
• 🏠 全远程办公环境 - 在全国任何地方的全远程基础上,高效的工作环境
• 📊 股票期权计划 - 针对核心R&D人员的股票期权计划(稳定工作1年后考虑授予)
• 📈 全球增长经验 - 与全球增长的趋势产品的核心经验,目标为1,000万次下载(Google功能等)。
• 💼 核心系统开发经验 - 直接参与游戏和AI融合的独特商业核心领域的基础设施和系统开发。
• 🌴 济州办公室与休闲 - 支持在济州总部办公室工作等休闲。
• 📚 自我发展支持 - 支持书籍和在线课程等自我发展。
• 💪健康管理支持 - 健康检查支持/公司内部健康管理计划。
• ❤️ 有趣的运动文化 - 通过每月的运动挑战一起创造竞争与合作的有趣运动文化。
• 提交材料 — 简历、个人介绍、作品集或自己撰写的样本(清楚说明您承担的部分)。
• 招聘流程 — 文件和作品集审核 → 第一轮面试(在线) → 第二轮面试(在线) → 最终面试(离线) → 结果公告。
• 面试过程中可能会有任务(不超过1天)或面试时测试。
[详细内容请参阅下面的Notion页面]
https://catchitplay.notion.site/AI-Mid-Senior-36098f74ee5a8003a68ac81fc502eca9