Nền tảng dữ liệu độc đáo của Lap Labs trở thành cơ sở mạnh mẽ nhất cho tổ chức AI-Native.
: Chúng tôi đang tìm kiếm một Kỹ sư Dữ liệu để tham gia vào nhiệm vụ thú vị này!
[Hãy để tôi giới thiệu về tổ chức mà bạn sẽ gia nhập 🚀]
Khi kỷ nguyên AI đến, giá trị của 'dữ liệu tốt' đã gia tăng đáng kể. Đặc biệt, vì Lap Labs nhắm đến việc trở thành một tổ chức AI-Native, tất cả các thành viên đều đồng cảm với giá trị đó. Nhóm kỹ thuật dữ liệu tại Lap Labs có sứ mệnh liên tục sản xuất, quản lý và cung cấp dữ liệu tốt này. Do đó, chúng tôi thiết kế các pipeline dữ liệu với sự cân nhắc sâu sắc không chỉ về tính chất vật lý của từng dữ liệu, ngữ cảnh lĩnh vực, mà còn cả nhu cầu của đồng nghiệp sử dụng nó. Hiện tại, dữ liệu hoạt động như động cơ tăng trưởng cho Quinit và PaldoGam, và chúng tôi đang tìm kiếm người có thể tiến hóa nền tảng dữ liệu hỗ trợ lên một tầm cao mới. Bạn sẽ trải nghiệm một quá trình không ngừng suy nghĩ và phát triển để đảm bảo rằng dữ liệu được cung cấp dưới hình thức chính xác nhất vào thời điểm cần thiết nhất trong nền tảng thương mại đang phát triển nhanh chóng.
[Ngăn xếp công nghệ của Lap Labs là gì 🚀]
• Kho dữ liệu: BigQuery
• Quy trình làm việc: Airflow
• Phát trực tuyến: Kafka, Kafka Connect, Debezium
• Ngôn ngữ: Python
• Cơ sở hạ tầng: Kubernetes, Terraform
• Đám mây: AWS, GCP
• Chất lượng dữ liệu: Dataform
[Nếu bạn gia nhập, bạn sẽ cùng thực hiện những công việc này 🚀]
• Thiết kế, xây dựng và vận hành các pipeline để phân tích dữ liệu khổng lồ phát sinh từ Quinit và PaldoGam.
• Tải dữ liệu phát sinh từ hàng chục microservices vào BigQuery theo thời gian thực thông qua CDC, và cải thiện các pipeline xử lý streaming bằng cách sử dụng Kafka và Debezium.
• Cải thiện logic khám phá bảng để tăng độ chính xác của các đại diện dữ liệu dựa trên AI và xây dựng các pipeline đánh giá câu trả lời để theo dõi chất lượng.
• Xây dựng một hệ thống Mart mới cung cấp logic kinh doanh cốt lõi của toàn công ty dưới dạng bảng, và di chuyển Mart cốt lõi từ hệ thống kế thừa hiện có.
• Tạo ra một quy trình quản trị nơi các nhà sản xuất dữ liệu cũng tạo ra metadata, và xây dựng một nền tảng Metadata để giúp các thành viên trong công ty dễ dàng khám phá dữ liệu hơn.
• Thiết lập một hệ thống quản lý chất lượng dữ liệu bằng cách phân loại mức độ khẩn cấp của bảng, định nghĩa tiêu chí chất lượng, và thiết lập và vận hành quy trình phản hồi sự cố.
[Lap Labs đang tìm kiếm những ai như thế này 🚀]
• Có hơn 5 năm kinh nghiệm trong lĩnh vực kỹ thuật dữ liệu hoặc có kinh nghiệm và kỹ năng tương đương.
• Thành thạo SQL và có thể sử dụng thành thạo ít nhất một ngôn ngữ lập trình như Python.
• Có kinh nghiệm xây dựng và vận hành cơ sở hạ tầng dữ liệu dựa trên đám mây như BigQuery và Airflow.
• Có kinh nghiệm xây dựng pipeline dữ liệu quy mô lớn bằng cách sử dụng các hệ thống xử lý dữ liệu mã nguồn mở như Kafka và Spark.
• Có kinh nghiệm đưa vào sử dụng và vận hành các đại diện AI hoặc chức năng dựa trên LLM trong các dịch vụ thực tế hoặc hệ thống nội bộ.
[Nếu bạn có những kinh nghiệm này thì càng tốt! 🚀]
• Có kinh nghiệm xây dựng và quản lý cơ sở hạ tầng dữ liệu trong môi trường Kubernetes.
• Có kinh nghiệm quản lý chất lượng dữ liệu bằng Dataform hoặc xây dựng danh mục dữ liệu.
• Có kinh nghiệm xây dựng pipeline dữ liệu theo thời gian thực bằng cách sử dụng CDC (Change Data Capture).
• Có kinh nghiệm mở rộng cơ sở hạ tầng dữ liệu trong môi trường thương mại hoặc nền tảng phát triển nhanh.
[Hành trình gia nhập Lap Labs 🚀]
• Quy trình ứng tuyển: Sàng lọc hồ sơ ＞ Phỏng vấn thực tế lần 1 > Phỏng vấn văn hóa lần 2 > Thỏa thuận điều kiện > Nhận chấp nhận cuối cùng
◦ Quy trình có thể thay đổi hoặc bổ sung với thông báo trước tùy thuộc vào lịch trình và tình hình thực tế.
◦ Bất kể kết quả ở mỗi vòng phỏng vấn (đậu/rớt), tất cả các ứng viên đều sẽ được liên lạc riêng trong khoảng 1-2 tuần.
◦ Đối với các vị trí chính thức, có thời gian thử việc 3 tháng. Trong thời gian này, 100% lương sẽ được trả, và thời gian thử việc có thể được gia hạn hoặc kết thúc tùy theo đánh giá.
◦ Nếu có thông tin sai lệch hoặc sai sự thật trong hồ sơ xin việc hoặc tài liệu hỗ trợ đã nộp, việc chấp nhận có thể bị hủy bỏ.
[Bạn có thể phát triển như thế nào trong nhóm kỹ thuật dữ liệu 🚀]
• Tiến hóa thành một nền tảng dữ liệu phù hợp với thời đại AI. Từ đại diện dữ liệu dựa trên AI đến nền tảng metadata, bạn sẽ trực tiếp thiết kế và xây dựng.
• Bạn sẽ có trải nghiệm thiết kế lại kiến trúc dữ liệu từ đầu trong quá trình loại bỏ cơ sở hạ tầng kế thừa và chuyển đổi sang hệ thống mới.
• Bạn sẽ trực tiếp thiết lập quản trị dữ liệu cho một nền tảng thương mại đang phát triển nhanh và xây dựng văn hóa dữ liệu trong toàn công ty.
• Từ quản lý chất lượng dữ liệu đến phát trực tuyến thời gian thực, bạn sẽ trải nghiệm toàn bộ phổ kỹ thuật dữ liệu và phát triển thành một kỹ sư cao cấp.
[Lời từ một đồng nghiệp mà bạn sẽ làm việc cùng 🚀]
Hiện tại nhóm của chúng tôi đang trong quá trình tái thiết kế hoàn toàn nền tảng dữ liệu. Chúng tôi đang xây dựng các đại diện dữ liệu dựa trên AI, loại bỏ các hệ thống kế thừa, và cùng một lúc tạo ra các hệ thống Mart mới và nền tảng metadata. Trong môi trường này, không có câu trả lời đã được xác định, và chúng tôi phải nhanh chóng xác thực và dám từ bỏ để tìm ra những yếu tố thực sự tạo ra ảnh hưởng. Vì vậy, chúng tôi đang tìm kiếm những người mong muốn cùng nhau xác định hướng đi của nền tảng dữ liệu, chứ không chỉ duy trì các pipeline hiện có. Hãy cùng nhau đào sâu vào ý nghĩa của 'dữ liệu tốt' trong thời đại AI và thực sự tạo ra nó.
