拉波實驗室獨特的數據平台成為AI本土組織最強大的基礎。
: 我們正在尋找一位數據工程師來參與這個激動人心的任務！
[讓我介紹一下您將加入的組織 🚀]
隨著人工智慧時代的到來，「良好的數據」價值大幅提高。特別是因為拉波實驗室旨在成為AI本土組織，因此所有成員都認同這一價值。拉波實驗室的數據工程團隊的使命是持續生產、管理和提供這些優質數據。因此，我們在設計數據管道時，深入考慮每個數據的物理特性、領域背景以及利用這些數據的同事的需求。目前，數據作為奎尼特和帕爾多甘的增長引擎而運作，我們正在尋找能夠將支持數據平台推向更高水平的人。您將體驗不斷的思考和發展，以確保在快速增長的商業平台中，在最需要的時候以最準確的形狀提供數據。
[拉波實驗室的技術堆棧 🚀]
• 數據倉儲：BigQuery
• 工作流：Airflow
• 流媒體：Kafka、Kafka Connect、Debezium
• 語言：Python
• 基礎設施：Kubernetes、Terraform
• 雲：AWS、GCP
• 數據質量：Dataform
[如果你加入，我們將一起從事這些工作 🚀]
• 設計、構建和操作管道，以分析奎尼特和帕爾多甘生成的龐大數據。
• 通過CDC實時將來自數十個微服務的數據加載到BigQuery，並利用Kafka和Debezium改進流處理管道。
• 改進表格查找邏輯，以提高基於AI的數據代理的準確性，並建立答案評估管道以監控質量。
• 構建一個新的Mart系統，以表格形式提供整個公司的核心業務邏輯，並將核心Mart從現有的遺留系統遷移。
• 創建治理結構，使數據生產者也生成元數據，並建立一個元數據平台，使公司成員更容易探索數據。
• 通過對表格的緊急性分類、定義質量標準以及建立和運營問題響應流程，建立數據質量管理體系。
[拉波實驗室正在尋找這樣的候選人 🚀]
• 擁有5年以上的數據工程經驗或相應的經驗和能力。
• 熟練掌握SQL，並能熟練操作至少一種編程語言，例如Python。
• 有建構和運營基於雲的數據基礎設施（如BigQuery和Airflow）的經驗。
• 利用開源數據處理系統（如Kafka和Spark）構建大型數據管道的經驗。
• 在實際服務或內部系統中引入和運營AI代理或基於LLM的功能的經驗。
[擁有以下經驗的人更佳！ 🚀]
• 在Kubernetes環境中建立和管理數據基礎設施的經驗。
• 利用Dataform管理數據質量或構建數據目錄的經驗。
• 利用CDC（變更數據捕獲）構建實時數據管道的經驗。
• 在快速增長的商業或平台環境中擴展數據基礎設施的經驗。
[加入拉波實驗室的旅程 🚀]
• 申請流程：文件篩選 ＞ 第一次實務面試 > 第二次文化面試 > 條件協商 > 最終接受
◦ 該流程可能會根據時間表和具體情況進行更改或增加，並提前通知。
◦ 無論各輪結果（通過/未通過）如何，所有申請者將在1-2周內收到單獨聯繫。
◦ 對於全職職位，適用三個月的試用期。在此期間，將支付100%的薪水，試用期可以根據評估被延長或終止。
◦ 如果在提交的簡歷和證明材料中發現虛假信息或不實信息，接受資格可能會被取消。
[您可以在數據工程團隊中獲得這樣的成長 🚀]
• 向適合AI時代的數據平台演變。從AI基礎的數據代理到元數據平台，您將直接設計和構建。
• 在消除遺留基礎設施和過渡到新系統的過程中，您將獲得從頭重新設計數據架構的經驗。
• 您將直接建立快速增長商業平台的數據治理並實現全公司的數據文化。
• 從數據質量管理到實時流，您將體驗數據工程的整個範疇，並成長為一名高級工程師。
[您即將與之共事的同事的話 🚀]
我們的團隊目前正在完全重建數據平台。我們正在構建基於AI的數據代理，消除遺留系統，同時創建新的Mart系統和元數據平台。在這樣的環境中，沒有預定的答案，我們必須快速驗證並大膽捨棄，找出真正有影響力的事物。因此，我們正在尋找希望共同定義數據平台方向的人，而不僅僅是維護現有的管道。讓我們共同挖掘AI時代「良好數據」的意義，真正創造它。
