In charge of conducting the migration of a legacy system to a DataLake.
• Designing with a Data Architect the data ingestion, storage and processing solution
• Building ELT/ETL data pipelines from the ground up
• Monitoring to ensure that the system runs properly and making adjustments accordingly
• Working with stakeholders to identify and meet data requirements
• 데이터 아키텍처를 이용한 설계 및 DataLake의 데이터 관리 및 처리 시스템 구축
• 아키텍처가 비즈니스 요구사항을 충족하 도록 서로 다른 부서의 이해 관계자들과 긴밀하게 협력
• 레거시 시스템을 DataLake 플랫폼으로 마이그레이션
• 데이터 파이프라인 구축, 테스트 및 최적 화
Data Eng: HDP (2.6), Hadoop, Spark, Hive, Oozie
DevOps: Maven, GitLab, XLDeploy, Jenkins
Data Viz: PowerBi
더보기