Udacity에서 제공하는 Data Engineering Nanodegree입니다. 데이터 엔지니어링과 관련된 기술에 대한 여러개의 미니 프로젝트(Data modeling - Postgres & Cassandra, Data warehouse - Redshift, Data Lake - S3 & EMR, Data Orchestration - Airflow)와 마지막에 캡스톤 프로젝트를 완성해야 합니다. 캡스톤 프로젝트로 주어지는 데이텟이 아닌 개인적으로 캐글에서 PUBG 대용량 데이터를 받아서 완료했습니다. Nanodegree에 대한 커리큘럼 설명은 다음 링크에 자세히 나와있습니다. https://www.udacity.com/course/data-engineer-nanodegree--nd027

- Udacity의 Data Engineering의 Nano-degree수료를 위한 캡스톤 프로젝트 - 멘토 도움없이 혼자서 모든 데이터 인프라 구축 & 모델링 & 코딩 - Kaggle에서 PUBG의 게임관련 데이터셋을 구하였고, 쉘 스크립트로 필요한 양만 추출해서 S3에 랜딩 - 저장된 데이터셋(200만+ 레코드)를 IaaC를 통해 코드로 EMR 생성후 step execution으로 가공 & 스테이징 - 가공된 데이터를 직접 모델링한 데이터 웨어하우스(Redshift)로 로드 - 가공 & 로드에 대한 검증 단계 추가

팀구성 : 프론트 3, 백엔드 1 / 역할 : 백엔드 기간 : 3주 - 3주간 1차 MVP에 들어갈 모듈들(총 3개) 생성 - 1)서울시 생황인구 데이터, 2)서울시 카페 분포 데이터, 3)트위터 오픈 API를 통해 데이터 크롤링및 몽고디비에 저장 - 각 프론트마다 하나 모듈을 전담, 백엔드(본인)은 데이터를 엔드포인트(REST)로 제공 - MSA 아키텍쳐 지향, 모듈은 도커 컨테이너로 만든 후 기존 서비스들과 docker-compose로 연동 - 인구 데이터는 cron 모듈을 따로 만들어 매일 자동 업데이트

팀구성 : 프론트 4, 백엔드 2 / 역할 : 백엔드 기간 : 2주 -디비 모델링 AqueryTools 활용한 ERD 시각화 -2개의 1주단위 스프린트 - 스크럼 -Scrapy및 Selenium을 통한 사이트 크롤링 -Django-extension으로 MySQL DB populate -제품 전체&상세 페이지 RESTAPI -쿼리스트링으로 여러 카테고리별 필터링 -Elasticsearch를 통한 간단한 이름 검색 기능 추가 -AWS RDS MySQL 세팅 -AWS EC2에 RDS 연동해서 최종 배포

팀구성 : 프론트 4, 백엔드 2 / 역할 : 백엔드 - git rebase를 통한 버전관리 - Redis를 통한 캐시 관리, 반응 속도 향상 - Django Signal로 캐시 유효성 업데이트 - Python Descriptor 활용, 모델에 클래스메서드 생성해 더 깔끔&읽기쉬운 코드로 엔드포인트 구현 - AWS ECS로 Redis 서버 관리 - 프로젝트 도커 컨테이라이즈 후 AWS EC2 배포