Amazon EMR

팔로워 8 명

사람

김준호
데이터 사이언스, 머신러닝 엔지니어 @FIET총 경력 8년 6개월
Time Series Analysis, Time Series Prediction, pytest, sklearn, pandas, numpy, seaborn, matplotlib, scikit-learn, computer-vision, Python, Tensorflow, pytorch, Tensorflow, Keras 등 머신러닝/딥러닝 , Pandas, word embedding, NumPy, PyTorch, 컴퓨터비전, 데이터 사이언티스트, 인공지능, 텐서플로우, 파이썬, 데이터 사이언스, 회귀분석, 컴퓨터 비전, 추천시스템, matrix-factorization, pyspark, 딥러닝/ 시계열 데이터 처리 , recommendation system, Machine Learning/Deep Learning, OpenCV, Semantic Segmentation, hidden-markov-models, 시계열 분석, Data Scientist, 머신러닝 NLP, Deep Learning (딥러닝), Amazon SNS, Amazon EMR, AWS Athena, collaborative-filtering, Machine Learning (머신러닝), NLP, 추천 시스템, AI 추천 서비스, TensorFlow, 데이터 과학, 머신러닝 엔지니어, Terraform, AWS Personalize, AWS EMR, EKS, Glue, S3, Aurora MySQL, AWS(S3, ELB, EC2, RDS, ECR, ECS(Fargate), Code Pipeline), amazon-ecs, Sass/scss, flink, graphdb, Graph QL, Amazon RDS, Amazon S3, Serverless: AWS Lambda, Step Functions, API Gateway, docker-compose, Kubernetes, Oracle DB, Spring Security, Gradle, Firebase, Next.js, Amazon EC2, React Native, Laravel, RESTful API, PHP, Flask, AWS Glue, AWS Redshift, apache airflow, Apache Spark, jupyter notebook, TypeScript, SpringBoot, Elasticsearch, Redux, Django, Amazon Web Services, Apache HTTP Server, Ubuntu, CentOS, Express, Hibernate, Eclipse, Apache Tomcat, Spring Boot, hudson, ibatis, MariaDB, JPA, JSTL, Docker, WebSocket, Jenkins, Tomcat, SVN, Maven, PostgreSQL, Apache, C#, C++, NGINX, Redis, mssql, Vue.js, 풀스택 개발, 백엔드 개발, 프론트엔드 개발, React, MongoDB, Linux, Oracle Database, jQuery, Python, MySQL, Ajax, AngularJS, servlet, MyBatis, Bootstrap, GitHub, JSP, CSS, Git, Spring, HTML, Node.js, 안드로이드, JavaScript, Java

기업

프로젝트

추천시스템을 위한 데이터 레이크(Data Lake), 데이터 웨어하우스(Data Warehouse), 데이터파이프라인(Data Pipeline) 구축
2022년 4월 - 2022년 7월 
추천시스템을 위한 데이터 레이크(Data Lake), 데이터 웨어하우스(Data Warehouse), 데이터파이프라인(Data Pipeline) 구축 ○ 프로젝트 개요 : 장바구니, 제품 상세 내 추천 상품 모델링을 위한 데이터 레이크, 데이터 웨어하우스, 데이터 파이프라인 구축 주사용기술 : AWS Glue, AWS Glue DataBrew, AWS Kinesis, AWS RedShift, AWS S3, AWS Lake Formation, Blueprint, AWS RedShift, AWS RDS, Apache Airflow
김준호  데이터 사이언스, 머신러닝 엔지니어 @FIET
PUBG ETL
 
2020년 12월 - 2020년 12월 
- Udacity의 Data Engineering의 Nano-degree수료를 위한 캡스톤 프로젝트 - 멘토 도움없이 혼자서 모든 데이터 인프라 구축 & 모델링 & 코딩 - Kaggle에서 PUBG의 게임관련 데이터셋을 구하였고, 쉘 스크립트로 필요한 양만 추출해서 S3에 랜딩 - 저장된 데이터셋(200만+ 레코드)를 IaaC를 통해 코드로 EMR 생성후 step execution으로 가공 & 스테이징 - 가공된 데이터를 직접 모델링한 데이터 웨어하우스(Redshift)로 로드 - 가공 & 로드에 대한 검증 단계 추가