▶ AWS 빅데이터 처리,인프라 관리, 웹 크롤링
1. LG Intelytics 온라인 이슈 모니터링 개발 & 운영
1) 주요역할/담당
- python flask rest api 개발 및 관리
- docker를 이용하여 서비스 관리
- python konlp를 이용하여 자연어 처리 및 수집 변환 작업
- python pandas를 이용하여, 데이터 처리
2) 업무성과
- LG 전자 온라인 커뮤니티 데이터 수집
3) 사용 Skill
- FLASK, KONLPY, PANDAS, DOCKER, AWS ECS, SPLUNK
2. PROACTIVE CUSTOMER CARE 개발 & 운영
1) 주요역할/담당
- AWS GLUE 서비스 운영 & 관리
- AWS ATHENA 서비스 이용 데이터 가공 및 추출
- KUBERNETES 인프라 구축, 운영 및 관리
- 그라파나, 프로메테우스 KUBERNETES 모니터링 툴 개발 및 운영
- KUBERNETES helm chart, helm release 적용
- AIRFLOW PYTHON 빅데이터 처리 및 운영 관리
2) 업무성과
- LG 가전제품 수집로그 변환, 필터, 진단을 통한 고객 PUSH 서비스
3) 사용 Skill
- AWS GLUE, AWS ATHENA, SCALA, SPARK DATAFRAME, KUBERNETES, SPLUNK, AIRFLOW
더보기