데이터플랫폼 개발1파트
빅데이터 DevOps 파트 다녔었습니다
1. Q-Finder, CGV 리서치 포털 검색엔진 시스템 분석 및 유지보수
기간 : 2019.07.01 ~ 2019. 07. 31
개요 : CGV 리서치 소셜 분석 서비스의 채널 확장 및 유지보수
담당 업무
- 기존의 검색엔진들 현황 분석 및 현재 구축된 검색엔진 파악 및 구성도 분석 및 공유
- 용량 증설 및 유지보수
사용 기술 : Python, Solr
2. Q-Finder, CGV 리서치포털 연관어 인스타그램 채널 증설
기간 : 2019. 08. 01 ~ 2019. 08. 12
개요 : Q-Finder, CGV 리서치 소셜 분석서비스의 연관어 파트의 인스타그램 채널 신규 추가
담당 업무
- 연관어 분석 모듈중 인스타그램 채널 추가(연관어 수집,전처리, 처리, 저장)
기존 트위터채널의 전처리 서버 증설 등)
사용 기술 : JAVA, Python, JSON, RabbitMQ, Redis
3. Q-Finder, CGV 리서치포털 데이터 레이크 구축
기간 : 2019. 08. 13 ~ 2019. 09. 30
개요 : Q-Finder, CGV 리서치 소셜 분석서비스의 연관어 데이터를 빅데이터 클러스터에 데이터 레이크 구축작업 진행
담당 업무
- 데이터 레이크 구축하기 위한 연관어를 특정기간동안에 있는 데이터를 수집 및 가공 후 이동작업 진행
사용 기술 : JAVA, Python, JSON, HUE, RabbitMQ, Redis
4. Tibuzz 서비스 API 연계
기간 : 2019. 10. 07 ~ 현재
개요 : 소셜분석 서비스인 Tibuzz API 를 연계하여 데이터 레이크 구축
담당 업무
- 기존 workflow 오류수정하여 Tibuzz API 호출되도록 수정
- Tibuzz api JSON 파싱 오류나는 부분 수정 및 파싱 결과에 따른 예외처리 적용
- Tibuzz API에 필요한 contents Id를 빅데이터 클러스터에서 읽어서 비식별클러스터에 데이터 적재작업
- 비식별 클러스터에서 빅데이터 클러스터 적재 작업
- 테이블 생성 및 데이터 적재 작업 진행
사용 기술 : OOZIE, JAVA, Python, HUE, JSON, HTTP, Git, Impala
더보기