sqoop

팔로워 5 명

사람

뉴스/미디어

프로젝트

하둡과 웹크롤러를 이용한 의류브랜드 경쟁력 분석
2021년 6월 | 진행중 
남성 의류브랜드 네이버 카페에서 한 시즌동안 인기있던 브랜드들의 경쟁력을 분석하여 각 시즌별 소비자들의 핵심가치를 확인한다. 이때 웹크롤링하고 플럼으로 하둡에 적재, 맵리듀스를 이용해서 기간설정, 한글 외 문자 제거, 한글 맞춤법 교정, 한글 형태소 분석, 단어수 세기 등을 진행한다. 그리고 하이브를 통해 추가적인 전처리(불필요 문자제거, 행번호 생성 등)을 진행하고 스쿱을 이용해서 외부 DB로 데이터를 추출한다. 최종적으로 워드클라우드를 생성해서 특정 브랜드의 한 시즌동안 의미있는 단어들을 판별한다.
하둡 에코시스템 구축을 위한 파일럿 프로젝트
2021년 4월 - 2021년 6월 
인프런 교육과정중 진행했던 개인 프로젝트로서 가상시뮬레이터를 이용해서 3V인 스마트카 차량 로그데이터를 발생시키고 Hadoop Ecosystem을 구축하여 수집, 처리, 적재, 분석 등의 과정을 진행하고, 최종적으로 Value를 창출하는 시스템 구축하는 프로젝트이다.