하둡과 웹크롤러를 이용한 의류브랜드 경쟁력 분석
2021년 6월 | 진행중
남성 의류브랜드 네이버 카페에서 한 시즌동안 인기있던 브랜드들의 경쟁력을 분석하여 각 시즌별 소비자들의 핵심가치를 확인한다.
이때 웹크롤링하고 플럼으로 하둡에 적재, 맵리듀스를 이용해서 기간설정, 한글 외 문자 제거, 한글 맞춤법 교정, 한글 형태소 분석, 단어수 세기 등을 진행한다.
그리고 하이브를 통해 추가적인 전처리(불필요 문자제거, 행번호 생성 등)을 진행하고 스쿱을 이용해서 외부 DB로 데이터를 추출한다. 최종적으로 워드클라우드를 생성해서 특정 브랜드의 한 시즌동안 의미있는 단어들을 판별한다.