Hotdealppom
2016년 5월 - 2017년 8월
프로그램 시연 동영상 주소 : https://youtu.be/VqLyBLSEtoQ
개요
- 핫딜뽐 = ‘핫딜’(인기있는 거래) + ‘뽐’ (사람들에게 추천)
- 사람들이 관심 있을 상품만을 추천하여 쇼핑하는데 드는 시간을 절약해주는 어플
제작기간
- 빅데이터를 처음 접하는 관계로 빅데이터의 정의, 데이터를 수집할 자료 선정, 수집기 조사 및 선정, 데이터 저장방법 조사 및 선정하였고 클래스 설계와 DB 구조 설계 등 12주 소요됨. 그 후 개발 8주 소요함
시스템 구성
- 안드로이드 - 핫딜뽐 어플
- 서버 - 상품 정보 수집, 수집한 파일 저장, 수집한 파일 분석
주요 기능
- 오픈마켓인 11번가와 소셜마켓인 쿠팡, 그리고 커뮤니티 사이트인 뽐뿌에서 유저가 설정한 관심사의 상품들의 리스트를 가져와 유저에게 추천
- 상품 항목 클릭 시, 상품 상세 화면 표시
사용 기술
- Scrapy, Android, Volley, Google API, Firebase API
- PHP, Nginx, Glide API, MariaDB, Hadoop, Flume, KoNLPy, Alhazmy13wordcloud
상세 개발 내용
- 회원 가입 및 로그인 기능 : 구글로그인과 이메일 & 패스워드 로그인 기능을 구현
구글 로그인
이메일 회원가입
• 이메일 도메인이 실제로 존재하는지 확인기능
• 이메일 서버에서 해당 이메일이 실제 존재하는지 확인
- 이메일 검증 및 인증 기능
- 통계 기능
쿠팡의 코멘트 통계
• 쿠팡 사이트에서 사용자가 실제로 많이 코멘트로 남긴 내용들을 수집해서 단어별로 카운팅하여 상위 100개 단어들을 표시
- 상품 정보 수집 기능
11번가, 쿠팡, 뽐뿌에서 상품정보를 가져와서 파일로 저장
가격 정보, 판매자 정보 등 가공한 파일 저장
뽐뿌에서 가격정보만을 추출하기 위해 형태소분석기를 이용해 가격정보 추출
- 하둡에 저장
수집기를 이용하여 수집된 정보를 하둡에 저장
- 하둡을 통한 분석
하둡에 저장된 데이터를 토대로 상품 평가에 쓰이는 단어 빈도수를 MapReduce를 통해 분석
- 시각화
단어 빈도수를 계산하여 라이브러리 사용