의류 MD의 요청에 의해 빅 데이터 cloud 기반의 키워드 경쟁강도 시각화 도구를 개발하였습니다. 특정 키워드를 입력하면 해당 키워드의 PC/ Mobile 경쟁강도를 수집하고 Data-mining을 통해 데이터 시각화 기능을 구현하였습니다. 이를 통해 MD 는 해당 키워드의 경쟁력 정보를 획득 할 수 있습니다.
• Bigdata cloud 기반 키워드 트레픽 시각화
- 담당역할: Full Stack 개발
사용 기술: python, pandas, pyplot, javascript(googlechart API), Web Crawling, AWS EC2, Mysql, Machine Learning(konlpy), word cloud
역할 수행 내용:
포털사이트 빅 데이터를 Open API를 통해 수집해 사용자가 원하는 키워드의 경쟁강도 정보를 시각화하여 제공합니다. 이 서비스를 통해 마케터는 소비자의 요구를 분석하는데 도움을 받을 수 있습니다.
- Open API: RESTful(JSON)를 사용한 데이터 수집, Web Crawling 통한 Instagrame 이미지 수집
- Data mining: 필수데이터 필터링 및 전/후처리
- Data base: Dataframe Database 화
- Data Visualization: line, bar, pie, 산점도, wordcloud, 추세선 그래프 등
• 빅 데이터 프로세스를 통한 개발
데이터 사이언티스트는 상기 프로세스의 각각의 부분을 명확하게 이해해야 합니다.
- 다양한 데이터 수집 방법과 데이터 전/후 처리
- 데이터에 mining
- 빅 데이터 저장 프로세스(Hadoop)
- 데이터 분석, 데이터 시각화 전에 필요한 데이터를 분석하고 정형화 하는 작업.
- Client 요구에 맞는 데이터 시각화
같은 데이터라 하더라도, 각 사용자마다 다르게 사용될 수 있습니다. 각 프로세스에 대한 깊은 이해는 데이터 시각화를 더 유연하게 작업 해 줄 수 있습니다.
• 다양한 데이터 수집 및 처리 시각화 가능
데이터 수집: Web (Chrome) crawling, Excel, 공유데이터data, Open API 등 ‘마케팅’에 필요한 데이터 수집 가능합니다.
데이터 저장: 수집된 데이터를 Database(Mysql) 에 저장하고 출력 가능합니다.
데이터 시각화: pyplot을 통한 데이터 시각화와 동적 시각화를 위한 Javascript(google chart)를 적용 가능합니다. 빅 데이터 시각화 사용자의 UX를 증대시킵니다.
• Cloud Server Platform build
데이터베이스를 Cloud Service에 구축 가능합니다. 데이터의 cloud 화는 선택이 아닌 필수 입니다. 서버 운용비용 감축 및 안정성을 보장 받고 추가적으로 Cloud 플랫폼에서 제공하는 ML, AI기능을 확장 가능합니다. AWS 서버에 Django(Web Frame work) 구축해 웹 서비스 제공.
PC: Mysql 적용
Cloud Service: (AWS) Developed database on EC2 instance 와 RDB 사용.
Django 웝서비스 구축
और दिखाएँ
