É proibida e recusada a coleta não autorizada de dados sem o consentimento do titular dos dados, incluindo dados pessoais de usuários fornecidos por este serviço. Informamos que a coleta de dados públicos sem permissão, utilizando dispositivos técnicos como crawling, pode resultar em punição criminal de acordo com a Lei de Proteção de Dados Pessoais.
누구나 쉽게 빅데이터를 수집할 수 있게 하는 Software as a Service, 범용 웹 크롤러입니다.
대상 사이트의 URL을 입력하고, 수집할 데이터 항목을 선택하면 수집된 데이터를 엑셀로 다운받을 수 있습니다.
AWS migration을 주로 맡아 AWS Lambda, DynamoDB, SQS, DocumentDB, StepFunctions, VPC 등의 서비스를 이용한 아키텍쳐 설계부터 구축 및 운영까지 직접 진행했습니다. 크롤링 엔진을 docker image화 하여 Serverless 시스템을 구현했습니다.
김대원님과 함께 참여함.
프로젝트
E-커머스 판매 추적 시스템
유펜솔루션 · 2020년 7월 - 2020년 9월 · 3개월
python selenium을 주로 사용하여 국내 주요 E-커머스 사이트 세 곳의 판매 추이를 추적하는 프로젝트입니다.
재고 및 판매량을 파악할 수 있는 웹 구조와 봇 감지 기준이 달라 각각의 크롤러를 별도로 제작했습니다. 클라우드에 Linux 서버를 두고 분산처리하여 매일 20GB에 육박하는 데이터를 수집했습니다.
데이터 분석을 위한 전처리도 담당했습니다. 실판매가 아닌 재고 조정 데이터, 즉 outlier를 탐지하는 알고리즘을 직접 설계하고 이를 도입하여 결과 데이터의 신뢰도를 90% 이상으로 끌어 올렸습니다.
이보석님과 함께 참여함.
프로젝트
네이버쇼핑 크롤러 GUI
유펜솔루션 · 2020년 6월 - 2020년 6월 · 1개월
python requests, PyQt5, pandas 라이브러리를 주로 사용하여 제작한 네이버쇼핑 키워드 크롤링 프로그램입니다.
검색 키워드와 기준가를 input으로 받아, 기준가보다 비싼 제품 정보를 크롤링합니다. 이를 merge 및 sort 하여 엑셀 파일로 제공합니다.
무단 사용 및 복제를 막기 위해 프로그램 실행시 로컬 환경의 MAC주소를 읽고 이를 MySQL db에 저장하여 관리자 제외 최대 5대의 기기에서만 사용할 수 있도록 백엔드를 구축해 두었습니다.
프로젝트
오늘 뭐 해먹지?
본인 · 2020년 2월 - 2020년 3월 · 2개월
바쁜 현대인의 살림 도우미를 만들고자 시작한 프로젝트로, 냉장고에 있는 재료를 선택하기만 하면 생각지도 못했던 다양한 메뉴와 레시피를 추천해줍니다.
html, css, bootstrap, JQuery, Ajax 를 사용하여 사용자가 편리하고 직관적으로 사용할 수 있는 프론트엔드를 디자인 및 구축하고, python 의 Flask 프레임워크를 활용하여 반응 시간이 빠른 백엔드를 구축했습니다. 또한 웹 크롤링을 통해 mongodb에 데이터를 수집하고, 이를 직접 클렌징하여 서비스의 완성도를 높였습니다.
수상
ICT기반 정보시스템보안엔지니어 양성과정
KG ITBANK · 2019년 9월
서버 및 네트워크 전반의 이론 및 실무를 학습하는 교육 과정을 27명의 수강생 중 1등 성적으로 수료하였습니다.
Idiomas
영어
고급 (자유로운 의사소통)
에스파냐어
초급
일본어
초급
이 프로필의 담당자이신가요?
인증을 통해 현재 프로필에 병합하거나 삭제할 수 있습니다. 만약 인증할 수 없는 경우 본인임을 증빙하는 서류 제출 후 프로필 관리 권한을 취득할 수 있습니다.
