주요 사용 도구 : Python, mariaDB 주요성과 - 팀원들이 데이터 별 수집 및 개발 현황을 볼 수 있도록 별도의 문서 작성 - 수집 및 전처리 로직의 경량화를 통한 시간 단축 - 검증 방식의 변화를 통한 내부 테스트 시간 단축 ○서비스에 적합하도록 테이블 관리 - 서비스 목적에 따라 테이블을 구분하여 반정규화를 적용해 속도 개선 - 추후 진행할 서비스에 필요한 테이블 생성 및 데이터 수집 ○데이터 수집 및 전처리 과정의 로직 변경 - 부동산 데이터 수집 및 전처리를 포함한 자동화 배치 프로그램 구축 - 수집과정에서 과거 시점과 현재 시점 간의 PK를 비교하여 변동분만 적용하도록 로직 변경하여 수집시간 대폭 축소 - 비정형 데이터 수집 이후 유지보수를 위해 데이터 소실률을 낮추는 로직으로 변경 - 중복 확인에 많은 시간을 소요하는 특정 부분을 현재 서비스에 필요한 부분만 남겨 경량화 ○데이터 정리 및 테스트 진행 - PK 비교방법이 시기별로 적용 가능한지 소규모 단위 테스트 방식을 선택(3개월, 6개월), 기존의 검증 방식을 경량화 - 협업을 위해 수집 데이터에 대한 해석 및 설명을 정리하여 따로 기재

더보기

주요 사용 도구 : Python, MySQL 주요성과 - 기업공시 및 주가의 자동화 프로세스 시간 단축 70% 단축 - 데이터 수집 및 전처리를 통한 양질의 데이터 제작 및 자동화 구축 - 서비스 목표에 맞춘 지속적인 DB구조 변경 경험과 데이터 퀄리티 향상을 위해 보수경험 ○한국 증권 투자정보의 DB 아키텍쳐 및 DBMS 프로세스를 구축에 참여 - 한국 기업공시, 주가 ,기업 정보등의 DB 스키마 설계 및 구현 - 기업공시, 주가의 일 별 자동수집을 위한 코드 작성 및 성능 개선에 기여 - 기존 코드의 함수화를 통해, 코드 가시성 개선 ○데이터 검수 및 DB테스트 진행 - 분석 후 투자에 불필요한 데이터 정제 작업 진행 - Python 과 연동된 DB에서 키워드에 따른 결과 확인을 SQL을 통해 데이터 검수 ○A.I를 이용한 데이터 라벨링 자동화 모듈 개발 - 자연어 처리 모듈 BERT를 이용, 기업공시의 보고서명의 라벨링을 자동화하는 코드 작성 ○통계적 분석을 통해 서비스의 사용될 데이터 인사이트 제공 - 기업의 주가 상승에 긍정,부정 영향을 주는 공시를 업종별, 기업별로 나누어 제공 ○기초 통계량에 기반한 조달청 입찰 데이터 분석 후 적합한 낙찰 비율 예측 - 공공 API를 활용 데이터 수집 및 기초 통계량에 기반한 입찰 데이터의 분석 - 정규표현식에 기반 특정 키워드 관련(전기, 전기감리) 필터 후 입찰 공고의 최적 낙찰 비율 제공

더보기