크롤링 시스템을 개발하여 성인사이트의 동영상 다운로드
동영상을 pHash 알고리즘과 deepface 라이브러리를 활용하여 분석 및 탐지 시스템
- 각 모듈의 통신을 위해 RabbitMQ 사용
- Chromedp 라이브러리를 활용해 실제와 유사한 환경으로 크롤링 진행
- html에서 유효한 다운로드 소스 추출 로직 개발
- cloudeflare 같은 CDN 서비스를 우회하기 위해 docker로 vnc를 활용
- goCV를 활용하여 영상 프레임 압축
- ElasticSearch를 활용하여 phash 및 face 백터 검색
CII 규제 대응에 필요한 CII 정보 생성/저장 및 선사가 보유하고 있는 선박들의 CII 통계 정보 대쉬보드에 필요한 API 개발
1. CII 정보 NoSql 스키마 정의
2. CII 정보 계산 기능 개발
3. 통계 대쉬보드(선박별 / 선사별) Restful API 개발