시니어 개발리드로서 실무 개발에 참여했습니다. 개발언어는 Java, Python과 Typescript, SQL 이었으며, CI/CD는 GCP 기반의 CloudBuild 를 사용했습니다. 백엔드 개발자 였습니다. 웹 프레임워크는 Springboot, Django, ExpressJS 였습니다. DB는 MySQL과 HBase 기반의 빅데이터DB인 BigTable 였으며 OLAP으로는 GCP 기반의 Big Query 를 사용했습니다. 초반의 RAIT(Retail Analytics and Insight Technology) 프로젝트에서는 캐나다의 유통 고객인 CF그룹을 위한 브랜드 평판 분석 시스템을 개발했습니다. 트위터의 텍스트를 마이닝하여 감성을 분석(Google의 인공지능 언어모델인 BERT를 활용)하여 평판을 실시간을 분석하는 시스템이었습니다. API 개발과 GCP PubSub을 활용하여 이벤트 Driven 아키텍처를 구현했으며, 데이터 스트리밍 플랫폼은 GCP 기반의 Dataflow 를 사용했습니다. 모든 기술 스택의 도입을 주도했으며 기술적인 가이드를 리딩했습니다. 개발팀은 5명이었으며, 프론트 개발자 2인, 백엔드 개발자 2인, AI 모델 개발자가 본인 포함 2인 이었습니다. 중반 이후의 SIX iD 프로젝트에서도 유사한 기술 스택으로 개발했으며, 유럽 스위스 기반의 글로벌 대형 금융IT 기업인 SIX Group을 고객사이자 투자사로 파트너쉽을 구축하여 개발하였습니다. 대부분의 회의는 SIX Group의 스위스 본사 개발팀과 공동으로 진행했습니다. 이 무렵 MLOps 에 대한 니즈가 있어서, 감성 분석 및 ESG를 위한 34개의 Category 분류 AI 모델을 Kubeflow 라는 쿠버네티스 기반, 컴포넌트 기반의 MLOps 플랫폼에서 개발/서빙/모니터링을 구현했습니다. 거의 모든 단계를 본인이 직접 진행했습니다. 하루에 처리하는 데이터셋이 30만 건 이상이었으며, 총 11 TB의 데이터를 핸들링했습니다.
- Was building Investment Portfolio Construction & Optimization AI Engine based on ESG Score and other financial information using various Deep Learning Models
- Developed AI models of NLP/NLU using BERT for text classification
- As a tech lead, built a web platform on Docker for ESG analytics in the SIX iD project along with SIX Group Dev Team, using GCP Big Query for Big data Analytics and Data Warehouse(DW), Pub/Sub, Dataflow for data pipelines, Springboot, Django, and ExpressJS in Java, Python, and Javascript respectively.
- Catalyze data analytics on BigQuery on GCP
- Built a Text Summarization Engine using BERT and Page-Rank Algorithm
- Built ML(Machine Learning) pipeline using Kubeflow on AI Platform on GCP as ML/Ops
- Built APIs using Cloud Run which is a fully managed dockerized serverless platform on GCP for the microservices
- Partly Built APIs with Serverless framework using Lambda function in Typescript on AWS with DynamoDB
- Worked from home in Canada
더보기