모델 배포를 위해 Kubernetes 도입해보며 따로 공부해 자격증까지 취득하였습니다.

중앙대학교 병원과 IoT 장비에서 심전도 신호로 VVS미주신경성실신를 예측을 연구했습니다. time/frequency domain에서 HRV를 분석하고 IoT에서 작동하기 위해 비교적 간단한 XGB모델을 사용하여 3분 전에 해당 질병을 예측하였습니다. 또 SHaP Value로 주요 파라미터를 분석해 최적화 했습니다. 고객사와 소통하여 데이터를 머신러닝을 이용하여 분석하고 요구사항을 만족한 경험이었습니다.

이미지 생성 모델의 추론과 학습 모델을 k8s-Kubernetes를 from scratch에서 구축하고 배포한 경험이 있습니다. 사용 목적에 따라 namespace를 분리하고 infisical로 환경변수를 관리하였습니다. 또 모델 최근 사용 시간과 사용 빈도를 고려해 vram에 캐싱을 진행했고, dcgm_exporter을 통해 vram을 지표로 auto scale을 진행하였습니다. 해당 작업을 통해 이미지 추론 시간을 5배 이상 줄일 수 있었으며 예상 사용 수의 10배까지도 부하 테스트에 성공했습니다.

심전도 종이 이미지로부터 딥러닝과 새로운 알고리즘을 적용해 신호 데이터를 추출하여 기존 추출 알고리즘 대비 4.32%의 MSE 개선 및 진단 성능을 평균 8.15% 증가시켜 논문을 낸 경험이 있습니다. 신호 데이터에서 이미지 데이터를 생성하여 학습에 필요한 데이터 쌍을 확보하였고 SimCLR 모델로 간섭과 noise를 제거한 신호 이미지를 만들었습니다. 또, 추출 알고리즘을 고안해 해당 이미지로부터 신호를 추출했습니다. 제가 고안한 방식이 단순히 더 좋은 성능을 냈다를 넘어서 데이터로 활용가치가 있음을 검증해본 경험이었습니다.

사내 GPU 자원을 slurm과 kubeflow 등의 인프라를 구축하여 AI 연구원의 GPU 사용 효율을 30%P가량 상승시킨 경험이 있습니다. Job queuing을 하는 데엔 slurm이, 연구 환경 분리엔 kubeflow를 도입해야겠다 생각하여 용도에 맞게 각 cluster를 from scratch에서 구축하였고, prometheus-grafana를 붙여 자원을 모니터링하였습니다. OS와 사양이 다른 컴퓨팅 노드를 하나로 묶는 것은 많은 이슈가 있었지만, 통합 배포 툴인 Ansible 이용해 같은 환경을 만들어 해결했습니다.