Deep Learning Div. DL PM & Operation Dept. DL PM Team Project Manager

더보기

딥 보이스는 제 석사 과정 논문 주제인 가창 발성 평가를 위한 데이터셋 구축 및 심층 신경망 학습 연구를 기반으로 합니다. 저는 해당 연구를 발전시키기 위해 1인 창업 회사를 시작했습니다. 직무 내용: 서울예술대학교와의 산학협력을 통해 14명의 보컬리스트 발성 데이터를 수집, 총 23,520개 음원 및 26시간 분량의 데이터셋을 구축했습니다. 이 데이터셋을 ShortChank CNN에 학습시키고, 튜닝하여 발성 평가 모델을 개발했으며, 이를 API로 패키징하여 iOS 환경에서 구동 가능한 프로토타입 애플리케이션을 제작했습니다. 성과: 2022년 예비창업패키지 DNA 분야에 선정된 것을 시작으로, 고려대학교 캠퍼스타운에 입주하고 한국문화예술위원회 Artist Engineer Producer 해커톤에서 우승했습니다. 또한, 미국 캘리포니아의 Stochastic Labs 레지던시 프로그램에도 참여했습니다.

더보기

Being There Recreate System (BTRS) 팀에서 프로젝트 매니저로 근무한 경험이 있습니다. 이곳에서 온라인 라이브 콘텐츠에 실감 음향 기술을 적용하여, 시청자들에게 몰입감 높은 경험을 제공하는 바이노럴 렌더러를 개발했습니다. 프로젝트 매니저로서, 주요 업무는 두 가지였습니다. 첫째, 사업 고도화를 위한 신규 아이템 발굴 및 시장 조사를 진행했습니다. 둘째, 네이버, 딩고 라이브, 그리고 부산국제영화제 등 다양한 현장에 파견되어 BTRS 시스템의 정상 작동을 관리하고 필요에 따라 시스템을 운용했습니다. 제가 제안한 차기 아이템은 무대 공간과 음원의 공간감을 일치시키는 'Room Modeling'입니다. 당시 코로나19의 영향으로 공연 횟수가 크게 감소하였습니다. BTRS를 적용했던 네이버와 딩고 라이브 플랫폼의 시청자들은 현장의 감동을 느끼고 싶어했습니다. 프로젝트 매니저로서, 시청자들의 니즈를 파악했고, 아티스트의 음원 파일에서 문제를 발견했습니다. 가수들은 공연 시 별도의 라이브 세션을 진행하며, 세션 연주자들과 함께 가창을 합니다. 하지만 플랫폼에서 녹화 송출이 이루어질 때는 MR 음원을 사용하기 때문에, 화면에서 보여지는 공간감과 음원의 공간감 사이에 괴리가 발생합니다. 이를 해결하기 위해, 기존 회사의 음원 분리 기술과 제 전공인 음향 기술을 결합하여 MR 음원을 화면의 공간감에 맞춰 조정해주는 프리셋 기능을 BTRS에 적용했습니다. 이 기능은 네이버 NOW 쇼 170편 이상에 적용되어 송출되었고, 유튜브 프리스타일 딩고 및 딩고 라이브 채널에도 적용되어 총 4편으로 누적 343만 조회수를 달성했습니다.

더보기