- 미국 스타트업 Nucleus AI 와 연구 협업 진행 - 실제 유저 대화 데이터로 Persona grounded 챗봇 언어모델을 학습하는 프로젝트 진행. 채팅의 주요 메타데이터 (채팅 시간, 채팅 사이 간격, 유료 채팅 여부, 첨부 이미지)를 시스템 프롬프트 및 챗 내용 안으로 들어갈 수 있도록 데이터 전처리와 Parameter Efficient Finetuning 방법 활용. - 고성능 추론 언어모델 중 하나인 Retentive Network 를 처음부터 직접 구현하고 Pretraining 진행. Zero-redundancy data parallel, 3D parallel 등의 분산 학습 기술 활용. - 새로운 아키텍쳐를 학습할 때, 기학습된 다른 모델에서 가중치를 빌려와서 보다 효율적으로 학습할 수 있는 방법 연구, RetNet 모델을 학습할 때 Pythia, Llama 등의 가중치를 활용하여 학습 효율을 2배 이상 상승. (https://arxiv.org/abs/2404.02684)

查看更多

- Naver Papago MT 팀에서 Efficient training, active learning 관련 리서치 인턴 진행. - NLP, CV 분야의 Active Learning 방식들을 탐구하며, Unlabeled data 에서 가장 중요한 데이터 포인트를 판별하는 방법론들 중 번역 과제에 사용될 수 있을 방법론들 정리. Corpus 의 단어 분포도, Pretrained MT 모델의 아웃풋 불확실성, 그리고 encoder representation 의 거리를 기반으로 하는 데이터 선정 방식들을 실험하여 가장 적은 양의 데이터로 높은 학습 효율을 보일 수 있는 데이터 선정.

查看更多

Tensorflow Framework 로 다양한 State-of-the-art end-to-end TTS 모델 개발 참여 Data Augmentation, 데이터 전처리등의 업무와, 네트워크에 새로운 어텐션 모듈을 추가하거나 말투 및 감정을 조절할 수 있는 모듈 (style token) 학습 등, 새로운 논문을 구현하는 프로젝트 들 진행 오픈소스와 최신 논문을 참고하여 직접 딥러닝 모듈을 개발하는 경험 딥러닝 모델 개발을 위한 클라우드 / 서버 인프라 경험 Agile, Git review 등 SW Engineering 등을 경험

查看更多