"AI 학습용 데이터셋 수집 프로젝트 매니저로 근무하며 프로젝트의 End-to-end를 경험하였습니다"
🔍 프로젝트 / 프로덕트 기획, 데이터 분석, Python, SQL, Tableau, Microsoft Excel, Notion
👥 PM 팀원, Product 팀, 개발 팀, 데이터 팀 등 다양한 이해 관계자들과 협업
(1) Open Ko-LLM LeaderBoard Project 기획 및 프로덕트 개선
❔ 벤치마크 데이터셋 구축 프로젝트의 고품질 테스트 데이터셋 수집 플랫폼 기획 및 관리
- 초기 10%의 데이터셋 데이터 품질 자가 검증 미통과 및 크라우드 워커의 가이드라인 미준수로 인한 퀄리티 이슈 해결을 위해 프로덕트를 개선, 프로젝트 분배 시스템 개편, 인센티브 제도 도입을 통해 코어 유저 기준 평균 리텐션을 20% 올릴 수 있었습니다.
- 크라우드 워커의 지속적인 abusing을 파악하고 유저 메타데이터 분석을 하였습니다. Abusing의 패턴 및 방식을 확인하여 프로덕트 상 경고 메세지 기능 추가, 시스템 block 패널티 적용 등과 같은 개선을 진행하였습니다.
(2) Data Annotation Project 기획 및 관리
❔ 다국어 뉴스 기사에서의 고유명사 라벨링 데이터 수집 프로젝트 관리
- 서버팀과 협업하여 프로그램 서버를 구축하고 초기 세팅을 진행하였으며, 고객사 및 작업자 인터뷰를 통해 수집한 요구사항을 기반으로 작업자가 고유명사를 빠르게 식별할 수 있는 Recommender 기능을 추가하였습니다.
- 추천 결과의 정확도를 검증하기 위해 MariaDB에서 작업 데이터를 추출한 후, 추천된 고유명사에 대한 누락 및 오류 비율을 정량적으로 분석하고, 이를 고객사에 리포트 형식으로 전달하였습니다.
더보기