[학습 어시스턴트 챗봇 성능 개선 및 운영] - 2026.01 ~ 2026.06 | SK C&C '써니봇' 프로젝트 - 기술 스택: Python, LangChain, ElasticSearch, FastAPI 1. 지식검색 도구 성능 개선 - Tool Description 및 System Prompt Engineering을 통해 도구 미·오호출 문제 해결 - 검색 실패 시 LLM 생성 답변을 사용하는 Fallback 시스템 구현, 비동기 처리로 응답 속도 유지하며 '답변 커버리지 확대' - 도구 호출 성공률을 53.3%에서 96.7%까지 향상 (약 81% 개선) 2. 콘텐츠 검색 답변 개인화 - 기존 '단순 결과 나열식' 답변에서 '개인화 메시지' 답변으로 전환 - 사용자 행동 데이터 기반 맞춤형 메시지 생성으로 '사용자 경험 개선' 3. 콘텐츠 검색 성능 개선 - 다중 도구 호출로 인한 성능 문제를 '메타데이터 통합 검색' 방식으로 해결 - 검색 모듈 API 개선: 필요한 메타데이터만 선택적으로 포함할 수 있는 기능 구현 - 컨텍스트 최적화: 대화 히스토리에는 메타데이터를 제외하고 도구 실행 결과에만 포함하도록 수정하여 '토큰 사용량 최적화' - 응답 시간 평균 2.7초(약 23%) 단축 및 안정성 향상 4. 미지원 기능 답변 세분화 로직 구현 - 데이터 기반으로 고빈도 문의 유형 선별하여 발화 유형 분류 체계 구현 - 유형별 분기 로직을 구현하여 맞춤형 답변 제공으로 사용자 경험 개선 5. Slack 기반 에러 모니터링 모듈 개발 - Slack webhook을 활용한 '실시간 알림 시스템'으로 크리티컬 로그 발생 시 자동 알림하는 로그 핸들러 개발 - 구조화된 에러 템플릿 기반 정보 자동 수집 및 전송을 통해 '문제 발생 시 신속한 대응' 체계 구축 6. 로그 데이터 분석 모듈 개발 - 로그(chat history) 데이터를 자동으로 분석하고 사용량, 실패율 등 '기본 분석 리포트'를 생성하는 모듈 개발 - 데이터 기반 도구별 문제점 분석으로 '챗봇 성능 개선 방향 제시' [리뷰 데이터분석 Multi-Agent 개발] - 2025.07 ~ 2025.11 | 빌리뷰 - 기술 스택: Python, Langgraph, LangChain, ElasticSearch, FastAPI, Docker, Dash 1. Langgraph 기반 Multi Agent 설계 및 구현 - 데이터 분석 프로세스를 계획, 분석, 검토 단계로 세분화한 멀티 에이전트 설계 - 사용자의 분석 질문에 대해 시각화 및 분석 인사이트가 포함된 보고서 자동 생성 - 코드 실행 검증 및 이미지 기반 그래프 리뷰를 통한 분석 결과 품질 보장 2. 대화형 웹 서비스 설계 및 개발 - 에이전트와 연동되는 채팅 API 및 Dash 기반 대화형 웹 서비스 개발 - 채팅 히스토리 저장/조회 및 에이전트 컨텍스트 활용을 위한 ES 연동 [학습 어시스턴트 챗봇 개발] - 2026.04 ~ 2026.09 | SK C&C '써니봇' 프로젝트 - 기술 스택: Python, LangChain, ElasticSearch, FastAPI 1. FAISS 기반 Few-shot 예제 샘플링 구현 - 벡터 유사도 기반 예제 샘플링: 사용자 발화와 유사한 예제만 Top-k로 선별하여 프롬프트 효율성 극대화 - 최적 샘플링 수 도출: k값 최적화 실험을 통해 프롬프트 길이 40% 단축하면서 성능 저하 없이 응답 속도 27% 개선 2. Test Manager 개발 - Agent 도구 호출 정확성을 정량/정성적으로 측정하는 pytest 기반 자동화 테스트 시스템 개발 - 실험 및 테스트 도구로 개발 생산성 향상 및 서비스 품질 보장에 기여 3. 챗봇 시뮬레이터 개발 - 실사용 환경 기반 챗봇 시뮬레이터를 개발하여 챗봇 성능 모니터링 시스템 구축 - 단조로운 시나리오 생성 문제 해결을 위해 유저 페르소나를 생성하여 현실적이고 다양한 시나리오 구현

더보기