- 담당 역할: 백엔드 개발자
- 기술 스택:
* 언어 및 프레임워크: Golang, Gin, Gorm, Node.js, jQuery
* 클라우드 서비스: Google Cloud Platform (Cloud Run, Pub/Sub, BigQuery, Cloud Storage, Container Registry ...)
* 컨테이너 및 오케스트레이션: Docker, Kubernetes
* 데이터베이스: MySQL
* 메시징 및 스트리밍: Kafka, gRPC, RabbitMQ
* 워크플로우 관리: Airflow, CronJob
* Application 배포 및 빌드: Bash Shell
- 업무 기간: 2022.03 ~ 현재
- 상세 내용:
1. 고성능 IoT 데이터 수집 및 처리 파이프라인 개발
* Google Cloud Pub/Sub을 활용한 실시간 데이터 수집 시스템 개발 및 유지보수
* 초당 10,000개 이상의 IoT 디바이스 메시지 처리 능력 확보
* 데이터 무손실 전송을 위한 장애 복구 및 재처리 메커니즘 설계
* Cloud Run, Cloud Pub/Sub을 이용한 확장 가능한 데이터 수집 서비스 구현 (500% 부하 증가에도 안정적 운영)
* 멀티스레딩 및 고루틴을 활용한 병렬 처리 ETL(추출, 변환, 적재) 프로세스 개발로 데이터 처리 성능 향상
* gRPC를 이용한 마이크로서비스 간 효율적 통신 구현
* 서비스 간 통신 지연시간 REST API에 비해 20% 감소
* 공공 API 및 외부 파트너사 API 연동을 통한 보조 데이터 수집
2. 대규모 데이터 분석 및 인사이트 추출 시스템 개발
* Google BigQuery를 활용하여 테라바이트 규모의 IoT 원시 데이터를 저장, 관리, 쿼리하는 대용량 데이터 분석 플랫폼 구축
3. 데이터 관리 및 백업 시스템 구축
* Airflow를 이용한 IoT 데이터 백업 및 관리 워크플로우 자동화, 데이터 손실 방지 및 백업 효율성 증대
* Google Cloud Storage를 활용한 백업 데이터의 장기 보관 및 복구 시스템 설계 및 구현
4. 고가용성 RESTful API 서버 기능 개발 및 운영
* Gin 프레임워크를 사용한 RESTful API 서버 개발 및 유지보수, CRUD 기능 구현
* MySQL 쿼리 및 인덱스 최적화를 통한 CRUD 작업 성능 n% 증가
5. 시스템 최적화 및 성능 개선
* 레거시 코드 리팩토링 및 아키텍처 개선으로 유지 보수 유지 보수성 향상
6. 클라우드에서 온프레미스로의 마이그레이션
* Kafka를 활용한 안정적인 데이터 스트리밍 파이프라인 구축
* Kubernetes 기반의 마이크로서비스 아키텍처 설계 및 구현
* 프라이빗 Docker Registry 구축 및 CI/CD 파이프라인 최적화
7. IoT Device Application
* IoT Device Raw Data 수집 및 Cloud로 전송하는 Application 개발 및 유지보수
* Data Flow Application 개발 및 유지보수, 실시간 데이터 처리 및 분석 지원
* Node.js와 jQuery를 활용한 웹 애플리케이션 개발, 데이터 시각화 및 사용자 인터페이스 구현
더보기