빅데이터 플랫폼에 관심이 많은 5년차 개발자입니다 저는 빅데이터 플랫폼 경험을 쌓고 있고, 새로운 기술을 습득하고자 자기 개발을 거듭하는 개발자입니다. 주로 Java, Python 언어로 개발하였으며 현 직장에서는 대용량 데이터 분석을 위해 Hadoop과 Spark를 활용하여 정형화 데이터를 통계 처리하는 모듈을 개발 및 성능 개선하였고, 노드간 데이터 전송을 메시지 큐로 처리하기 위해 Kafka 브로커 서버 구축 및 Kafka producer 애플리케이션을 구현하였으며, Kafka Connect의 Elasticsearch sink connector 를 적용하여 Elasticsearch에 데이터를 sink 하도록 개발하였습니다. 특히 Spark 기반 애플리케이션은 퇴사자의 레거시 코드를 분석하여 불필요한 다중 반복문을 비롯한 여러 문제점을 찾아내고 Scala로 새로 개발하여 약 75%의 성능을 개선할 수 있었습니다. (Hadoop, Spark 등 OSS 버전 업데이트 포함시 약 97.5% 단축) 이러한 빅데이터 플랫폼 오픈소스를 공부하고 성능을 개선하며 흥미를 느껴 최근엔 점심시간과 퇴근 후 개인시간을 투자하여 Spark, Kafka 공부에 매진하고 있습니다. 단순히 플롯폼 API를 사용하는 것이 아닌, 요구받은 비즈니스 로직에 따라 최적화할 수 있도록 설계하고 개발하는 능력을 함양하고자 꾸준히 자기개발을 위해 노력하고 있으며, Velog에 공부한 내용을 업로드하고 있습니다. 이에 더해 ADsP, 나아가 ADP 자격증을 취득하여 전문성을 확보할 계획입니다.