데이터 엔지니어

4,000 - 7,000만원 / 경력
수시채용 11/17 수정
아는 사람을 통해 에이비일팔공에 연락할 수 있습니다. 로그인 / 회원가입
조회644
공유

주요 업무

5,000만 디바이스, 100만 RPM, 하루 10억 건 이상의 이벤트

에이비일팔공은 크로스 디바이스를 통해 들어오는 사용자 데이터를 실시간으로 처리하고, 대시보드, 데이터 웨어하우스, 포스트백 등 다양한 방법으로 데이터를 제공함으로써 광고주의 마케팅 ROI 최적화를 돕습니다.

데이터 엔지니어의 주요 역할은 실시간으로 데이터를 수집/처리/제공하는 데이터 파이프라인을 데이터 유실없이(fault tolerant), 확장성 높게(linearly scalable), 효율적(cost effective)으로 구축하고 지속적으로 개선해나가는 것입니다. 단순히 코드의 로직뿐만 아니라, 문제에 적합한 다양한 솔루션들을 도입하고 운영하며, 아키텍처와 인프라, 데이터 구조에 대한 다양한 실험과 모니터링을 진행하게 됩니다. 애드 테크 엔지니어링의 끝단에서 함께 경험하고 만들어가실 분을 모십니다.

━━━━━━━━━━━━
주요업무

에이비일팔공의 데이터 파이프라인은 아래와 같이 크게 3가지 파트로 분류할 수 있습니다.

1) 데이터 수집: 데이터 수집 파트는 인터페이스(API) 정의 및 구축부터 시작합니다. 광고 링크 클릭이나 SDK를 통해 수집되는 데이터는 사용자 데이터는 Go로 만들어진 WAS를 지나, Python으로 만들어진 Event Worker의 광고 성과 분석 엔진을 거치게 됩니다.

2) 데이터 처리: 데이터 처리 파트는 실시간 마케팅 캠페인 최적화를 위한 Speed Layer와 정확한 대용량 데이터 분석을 위한 Batch Layer로 나뉩니다. Event Worker에서 광고 분석 엔진을 거친 데이터들은 Speed Layer의 Druid에서 통계 데이터로 집계되고, Postback Worker에서 광고 최적화를 위해 포스트백으로 보내지게 됩니다. 동시에 Batch Layer에서는 Frad Detection, 재설치/잔존율 분석, Raw Data Export, 정확한 통계 제공 등을 위한 Spark job이 daily 혹은 hourly로 돌게 됩니다.

3) 데이터 제공: 처리가 완료된 데이터들은 최종적으로 에어브릿지 대시보드, 마스터 API, 포스트백, S3, 3rd Party(Braze, Amplitude) Integration 등 다양한 데이터 소스로 제공됩니다.

데이터 엔지니어는 데이터 수집부터 제공까지 전체 파이프라인에 대한 권한과 책임을 가지고, 데이터 유실없고(fault tolerant), 확장성 높고(linearly scalable), 비용 효율적(cost effective)인 파이프라인을 개발하고 개선하며, 파이프라인 운용을 위한 지표 선정이나 모니터링 시스템 구축을 진행합니다.
더 보기

업무 관련 기술 / 활동 분야

채용 상세

자격요건

• Hadoop, Spark, Hive 운용 경험이 있으신 분
• 데이터 웨어하우스 개념을 아시는 분
• ETL 프로세스를 관리할 수 있으신 분
• SQL 작성에 어려움이 없으신 분

━━━━━━━━━━━━
우대사항

• Elasticsearch, Druid, NiFi, Kafka 운영 경험이 있으신 분
• 광고 업계에 대한 도메인 지식이 있으신 분
• AWS(Amazon Web Services)를 이용한 탄력적 인프라 운영이 가능하신 분
• 숫자(특히 통계)에 밝으신 분
• 작업물을 글로 잘 표현할 수 있는 문서화 능력 (개인 블로그 환영!)
• 오픈소스 프로젝트 활동 (GitHub 계정 환영!)
• 세상의 귀찮은 모든 것들을 자동화 하지 않고는 버틸 수 없는 개발자다움

━━━━━━━━━━━━
에이비일팔공은 일 잘하는 사람들이 일 잘할 수 있는 회사입니다.

Culture 1 : 내가 몰입할 수 있는 환경

회사의 주인과 사용자는 나 자신입니다.
나만이 내가 몰입할 수 있는 환경을 만들 수 있습니다.

• Open Culture : 내가 몰입할 수 있는 환경을 위한 소통 창구가 열려있습니다. 구성원은 운영담당자에게 적극적으로 의견을 개진하고 우리만의 업무 문화를 만들어갑니다.
• ab180 Weekly : 비전 및 로드맵 단위 체크, 팀 성과(OKR) 및 회사 성과(KPI) 체크
• 교육 지원 : 팀별 교육비 지원, 구성원 요구에 의해 만들어지는 서비스 및 직무 교육
• 기기 지원 : 최신 PC 및 업무용 디바이스
• 쾌적한 업무 공간 : 저희 2018년 8월에 멋진 사무실로 이사갑니다.

━━━━━━━━━━━━
Culture 2 : 나의 성장이 곧 회사의 성장

내가 몰입한 일이 어떻게 회사의 비전에 공헌할 수 있을지 회사의 KPI와 우리 팀,
그리고 나의 성과 지표를 연결합니다. 지표가 왜 성장했고, 왜 내려갔는지 주기적으로 묻습니다. 그리고 더 성장하고 다시 성장하기 위해 피드백합니다.

• 회사 KPI 대시보드
• 주간 팀 퍼포먼스 평가 : 회사의 KPI를 달성하기 위한 팀 Object & Key Results 설정 및 관리
• 동료 평가

━━━━━━━━━━━━
Culture 3 : 나와 회사의 성장에 대한 공정한 보상

나와 회사의 성장에 대한 공정한 보상
조직 내 타이틀과 별도로 성과에 따라 공정하게 보상받습니다.

• KPI 달성 시 인센티브 지급
• 팀 OKR 및 동료 평가 기반 보상
• 검증된 실력이라면 업계 최고 수준의 보상
더 보기

산업분야

추천

제품/서비스

구성원
제품/서비스
팀웍
기업문화
평가와 보상

에이비일팔공에서 일하는 것을 추천합니다.

구성원
제품/서비스
팀웍
기업문화
평가와 보상

에이비일팔공에서 일하는 것을 추천합니다.

9 개 더 보기
Software Engineer @에이비일팔공
구성원
제품/서비스
기업문화

에이비일팔공에서 일하는 것을 추천합니다.

Co-founder/Software Engineer @에이비일팔공
구성원
제품/서비스
팀웍
기업문화
평가와 보상

에이비일팔공에서 일하는 것을 추천합니다.

Software Engineer @에이비일팔공
구성원
제품/서비스
팀웍
기업문화
평가와 보상

에이비일팔공에서 일하는 것을 추천합니다.

제품/서비스

에이비일팔공의 제품과 서비스를 추천합니다.

Software Engineer @에이비일팔공
구성원
제품/서비스
팀웍
기업문화
평가와 보상

UX Designer & Co-founder @에이비일팔공
구성원
제품/서비스
팀웍
기업문화
평가와 보상

Frontend Developer @에이비일팔공
구성원
팀웍
기업문화

에이비일팔공에서 일하는 것을 추천합니다.

구성원
제품/서비스
팀웍
기업문화
평가와 보상

에이비일팔공에서 일하는 것을 추천합니다.

Software Engineer @에이비일팔공
구성원
제품/서비스
팀웍
기업문화
평가와 보상

간단히
에이비일팔공은 좋은 기업인가요? 추천해 보세요.
추천

로켓펀치에 가입하고 에이비일팔공을 소개받을 수 있는 지인을 찾아보세요.

복지 혜택

개인 장비
최신 PC 및 업무용 디바이스 구매 지원, 30" 모니터, 듀얼 모니터, 맥북 프로 15", 맥북 프로 13"
자기 계발
매 주, 회고 회의를 통해 함께 만들어가는 회사 문화, Santa Growth Project: 매 월 운동, 문화 생활, 스터디 등 몸과 마음과 지식의 성장을 위한 활동 지원비 지급 및 분기 별 평가 우수자 추가 지원, MOOC 강의 및 외부 이벤트(Meetup, 스터디, 세미나, 컨퍼런스 등) 참석 지원, 서적구매 지원
통근, 교통
사당역 도보 30초
식사, 간식
캡슐커피 제공, 든든한 간식 제공, 석식 제공
연차, 휴가
여성보건휴가, 출산 휴가, 경조사 휴가 별도제공, 창립기념일휴무(주말이면평일하루쉼), 생일휴가(주말일경우전날이나다음날휴가적용), 월차, 자율 휴가제
근무 형태
AM 10 - PM 07, 유연 근무
보험, 의료
보편적 복지정책 운영 (4대보험, 주5일근무제, 퇴직연금, 산전후/육아 휴직, 경조사등), 경조사비

구성원

김효준
블록체인 엔지니어 @Airbloc
정주홍
백엔드 팀 리드, 백엔드 엔지니어, 데이터 엔지니어 @에이비일팔공
최용원
블로그기자 (프리랜서) @LG전자
간단히

에이비일팔공의 다른 채용 정보

5,000 - 8,000만원 / 경력

Python ∙ Scala ∙ MySQL ∙ druid ∙ Amazon AWS ∙ aws ∙ Amazon DynamoDB ∙ sqs ∙ Elasticsearch ∙ Redis ∙ Git ∙ nginx ∙ Kafka ∙ CircleCI ∙ Jenkins ∙ Airflow

4,000 - 6,000만원 / 경력

영업 ∙ 영업관리 ∙ B2B/B2C영업 ∙ Sales ∙ B2B/B2C 영업마케팅 ∙ B2B/B2C Sales ∙ Sales planning ∙ 세일즈 ∙ 영업기획 ∙ 비즈니스매니저 ∙ B2B영업 ∙ 영업지원

5,000 - 7,000만원 / 경력

Python ∙ golang ∙ ethereum ∙ MongoDB ∙ leveldb ∙ Kafka ∙ Hadoop ∙ druid ∙ Memcached ∙ Redis ∙ LibP2P ∙ OpenSSL ∙ Amazon AWS ∙ CircleCI ∙ Git

69% 이하
7일 이내 지원 결과를 알려줄 확률이 69% 이하인 기업입니다.
로켓펀치를 통해 채용 완료한 이력이 있는 기업입니다.
지원하기 연락하기 기업 상세 정보

채용 문의 담당자

지원하기 전에 궁금한 것들을 물어보세요!
김나은
UX Designer & Co-founder @에이비일팔공

데이터 엔지니어

채용 분야
SW 개발
경력 여부
경력
연봉
4,000 - 7,000 만원
마감일
수시채용
수정일
2018-11-17
사람들이 함께 본 채용 정보
11-28 등록
(주)유니드컴즈(UNEEDCOMMS, Inc.)
  • 경력
  • 연봉 미기재
RESTful-api ∙ Hadoop ∙ hadoop-ecosystem ∙ bigdata ∙ Big Data ∙ 빅데이터 ∙ data-warehouse ∙ 데이터수집 ∙ 데이터적재 ∙ Python ∙ Java ∙ Docker ∙ Kafka ∙ MySQL ∙ Front-end ∙ Amazon EC2 ∙ etl ∙ AWS Data Pipeline ∙ pipeline ∙ streaming ∙ 서버관리 ∙ 서버사이드 ∙ 서버구축 ∙ Amazon AWS ∙ Back-end
12/28 마감
08-23 수정
(주)마크베이스
  • 경력
  • 연봉 미기재
 
수시채용
11-19 수정
아틀라스가이드(Atlas Guide)
  • 경력
  • 연봉 미기재
Python ∙ NLP ∙ C++ ∙ AWK ∙ aws-rds ∙ Docker ∙ Ubuntu ∙ Linux ∙ Amazon EC2 ∙ Amazon S3
수시채용

마지막 정보 수정 : 2018-11-17

로켓펀치 관리자의 도움이 필요할 땐 여기서 문의해주세요