데이터 엔지니어로 FDS 및 AML 검출하는 솔루션을 만들고 있는 중입니다. 백엔드부터 시작해서 기획 및 협의하는 업무까지 하고 있어요

포항 스마트시티 챌린지 사업 중 City Data Hub 프로젝트 진행 중 - 경북도청 City Data Hub 구축 완료 : KETI 주관의 City Data Hub를 customizing - Hive 기능 보완 ( kafka connect를 이용 ) - 자체 context-ld 구축 - Security Module : Node.js --≫ Spring Boot - City Data Hub 기반의 교통분석 서비스 구축 완료 : Spring Framework, FastAPI, MongoDB,Apache Airflow 사용 : 사용언어 - Python, Java : 유동인구, 주소지, 버스 노선도를 이용하고 ML을 이용하여 추천노선 서비스 구축 자체 프로젝트 진행 중 - city data hub packaging : 사용성 향상 ( 화면 통합, Admin/User ) : 기존 7개 화면 : Version UP : Java 21, Spring Boot 3.2.3, Kubernetes로 구동 : GS 인증을 위한 준비

더보기

데이터 엔지니어 슈퍼메이커스에서 매장별로 판매되는 판매 정보를 이용하여 수요 예측 (v1.0 적용) 적용 알고리즘 : LSTM ( PyTorch ) 검토 알고리즘 : XGBoost, RandomForest - 기후 데이터 적용을 위한 기상청 데이터 수집 Airflow를 이용한 Data Pipeline 구축 BI 대시보드 개발 - Amazon OpenSearch / Apache Zeppelin

더보기

고객센터 솔루션인 오큐파이의 백엔드 개발 및 유지보수 사용 기술 : Python, Django, Celery, FastApi, MariaDB 시스템 : AWS (EKS, RDS, ECR, 등 사용 ) 개발 내역: - 문의 유형 그룹화 - 설문조사 기능 - Full Text Search ( ElasticSearch - Nori plugin 사용 )

더보기

On-premise 팀장 - AWS에서 개발된 환경을 고객 요구 맞춤 시스템으로 변경 : 고객 요구에 따른 시스템 최적화 하나금융 프로젝트 - 하나금융 서비스 앱의 데이터 수집 : 고객 요구에 의한 개인화 서비스 개발 ( 관심종목, etc ) : ETL 작업 ( 화면별 사용자별 사용현황, 화면별 검색어별 사용자별 사용현황, 사용자별 관심종목 사용현황 )?: : Funnel 분석 ( Web & App 통합 분석 ) : 사용 언어 : Scala, Java, Python : 사용 툴: Apache Spark. Hadoop, Azkaban : 대시보드 작성 ( Apache Flask ) 하이닉스 프로젝트 - 하이닉스에서 자체 운영중인 앱에 대한 데이터 수집

더보기

DAP ML 개발 프로젝트 ( LG CNS ) Python과 Spark을 이용한 Machine learning Framework 개발 -. Machine Learning을 위한 Component 개발 : Spark ML을 이용한 DataFrame기반의 component 구축 ( 전처리, Feature Engineering, Classification, Regression, Clustering, 시각화 ) - 사용 툴 : Apache Spark 2.4.x, Spring Boot, Python Web Framework - 사용 언어 : Python, Scala, Java

더보기

담당업무: 데이터 분석 & Engine2.0 개발 - 유저해빗 SDK(Android & iOS)에서 생성된 데이터를 저장(AWS S3), 분석 (Apache Spark), 분석 결과 저장 (MongoDB) : S3/ElasticSearch에 저장된 데이터를 Apache Spark을 이용한 분석 및 저장 : AWS에서 Hortonworks로 Hadoop Cluster 구성, 사용 패키지 : Apache Spark, ElasticSearch, MongoDB, Hadoop 사용 언어 : Scala, Java

더보기

프로젝트 명 : Crowd 기반 실시간 변경지점 검출 솔루션 개발 ( 현대엠엔에스 ) 1. Spark 을 이용한 실시간 분석 개발 ( Spark 1.6.1, CDH 5.1 ) : Spark Streaming을 이용한 Kafka로부터 데이터 수집 : 수집한 데이터를 키별 시간대별 ( Moving Line )로 수집 / 저장 ( HDFS/ HBase) : 수집된 데이터를 이용 신규도로, 유턴, 회전규제, 일방통행 변경 사항 검출 / 저장 ( HDFS / HBase / MS SQL ) : 과속카메라 검출 . 수집된 데이터에서 데이터셋 생성 . RandomForest로 기계학습 . 데이터 검증을 위한 시각화 - 사용 툴 : Apache Spark, Hadoop YARN, HBase, MS SQL - 사용 언어 : Java Python

더보기

프로젝트 명 : 고객 패턴 분석 기반 Profile DB 구축 ( SKT ) 1. Spark MLlib을 이용한 분석 툴 개발 ( Spark 1.6.1 ) : K-means를 이용한 고객 분류 : RandomForest를 이용한 추천 시스템 (앱 추천, 요금제 추천, 부가서비스 추천 ) : PrefixSpan을 이용한 고객 행동 분석 2. Hadoop YARN을 통한 Spark Job 실행/취소 및 Monitoring - 사용 툴 : Apache Spark, Hadoop YARN, Hive, MariaDB, Spring Batch - 사용 언어 : Scala, Java

더보기

KT CLiP 2.0 고도화 프로젝트 - ELK(Elasticsearch, Logstash, Kibana) 구축 : 로그 수집 및 관리, 서버 성능 모니터링 : 로그 내 위치 정보를 이용한 전체 사용자 위치 표시 및 경향 분석 - Geofencing 고도화 : R 트리 적용을 통한 공간 검색 성능향상 - Android/iOS App 개발 및 유지보수 ( 16.07 ~ 16.09 ) 빅데이터 컨설팅 - KTDS, KTH에 Apache Spark 관련 기술 컨설팅

더보기

국토공간정보의 빅데이터 관리, 분석 및 서비스 플랫폼 기술 개발 2차년도 - 공간 빅데이터 저장 관련 인프라 기술 개발 [1-1세세부] 공간 빅데이터 처리 연산자 개발(기본 공간 연산, 비공간 연산) 실시간 공간 빅데이터 저장 연구시제품 개발 - Apache Spark을 이용하여 GIS Data를 연산하는 엔진 개발 - Metadata는 Hive로 저장 Tool : Apache Spark 1.5.2 언어 : Scala & Java 공간 연산 라이브러리 개발 ( Hadoop MR에서 Spark MR 변환) : distance, convex hull, clip, intersection, spatial join, dissolve, hotspot, autocorrelation Envelope을 이용한 Spatial Query 구현

더보기

셋탑박스용 안드로이드 미들웨어 개발 - Android Mediaframework 수정 - KLabs 차세대 미들웨어 표준 제정 참여 - Android용 NDS JCAS 정합 ( NDS와의 협업 ) - NeoSI 개발 (2013.5 ~ 현재까지) : Linux & Android 용 EPG 개발 지원 Spec( SCTE, DVB-SI, DVB-C, DVB-T, DVB-S, PSIP, ISDCG, SD&S) 적용 Site : SKB UHD적용, LGU+, KT 개발중 Code : C++, Android Java

더보기

- CableCARD개발 ( CAS 기술지원 ) - 경력사항 * ARM Core 기반의 Embedded Software개발 ( ARM7, 9 ) OS : MicroC-OS II, eCos * 국내 MSO (TBroad, CJ, HCN, CMB, KCTJ)에 납품되는 NDS/Conax용 POD 기술지원 * M-Card개발 - NDS용 M-Card, Conax용 M-Card개발 - Advanced DSG Mode 지원 기능 추가 * Conax용 HeadEnd Setup ( CMTS, Intersect, SI, Scrambler ) - NDS : 기술지원 및 Host와의 정합 - 미국 CableLabs 인증: NDS M-Card (08년 6월), Conax M-Card(09년 8월) 완료 - Conax : CableLabs 인증 / Conformity Test 인증 초도 물량 10K 출하 - CI+ CAM 개발 : Content Control 구현 - Nagra, Irdeto CAS: 개발중 ( 2009.12 ~ ) ( Spec. Review, Secure Chip Requirement 정리 )

더보기

HD-PVR 개발 - 주요 Spec Main Chip : SigmaDesign SMP8634 OS: Linux Tuner: DVB-S2 tuner x 1, 2 CI, 1 smartcard, 1 network, 2 USB 2.0, 1 HDMI - Software Application : Open Source인 Enigma 사용 Kernel : SigmaDesign 제공 ( 2.6.15 버전 사용 ) Toolchain : SigmaDesign 제공 ( uclibc library 사용 ) Root File System : Enigma Package에 포함되어 있음 Dvb-api version 1 - driver 사용 (driver/media/dvb ) SMP8634 driver : mrua 2.8.0.1 version 사용 - 작업 내용 SigmaDesign에서 제공한 mrua driver를 dvb-api 표준에 맞게 수정 smp8634에 맞게 toolchain 및 각종 라이브러리 및 App. 수정 및 recompile Device Driver 작성 : DVB-S2 튜너, CI, SmartCard, remocon 등 HD급으로 Upgrade에 따른 Enigma Source수정 PVR 기능 수정 ( Enigma App. 맞게 수정 ) Dvix 기능 추가 ( SigmaDesign에서 제공하는 Dvix기능을 Enigma App. 맞게 수정 )

더보기

- 셋톱박스 개발 : SigmaDesigns SMP8634 칩을 이용하여 IP, Cable 셋톱박스개발 ETRI와 공동개발 ( 개발 참여 업체 : 아이셋, 모다정보통신, 드리머, C&M ) OS : Linux 2.6.15 주요 업무 : OCAP Middleware를 실행을 위한 PGL library 개발 (SMP8634 mrua driver를 PGL구조로 수정) - mrua-2.7.138 version 사용 TS stream을 Tuner, File, IP로 받는 기능 구현 IP : 19.3 Mbps까지 테스트 - 멀티캐스트 Philips Tuner TUV1236D, LG 3303 tuner driver개발 기타: ITU-T 전시회에 ETRI와 공동으로 출시

더보기

-- Linux를 이용 셋톱박스 개발 ( TGS100 ) : GNU tool을 이용하여 Embedded linux 개발환경 구축 - kernel 2.6.9, gcc 3.4.4, freetype, u-boot, etc : DVB Core Version 1 개발 완료 - Demux, AV, AV switch, tuner 등 device driver 개발 Main Chip - IBMx25xx Vulcan Tuner - Sharp 0194 - stv0299 AV Switch - AK4702 보안칩, RF modulator etc : Application - CAM 자동인식 / Subtitle / Help : 유럽에서 Field Test ( 2006년 1월 ) : 양산 중 Linux OS로 Twin PVR기능을 갖춘 위성 셋톱박스 개발하는 업체로 Relook 300, 400, 500개발 중임 Linux kernel : 2.6.9 Bootloader : u-boot 1.1.2 Main chip : IBM PowerPC Vulcan, Pallas 담당업무 - Relook 500개발 : Linux Device Driver 개발 – USB 1.1 Device Phillips PDIUSBD12 ( USB Gadget driver ) - USB 2.0 Device Netchip NET2270 ( USB Gadget driver ) - Pallas chip 제공 USB 1.1 Host : Bootloader에서 USB Upgade개발 ( Bootloader, Kernel, ramimage 등 upgrade ) : PVR 기능 중 Teletext, Subtitle 등 개발

더보기

Server 관리 System (Omniworker) 개발 : JVMPI(Java Virtual Machine Profile Interface )를 이용하여 JMX가 지원되지 않는 모든 WAS 서버의 성능 수집 : JNI와 JVMPI의 특성을 이용하여 최적화 서버 관리 툴 Web Transaction 분석 Tool 개발 : WAS Server내에서 호출되는 메소드별 부하계산 및 병목현상 파악 Server 관리 Tool OmniWorker의 socket 통신 부분 개선 : 에이전트(C++)과 매니저(Java)간 TCP/IP 통신 부분 Non-blocking code 개선 Borland Web Server 성능 수집 모듈 개발 - 프로젝트 참여 SK Telecomm TOMS project 참여 ( 2004.1 ~ 2004.7 ) SK Telecomm ENG project 참여 ( 2003.10 ~ 2003.12 )

더보기

. Linux용 어플리케이션 개발 - Qt Library 이용 - 리눅스용 한컴오피스 페인트 개발 - 리눅스용 한컴오피스 설치 프로그램 개발 - sharp PDA zaurus용 Hancom Mobile Paint 개발 ( QTopia 사용 ) - 그룹웨어 설치 프로그램 개발 ( 한컴 워크데스크 / 메일데스크 ) - 03년 6월 ~ 8월 금융결제원 SI Project 참여 ( 웹메일과 연동되는 메신저 개발 – MFC Library 사용 ) 이직 사유: 경영환경 악화로 인한 장기간 임금 체불

더보기

- VPN project 참여 ( 2001.2 ~ 2001.12 ) - IPX tunneling solution 완료 ( Layer 2 protocol인 IPX를 Layer 3인 TCP/IP를 이용하여 tunneling을 구현 ) - Embedded system 개발 OS : linux ( 2.4.12 kernel 사용 ) CPU : Motorola MPC850 * 상세 경력 - MPC850 board에 linux 2.4.12 kernel porting . MPC850에서 MPU의 지원만으로 Lan Port 2EA인식 - Motorola MPC850에서 linux porting procedure 정립 - 동 board에 Layer 3 VPN인 IPSec 구현 . MPC850에 맞게 IPSec programming인 FreeS/WAN을 compile . 암호화 : 3-DES, MD5, SHA1, RSA, ESP - VoIP gateway system 구축 ( H.323 ) . 한국통신진흥 VoIP system 구축 project 참여 . 소용량 Gateway 선정 및 gatekeeper와의 연동 test . 소용량 Gateway 통신진흥 전국망에 install & test

더보기

- J100 PROJECT ( NUBIRA 차량 개발 ) . SUSPENSION PART 3-D DRAWING TOOL - CATIA, 처리 - VOLUMN, FACE . SUSPENSION PART TUNING . WTC( 영국 소재)에 3개월간 출장 J100 PROJECT 일정 점검 및 영국ENGINEER와의 일정 및 성능 협의

더보기

Truck & Bus용 타이어 개발