aws-ec2 
에 대한 최신 게시물 (2)
오늘 있었던 일을 기록하고 공유해 보세요.

백엔드 서버 개발자 @레벨13

"서버 비용을 더더더더더 줄이자!"

현재 사이드프로젝트로 개발을 진행중인 '캐치딜'에서는 메인 기술로서, Selenium(크롤링)이 쓰이고 있습니다. 하지만 Selenium은 RAM을 많이 사용하다보니, 효율적인 자원 활용과 효율적인 서버 비용을 염두해야 했습니다.

1. 'AWS Lambda는 초반에 주어지는 프리티어만 해도 넉넉히 주다보니 비용지불이 …
더보기 "서버 비용을 더더더더더 줄이자!"

현재 사이드프로젝트로 개발을 진행중인 '캐치딜'에서는 메인 기술로서, Selenium(크롤링)이 쓰이고 있습니다. 하지만 Selenium은 RAM을 많이 사용하다보니, 효율적인 자원 활용과 효율적인 서버 비용을 염두해야 했습니다.

1. 'AWS Lambda는 초반에 주어지는 프리티어만 해도 넉넉히 주다보니 비용지불이 돨 경우는 거의 없다' 란 말을 듣고 썼다가 Selenium에서 많은 RAM 사용으로 인해(약 3분에 1번씩 크롤링) 그대로 참교육을 당해버렸습니다.. (RAM 사용에 있어 프리티어 기본지급에서 초과가 되었고, 약 50달러를 부과)

2. AWS EC2 : t2.micro로 옮겨서 크롤링 작업을 진행했는데, AWS Lambda에 비해 비용적인 효과는 정말 뛰어났으나, 서버에 주어지는 RAM이 만족스럽질 못했습니다.
그리고 t2.micro 1달 사용료(24시간 서버 ON)가 약 20달러가 나왔습니다. 하지만 저는 이 금액에서도 만족감을 느끼지 못했습니다.

3. 마침 19년도에 나온 라즈베리파이4B 시리즈가 4GB RAM을 지원한다는 소식을 보고, 라즈베리파이를 통해 서버 구축 및 크롤링을 돌려보니 정상적으로 잘 작동하면서도 AWS Lambda에 비해 더 큰 비용을 아낄 수 있을것으로 기대가 됩니다.

위 과정을 거치면서 겪었던 이야기 및 라즈베리파이4에 서버구축/Selenium 설계법에 대해 블로그에 글을 작성했습니다.

1. 라즈베리파이4B 서버 셋팅부터 Selenium 설치까지 https://bit.ly/2xvhCPb
2. 캐치딜 백엔드 개발이야기 : 나에게 맞는 합리적인 서버 비용을 찾아서.. https://kbs4674.tistory.com/125
3. [사이드 프로젝트] 캐치딜 https://catchdeal.co.kr

라즈베리파이4B' 카테고리의 글 목록
안녕하세요 :D 게임/웹개발을 좋아하는 개발자 입니다.
나른한 하루

AWS Auto Scaling Group의 EC2 인스턴스가 내 소프트웨어를 실행하게 하기

AWS EC2가 Auto Scaling이 되게 하려면, 새로운 인스턴스가 생성될 때 사용할 머신 이미지와 인스턴스가 살아나면 바로 실행되어야 하는 스크립트가 지정되어야 한다. 백번 천번 새로운 인스턴스가 생성되어 Auto Scaling Group (이하 ASG)…
더보기 AWS Auto Scaling Group의 EC2 인스턴스가 내 소프트웨어를 실행하게 하기

AWS EC2가 Auto Scaling이 되게 하려면, 새로운 인스턴스가 생성될 때 사용할 머신 이미지와 인스턴스가 살아나면 바로 실행되어야 하는 스크립트가 지정되어야 한다. 백번 천번 새로운 인스턴스가 생성되어 Auto Scaling Group (이하 ASG)에 투입되더라도 똑같은 상태로 서비스할 수 있는 상태가 되어야 하기 때문이다.


핵심적으로 필요한 것은 다음 3 가지이다.
1) User Data (사용자 데이터)
2) Launch Configuration
3) 머신 이미지 (AMI, Amazon Machine Image)

자세한 설명은 https://blog.naver.com/mogulist/221661370156

Viel spaß : 네이버 블로그
blog.naver.com