사람

기업

게시물

왜 In-Memory 솔루션은 Edge Computing을 위한 기술이 아닌가? 배경 최근 들어 Edge Computing에 대한 시장의 관심이 매우 높아졌습니다. 이 의미는 이제야말로 Edge Computing이 최종 기업 고객들이 해당 기술과 제품에 대해 도입을 고민이 시작되었다는 뜻이기도 합니다. 이러한 시장이 열림에 따라 Edge Computing의 중요한 요소인 Edge Device에서 필수적인 중요한 기능을 지원하는 솔루션이 하나 둘 씩 출현하고 있습니다. 대표적으로 소규모 Edge Device에서 고속으로 데이터를 처리하고, 전달하는 제품인 FogHorn이나 전통적인 OT 영역에서의 간편하고, 낮은 비용으로 구축할 수 있는 Dianomic에서 출시한 FogLamp라는 제품등이 있습니다. 그런데, 이 글을 작성하게 된 근본적인 이유는 메모리 캐싱 솔루션으로 유명한 Redis 에서 발표한 Edge Database 제품 소개 자료를 읽고 (https://redislabs.com/blog/ideal-iot-edge-database-redis-enterprise/), 실제 고객들이 Edge Computing에 대하여 정말로 어떤 솔루션을 원하는지 알려드리기 위해서 입니다. 나는 누구인가? 우선 저를 먼저 소개해야 할 것 같습니다. 저는 In-Memory DBMS의 대표적인 제품인 Altibase에서 지난 15년간 근무했던 개발자이자 경영자이기도 합니다. Altibase는 In-Memory DBMS에서는 세계 최초로 2001년에 MVCC 개념을 구현한 제품이었으며, 2013년까지 제가 근무하는 기간동안 Korea는 물론이고, 일본과 중국에서 다수의 통신사와 금융사를 고객으로 가졌던 유일무이한 탑클래스 메모리 DBMS 회사입니다. 저는 이 회사에서 실제 In-Memory DBMS 엔진을 Draft 수준으로부터 Commercial Level까지 설계하고, 구현하였고, 다년간 CTO와 CEO로 근무한 경험이 있습니다. 또한, 2013년 시작된 Industrial IoT 시장을 위한 시계열 데이터베이스인 마크베이스(Machbase)의 창업자이기도 합니다. Edge Computing의 고객들 이 시장은 아주 초창기 시장입니다. 그렇지만 예전과 다르게 실제 고객들의 요구사항들이 발생하고 있으며, 기업 고객들이 Edge Computing을 모르고 그린 아키텍처가 Edge Computing이 되는 재미있는 상황이 발생하기도 합니다. 저는 이 시장에서 두개의 재미있는 고객 사례를 소개하고자 합니다. 첫번째 사례는 수백 혹은 수천대의 공작기계를 센서를 통해 모니터링하고, 여기에서 발생한 대량의 데이터를 클라우드로 전송하고, 이 데이터를 기반으로 클라우드 서비스를 개발하는 개발 업체에 대한 이야기입니다. 이 기업은 클라우드 서비스가 미래의 핵심이라고 생각하였고, 회사의 많은 자원을 투입하여 약 2년간 클라우드 기반의 IIoT 솔루션을 개발하고 있었습니다. 전세계에 걸쳐 약 2~3천 곳의 서비스 후보를 발굴하고, 1년내에 실제 고객으로 만들려는 야심찬 계획을 세웠으나, 실제 비지니스 실행을 하려던 순간에 생각하지 못했던 문제가 발생했습니다. 그것은 바로 실제 클라우드에 옮겨질 데이터가 예상보다 훨씬 많다는 것이었고, 이를 관리하기 위한 크나 큰 클라우드 비용이 대두 되었습니다. 고객은 자신들이 얻는 장비의 모니터링 효용 만큼의 비용을 낼 의향이 있었지만, 실제로 자신들의 대량의 데이터가 보관되는 것에 대해서는 전혀 돈을 낼 수 있는 상황이 아니었습니다. 다시 말해, 이 클라우드 서비스를 오픈하여, 고객이 원하는 수준의 가격을 책정하면, 지속적으로 적자가 발생할 수 밖에 없는 비지니스 구조가 태어나게 된 것입니다. 다행히 실제 서비스 오픈 전에 이러한 문제를 인식하였고, 이 고객사는 우리가 잘 아는 Edge Computing의 전형을 최종 선택하였습니다. 즉, 공작기계로부터 발생하는 대량의 데이터는 일단 Edge Device에 저장을 하고, 비정상적인 데이터나 통계 데이터의 경우에만 클라우드로 올리는 모델을 선택한 것입니다. 현재 이 회사는 다시 제품을 개발하고 있고 이전의 아키텍쳐에 비교해 낮은 비용으로도 고객의 효용이 발생하게 되어, 개발사에서도 그 만큼의 이익을 가져갈 수 있는 구조가 탄생하였습니다. 또한, Edge Device에 저장된 데이터는 일정 기간 이후에 삭제할 수도 있고, 그 기간 동안 히스토리 분석을 위한 훌륭한 데이터로 활용될 수도 있습니다. 두번째 사례는 더 극적입니다. 이 기업은 수 백 대의 로봇이 동작하는 반도체 관련 장비를 개발하는 곳입니다. 이 로봇은 천장에 매달린 레일을 통해 물건을 실시간으로 옮기는 주요한 역할을 담당하고, 만일 어느 하나의 로봇이라도 문제가 생기면, 전체 물류 공정에 큰 차질이 생기는 미션 크리티컬한 비지니스를 수행하고 있습니다. 문제는 이 로봇이 움직이는 레일이 완벽하지 않다는 것입니다. 때때로 이 레일에 예상치 못한 이물질이 있을 수도 있고, 혹은 갈라지거나 노후화되어 로봇의 움직임에 큰 영향을 주는 경우가 발생합니다. 해당 기업은 이러한 문제를 미리 방지하기 위해 로봇이 움직임에 따라 레일에서 발생하는 진동을 실시간으로 끊임없이 수집하는 계획을 세웠습니다. 이렇게 수집된 진동 데이터는 기존의 진동 패턴과 비교하고, 만일 다른 형태를 보인다면 뭔가 문제가 발생할 가능성이 큰 것이므로, 사전 조치를 통해 향후 문제를 방지하는 시스템을 구축하고자 했습니다. 그런데 한 대의 로봇이 두 개의 진동 센서로부터 처리해야하는 데이터는 초당 10만건 정도입니다. 만일 100대의 로봇이 동작한다면 최소한 초당 1,000만건의 센싱 데이터가 생산되는 것입니다. 이 어마어마한 데이터를 모두 클라우드에 올릴 수도 없을 것이며, 더 큰 문제는 이러한 진동 데이터에서 발생하는 비정상 패턴을 실시간으로 감지해야 한다는 것입니다. 결국 최고의 선택은 각 로봇이 적게는 하루 길게는 일주일간의 센서 데이터를 저장하도록 하고, 이렇게 저장되는 과정에서 발견된 비정상 센서 데이터의 일부를 신속하게 상위 클라우드 혹은 서버로 전송하는 모델이었습니다. 이러한 모델은 사용자가 상위 서버만을 모니터링 함으로써 전체적인 로봇의 이상 유무를 판단할 수 있을 뿐만 아니라, 필요하다면 로봇에 저장된 과거 히스토리 데이터를 더욱 세밀하게 분석하여, 장애 발생을 미리 방지할 수 있을 것입니다. Edge Computing 고객이 원하는 것 위에서 언급한 두가지의 대표적인 실제 Edge Computing 사례를 보면, Edge Device에서 동작해야 하는 가장 기본적인 DBMS의 요구 사항이 명확하게 정리가 됩니다. 그 핵심 요구 사항은 아래와 같이 매우 간결하게 정리될 수 있을 것입니다. 고속으로 데이터를 저장할 수 있을 것 긴 시간 동안의 데이터를 저장할 수 있을 것 빠르게 시간 기준으로 센서 데이터를 추출할 수 있을 것 <이어서 보시려면 http://www.machbase.com/kr/blog/?mod=document&uid=65 여기로! >
링크 첨부됨
2019-02-20
홍윤정  마크베이스 채널 및 영업 담당자입니다 @마크베이스
548RP · IIoT 상위 10%

채용 정보

프로젝트

2018 NIPA 공개SW 기술개발 지원사업
 
2018년 6월 - 2018년 11월 
eXperDB-DB2PG 솔루션 고도화 및 open source 전환 사업 - URL : https://github.com/experdb/eXperDB-DB2PG
이재원  DBA @팀윙크
1140RP · PostgreSQL 상위 1%
eXperDB-DB2PG 개발
 
2017년 6월 | 진행중 
이기종 DBMS를 PostgreSQL로 전환하는 데이터 추출 및 전환 프로그램 개발
이재원  DBA @팀윙크
1140RP · PostgreSQL 상위 1%