당신은 주제를 찾고 있습니까 “클라우드 기반 플랫폼 – (초등생도 이해하는) 클라우드란 무엇인가? | 아마존vs마이크로소프트vs구글“? 다음 카테고리의 웹사이트 you.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: you.maxfit.vn/blog. 바로 아래에서 답을 찾을 수 있습니다. 작성자 투자하는 프로그래머 이(가) 작성한 기사에는 조회수 81,427회 및 좋아요 2,278개 개의 좋아요가 있습니다.
클라우드 기반 플랫폼 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 (초등생도 이해하는) 클라우드란 무엇인가? | 아마존vs마이크로소프트vs구글 – 클라우드 기반 플랫폼 주제에 대한 세부정보를 참조하세요
안녕하세요 투자하는 프로그래머 입니다.
(초등생도 이해하는) 클라우드란 무엇인가?
(아마존vs마이크로소프트vs구글) 3 회사에서 서비스하고 있는 클라우드 서비스에 대해서 간단한 역사와 왜 만들었는지 설명한 영상입니다.
아마존, 마이크로소프트, 구글 3회사에서 사활을 걸고 개발 및 운영하는 서비스인데 무슨 서비스인지 모르는 분들에게 조금이나마 도움이 되었으면 좋겠습니다.
감사합니다.
[참고 URL 목록]https://www.slideshare.net/AmazonWebServices/awsome-day-2016-module-1-aws-introduction-and-history001-aws-introduction-and-history-sjcole
https://blogs.adobe.com/conversations/files/2017/11/ADI_Holiday_graphs_26_ShapeOfHolidaySeasonSpend1.png
https://venturebeat.com/2017/04/04/amazon-announces-its-first-nordic-aws-data-centers-coming-to-sweden-in-2018/
저도 사람이어서 틀리거나 잘못된 정보를 말씀드릴수 있습니다.
틀린점이나 의견 언제든지 환영합니다. 덧글이나 메일로 주시면 됩니다.
[email protected]
그럼 항상 행복하세요
이 영상 또는 자료는 참고 용도로만 사용해 주십시오.
투자 책임은 모두 해당 투자자에게 있습니다.
클라우드 기반 플랫폼 주제에 대한 자세한 내용은 여기를 참조하세요.
[기획특집] ‘클라우드 기반 데이터 플랫폼’으로 쉽고 빠르게 …
클라우드 기반 데이터 플랫폼이 부상하고 있는 이유는 편리성 외에도 데이터 양과 종류가 늘어나면서 겪는 관리 역량 부족 문제를 해결할 수 있고, 정형화 …
Source: www.comworld.co.kr
Date Published: 7/22/2022
View: 7116
[클라우드 데이터 플랫폼②] 4가지 분석 과정 거쳐…다양한 …
‘클라우드 기반 데이터 플랫폼’으로 쉽고 빠르게 데이터 분석. [아이티데일리] 데이터 활용 없이 기업의 경쟁력 향상은 불가능하다. 이는 곧 기업의 성장 …
Source: www.itdaily.kr
Date Published: 7/25/2021
View: 1510
클라우드로 전환되는 ‘데이터분석 플랫폼’…효과는?
클라우드 기반의 데이터 분석 플랫폼 구현 활발[디지털데일리 백지영기자] “고객 데이터가 위치한 곳에서 분석 플랫폼을 제공한다”업종을 불문하고 …
Source: m.ddaily.co.kr
Date Published: 12/4/2021
View: 1670
‘클라우드 데이터 플랫폼(CDP)’이란 무엇인가 – 슬로우뉴스
데이터 플랫폼은 데이터 분석가, 데이터 과학자, 데이터 엔지니어가 데이터를 기반으로 작업하도록 지원하며, 규모와 관계없이 성능과 유연성을 제공 …
Source: slownews.kr
Date Published: 7/9/2021
View: 5233
클라우드 기반 AI 플랫폼 기술 동향 – Korea Science
최신 클라우드 기반의 AI 플랫폼에서는 컴퓨팅. 자원을 쉽게 제어할 수 있는 인프라 제어 기술을. 활용하여 분석가들이 AI 모델 개발을 쉽게 할 수. 있도록 하는 환경을 …
Source: www.koreascience.or.kr
Date Published: 2/11/2022
View: 4432
클라우드 서비스(Cloud Service)란 – 개념, 종류, 비교 및 추천
클라우드 플랫폼을 구축하려면 클라우드 인프라를 제공할 때와 같이, … 이들 제공업체는 API 관리, 클라우드 기반 운영 체제, …
Source: www.redhat.com
Date Published: 9/12/2021
View: 3799
클라우드 기반의 데이터 분석 및 BI 플랫폼 구성
클라우드 기반의. 데이터 분석 및 BI 플랫폼 구성. Game on Cloud … <사례> 내부 시스템에서 게임분석 마트와 큐브를 구축, Cloud의.
Source: wise.co.kr
Date Published: 1/13/2021
View: 2616
‘구글 클라우드 기반 데이터 플랫폼’으로 쉽고 빠르게 데이터 분석
구글 클라우드는 데이터 분석 플랫폼이 단일 CSP에 종속되지 않고 여러 클라우드 환경에서 활용될 수 있도록 하는데 집중하고 있다.
Source: www.bespinglobal.com
Date Published: 8/24/2022
View: 1561
클라우드 기반 애플리케이션 | Dell Technologies Korea
Dell Technologies Cloud Platform. DTCP(Dell Technologies Cloud Platforms)는 VMware Cloud Foundation과 완벽하게 통합되어 업계에서 가장 빠른 하이브리드 클라우드 …
Source: www.dell.com
Date Published: 3/27/2022
View: 5249
클라우드 기반 데이터 분석 및 인공 지능을 위한 비지니스 혁신
다양한 기업의 데이터 기반 의사 결정을 위한 요구를 수용하는 분석 플랫폼과 인공 지능 기술의 도입은 큰 화두입니다. 본 세션에서는 기업의 비지니스 전략 및 기획을 …
Source: www.slideshare.net
Date Published: 9/2/2022
View: 8884
주제와 관련된 이미지 클라우드 기반 플랫폼
주제와 관련된 더 많은 사진을 참조하십시오 (초등생도 이해하는) 클라우드란 무엇인가? | 아마존vs마이크로소프트vs구글. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 클라우드 기반 플랫폼
- Author: 투자하는 프로그래머
- Views: 조회수 81,427회
- Likes: 좋아요 2,278개
- Date Published: 2020. 4. 22.
- Video Url link: https://www.youtube.com/watch?v=IWQER-FL4Is
[기획특집] ‘클라우드 기반 데이터 플랫폼’으로 쉽고 빠르게 데이터 분석
[컴퓨터월드] 데이터 활용 없이 기업의 경쟁력 향상은 불가능하다. 이는 곧 기업의 성장은 상당부분 데이터 활용에 달려있다는 것을 의미한다. 기업들이 데이터 분석 환경을 갖추기 위해 IT자원에 투자를 아끼지 않는 것도 데이터 활용을 통한 경쟁력 향상을 위해서다.최근 들어 기업 경쟁력과 직결되는 데이터 분석 플랫폼의 인프라가 바뀌고 있다. 그동안 직접 서버를 구매해 데이터 분석 환경을 구축하던 형태에서 벗어나 클라우드 인프라 상에서 데이터 분석할 수 있는 플랫폼을 구현하기 시작한 것이다. 이러한 수요에 대응하고자 클라우드 서비스 제공사(CSP)와 클라우데라와 같은 플랫폼 기업들은 클라우드 기반으로 데이터 플랫폼을 제공하거나, 각 서비스들을 모아 데이터 분석 프로세스를 만들어주는데 집중하고 있다. 이들 기업들의 솔루션과 전략에 대해 알아봤다.
데이터 관리 역량 부족 및 소비 패턴 변화 요인
클라우드 기반 데이터 플랫폼이 주목받고 있다. 클라우드 기반 데이터 플랫폼이 부상하고 있는 이유는 편리성 외에도 데이터 양과 종류가 늘어나면서 겪는 관리 역량 부족 문제를 해결할 수 있고, 정형화된 환경이 아닌 데이터 소비 패턴의 변화에 대응할 수 있으며, 실시간으로 데이터를 활용할 수 있기 때문이다.
먼저 클라우드 기반 데이터 플랫폼은 환경을 구성할 때 편의성이 높다. 그동안 데이터 플랫폼은 온프레미스 환경으로 구축해 사용됐다. 이 경우 매우 복잡한 절차를 거쳐야 했다. 비정형 데이터를 분석해야 할 경우 ‘하둡’, 검색 엔진으로는 ‘엘라스틱 서치’, DB는 ‘몽고DB’ 등 데이터 분석에 필요한 모든 환경들을 하나하나 직접 설치하고 구성해야 했다. 또 플랫폼을 만들 때 데이터양에 따른 사이즈도 고려해, 최소 수십TB(테라바이트)에서 수십PB(페타바이트)까지 디스크와 메모리 등 스토리지 환경도 구축해야 했다. 특히 컴퓨팅 노드 환경을 구성하는 난이도 높은 클러스터링 작업도 데이터 분석을 위해 필요했다.
온프레미스 환경으로 데이터 플랫폼을 구축할 경우 이러한 어려운 작업을 거쳐야 하는 것 외에도 많은 비용과 시간이 필요했다. 시스템 규모에 따라 차이가 있지만 평균 6개월에서 1년 정도가 소요된다.
그러나 클라우드 기반 데이터 플랫폼을 이용할 경우 복잡할뿐 아니라 많은 비용과 시간이 필요한 작업들을 콘솔에서 클릭만으로 쉽게 구성할 수 있다. 스토리지 환경과 DB 그리고 ETL(추출‧변환‧적재, Extract‧Transform‧Load) 등을 클릭만으로 선택해 서비스를 받을 수 있는 것이다. 수십 분 혹은 수 시간 안에 클라우드 콘솔을 통해 클라우드 기반 데이터 플랫폼 환경을 만들어낼 수 있다.
클라우드 데이터 플랫폼은 데이터 양과 종류에 상관없이 쉽게 관리할 수 있다. 최근 사물인터넷(IoT)나 에지단에서 수집되는 데이터의 양이 증가하고, 그 종류도 다양해지고 있다. 실제 기업들은 사진, 동영상, 텍스트, 음성 등 다양한 데이터를 구조화해 분석‧활용해야 하지만, 각종 규제와 보안 문제 등으로 쉽지 않은 상황이다.
클라우드를 이용할 경우 이런 문제를 상당부분 해결할 수 있다. 클라우드 기반에서 관리하고 분석‧활용할 경우 데이터를 클라우드 데이터 플랫폼 내 수집 장소로 전송하게 만들 수 있고 클라우드 데이터 분석 아키텍처를 설계해 저장소는 어디로, 데이터 마스킹(데이터 가리기)은 어떻게 할지 자동으로 지정할 수 있다. 데이터 양과 종류에 상관없이 효율적인 관리가 가능하다는 얘기다.
데이터 소비 패턴이 변화하고 있다는 점 역시 기업들로 하여금 클라우드 기반 데이터 플랫폼에 관심을 갖게 만들고 있다. 과거 데이터를 활용하는 사람은 대부분 데이터 과학자였다. 일반 부서에서는 활용하고자하는 데이터를 IT관련 부서에 요청해 받아보는 게 일반적이었다.
하지만 최근에는 마케팅, 영업, 디자인 등 다양한 부서의 직원들이 데이터를 직접 사용하려는 움직임을 보이고 있다. 데이터를 소비하는 주체가 다양해지기 시작한 것이다. 이에 따라 데이터에 쉽게 접근할 수 있는 도구가 필요해지기 시작했으며 여기에 가장 적합한 도구가 바로 클라우드 기반 데이터 플랫폼이다.
AWS의 경우 ‘AWS S3’라는 스토리지 서비스를 중심으로 쉽게 접근할 수 있는 빅데이터 도구들이 연결돼있다. 이 도구들을 이용할 경우 데이터를 쉽게 가져오거나 활용할 수 있다.
클라우드 기반 데이터 플랫폼은 실시간으로 데이터를 활용함으로써 빠른 의사결정을 가능하도록 해준다. ‘키네시스 데이터 스트리밍’, ‘클라우드 펍’, ‘애저 스트림 애널리틱스’ 등 CSP의 실시간 데이터 처리 서비스를 활용할 경우 직접 시스템을 구축해 사용하는 것보다 훨씬 더 빠른 의사결정이 가능하다.
4가지 분석 과정 거쳐…다양한 인프라 환경 연동
데이터 분석을 위해서는 크게 수집, 저장, 전처리, 분석 등 4가지 과정을 거친다. 먼저 데이터 수집 과정에서 중요한 것으로 비즈니스 목적에 맞게 데이터를 수집하는 것이다. 사실 데이터가 부족해서 분석을 하지 못하는 경우는 드물다. 문제는 수집된 데이터가 비즈니스에 적합하느냐의 여부다. 또한, 데이터 접근 측면에서 데이터를 수집하고 관리하기 어렵게 격리된 인프라에 저장하고 있는 경우가 많다.
이러한 점을 고려해 데이터를 생성하고 수집하는 전략을 수립해야 한다. 특히, 애플리케이션에서 생성되는 데이터와 로그, 기존 데이터의 전송 및 스트림 데이터를 수집할 수 있는 솔루션을 활용하는 것이 좋다. 수집된 데이터는 주로 관계형(Relational)DB 혹은 논리형(Logical)DB에 저장된다.
통상 수집된 데이터는 바로 분석에 들어가는 것이 아니다. 분석만을 위한 별도의 클라우드 저장소에 저장된다. 저장 단계에서의 핵심은 ‘데이터 ETL’이다. ‘데이터 ETL’은 쉽게 말하면 데이터 분석에 앞서 스토리지에 데이터를 분산 형태로 저장하기 위한 선제작업이라고 말할 수 있다. 수집 단계에서 쌓인 데이터는 관계형 데이터, XML, CSV, 파일, API, 웹 데이터 등 종류가 다양하다. 이 데이터들을 분석하기 쉽도록 정제하고, 검증하는 등 가공하는 것이다.
김병준 네이버클라우드 데이터 플랫폼 리더는 ‘데이터 ETL’에 대해 “ETL은 수집된 데이터를 일괄 처리, 정제, 검증, 집계, 작업 스케줄링 등 작업을 수행하고 이후 이렇게 가공된 데이터를 데이터 웨어하우스라고 하는 곳에 저장한다. 또 이를 직관적으로 볼 수 있도록 GUI로 만들거나 시각화 도구에 사용할 데이터를 분할하는 과정을 거친다”면서, “쉽게 설명하면 수집된 데이터를 분석에 사용할 수 있도록 1차 가공하는 과정이라 할 수 있다. 이 과정은 불필요한 데이터의 양을 줄여 비용을 절감하도록 해주기 때문에 데이터 분석 과정에서 중요하다”고 설명했다.
‘데이터 ETL’을 통해 1차 가공된 데이터는 분석을 위한 저장소에 저장된다. 이 과정에서의 핵심은 데이터를 시, 분, 초 단위로 나눠 분산형태로 저장해야 한다는 점이다. 이를 보통 ‘데이터 레이크’라고 한다. ‘데이터 레이크’는 직렬형태가 아닌 병렬형태로 클러스터를 배치해 데이터를 분석하기 때문에 속도가 빠르다. 이렇게 데이터 레이크가 구축되면 향후 실시간으로 수집되는 데이터를 ‘아파치 카프카’와 같은 서비스를 사용해 데이터를 실시간으로 저장할 수 있도록 지정할 수 있다.
AWS는 ‘AWS S3’를 데이터 레이크로 구성할 수 있는 서비스인 ‘AWS 레이크 포메이션’이라는 솔루션을 제공하고 있다. MS는 ‘애저 데이터 레이크’, GCP는 ‘아파치 스파크’ 및 하둡 기반의 데이터 레이크 서비스를 갖고 있다. ‘데이터 레이크’의 대표적인 예시로 ‘하둡 분산형 파일 시스템(HDFS)’을 들 수 있다. 이 ‘HDFS’는 AWS와 같은 글로벌 CSP부터 네이버클라우드와 같은 국내 CSP들까지 대부분 사용하고 있다.
이 후에는 본격적인 데이터 분석에 들어간다. 이때 데이터를 시험적으로 분석하는 ‘탐험적 분석’이 수행된다. 보통 데이터를 분석할 때 어떠한 효과가 나올 것인지 확실하게 알 수 없다. 단지 어느 정도의 결과 값이 나올 것인지 예측할 뿐이다. 때문에 모든 데이터를 분석을 하기보다는 ‘탐험적 분석’을 통해 일정량을 먼저 분석하고 검증이 완료되면, 그때 규모를 키워야 한다는 얘기다.
김남영 네이버클라우드 데이터 포레스트 상품개발 리더는 “과거 기업들은 온프레미스 환경으로 데이터 분석 플랫폼을 구축했다. 하지만 큰 예산을 들인 플랫폼이 기업 의사결정과 혁신에 별 도움이 되지 못한 경우가 많았다”면서, “이 경우 다른 목적으로 플랫폼의 방향을 전환하기도 어려웠다. 아예 데이터 플랫폼을 포기해야만 했다. 이런 이유로 클라우드에서도 한 번에 대규모로 구축하기보다 실험적으로 검증을 거치는 ‘탐험적 분석’을 해본 후 규모를 키워야 한다”고 강조했다.
이어 그는 “다른 CSP의 클라우드 데이터 분석 상품들 외에 오픈소스인 하둡의 경우, 클라우드 기반으로 플랫폼을 구축할 경우 손 쉽게 데이터 플랫폼을 구축하고, 빠르게 여러 테스트를 해 볼 수 있다. 달리 말하면 본격적인 활용 전 반드시 소규모의 검증이 필요하다는 것”이라고 덧붙였다.
최근에는 데이터 분석을 통해 나온 결과 값을 머신러닝 모델에 바로 적용할 수 있는 서비스들도 출시되고 있다. 클라우드 관리 서비스 제공사인 클루커스는 ‘클루커스 DAaaS(Data Analytics as a Service)’라는 데이터 플랫폼 서비스에 스파크비욘드의 예측, 분석 서비스를 함께 공급하고 있다.
온프레미스 환경이나 클라우드 데이터 플랫폼이나 분석 과정이나 결과에 대해서는 큰 차이는 없다. 그러나 클라우드가 AI와 머신러닝 등 신기술 접근성이 좋고, 보다 신속하게 비즈니스에 인사이트를 줄 수 있다. 또한 비용면에서도 차이는 있다.
이와 관련, 김기완 AWS 솔루션즈 아키텍트는 “과거에는 데이터를 분석하기 위해 30대의 서버로 10시간을 구동해야만 했다. 하지만 클라우드에서는 300대의 서버 자원을 활용해 1시간 만에 그 데이터를 분석할 수 있다”고 예를 들며, “클라우드라는 기술이 주는 비즈니스 가치를 온프레미스로는 따라갈 수 없다”고 설명했다.
온프레미스 환경에서 데이터 플랫폼은 프로젝트 단위로 진행될 정도로 많은 예산이 투입됐으며 구축 기간도 길었다. 장비 구매에 들어가는 예산과, SW설치에 투입되는 인력도 상당했다. 그러나 클라우드에서는 인력 투입없이 쉽게 단기간에 구축할 수 있다. 비용면에서도 훨씬 유리하다. 특히 기간 약정할인 프로그램, 특정 서비스 프로그램, 선납부 프로그램 등 수많은 할인 프로그램을 이용할 경우 적은 비용으로 서비스를 이용할 수 있다.
클라우드 데이터 플랫폼 제공사별 솔루션 특장점
고객 데이터 활용에 초점 맞춘 클라우드 데이터 플랫폼 제공
AWS는 국내‧외를 통틀어 가장 많을 클라우드 서비스를 제공하고 있다. 클라우드 인프라 위에서 구동할 수 있는 데이터 분석 서비스 역시 가장 많다. AWS는 고객 활용에 맞춰 가용할 수 있는 서비스를 조합해 클라우드 기반 데이터 플랫폼을 공급하고 있다.
AWS의 데이터 플랫폼 내 서비스로는 데이터 레이크를 구축하기 위한 ‘AWS 레이크 포메이션’과 데이터 웨어하우스 서비스 ‘아마존 레드시프트’, 온프레미스의 절반도 안 되는 비용으로 페타바이트 규모의 데이터를 분석할 수 있는 ‘스파크 온 아마존 EMR’, 데이터 마트와 데이터 레이크에서 손쉽게 데이터를 결합하고 이동 및 복제할 수 있는 ‘AWS 글루’, 이러한 데이터 플랫폼 내 인프라 기반이 되는 ‘아마존 EC2’ 등이 있다.
AWS의 데이터 분석 서비스 (출처: AWS)
LG전자와 대한항공, 웅진씽크빅, 쿠팡 등이 이러한 서비스를 활용하고 있다. LG전자의 가전브랜드 ‘LG씽큐(ThinQ)’는 사물인터넷(IoT)에서 수집되는 데이터를 분석하기 위해 AWS의 클라우드 기반 데이터 플랫폼을 활용하고 있다. 처음 AWS는 LG씽큐의 디바이스에서 발생하는 데이터를 저장하는 방법에 대해 고민했다. 이와 관련, AWS의 한 솔루션즈 아키텍트는 “데이터 종류에 따라 DB를 다르게 구성했다. 데이터관리 시스템 ‘아마존 RDS’와 과거 사용되던 관계형DB, 키 값(Key-Value) 형태는 ‘다이나모 DB’, 네이티브 저장방식으로는 ‘아마존 S3’를 사용했다. 각각의 DB를 하나의 데이터 허브에 연결해 단일 접점을 구성했고, 여기에서 데이터를 추출할 수 있도록 데이터 플랫폼을 구성했다. 특히, 이 과정에서 LG씽큐는 용도에 맞게 DB에 데이터를 저장했고, 데이터 허브 역할을 하는 ‘데이터 레이크’를 구성했다”고 설명했다.
오픈소스 ‘아파치 스파크’, ‘아파치 하이브’, ‘아파치 H베이스’, ‘아파치 플링크’, ‘프레스토’ 등이 호스팅된 하둡 프레임워크인 ‘아마존 EMR’을 사용했고, ‘아마존 레드시프드’와 ‘아마존 글루’를 연계해 연결 접점인 ‘데이터 레이크’를 만들었다. 이렇게 데이터 플랫폼을 통해 데이터 분석이 완료된 데이터는 고객들의 스마트폰 애플리케이션으로 전달됐다.
김기완 AWS 솔루션즈 아키텍트는 “AWS의 미션은 지구상에서 가장 고객 중심적인 회사가 되는 것”이라며, “이러한 관점에서 고객들의 피드백을 듣고 있다. 피드백을 받아 서비스팀과 협력해 고객들의 요구가 반영된 서비스를 지속적으로 생산해 내고 있다. 이러한 서비스들을 결합시킨 플랫폼은 당연히 고객의 비즈니스 방향을 반영하고 있다고 할 수 있다. 특히 AWS는 데이터를 어떻게 분석할지보다 데이터로 인사이트를 꺼내는 방법과 이 인사이트를 비즈니스에 어떻게 반영할건지에 집중하고 있다”고 설명했다.
[인터뷰] “데이터 분석과 활용에 수많은 서비스 접목 가능” 김기완 AWS 시니어 솔루션즈 아키텍트 Q. 클라우드에서 구현한 데이터 플랫폼의 강점은.A. 여러 가지가 있지만 가장 특별한 장점이라면, 데이터 플랫폼의 각 단계에 대한 풀 매니지드 서비스가 가능하다는 점이다. HW인프라와 그 윗단의 SW(하둡 에코시스템) 등이 업데이트된다면 각각에 전부 반영해줘야 한다. 예를 들어, AWS에서는 하둡이면 하둡, DW면 ‘아마존 레드시프트’ 등 서비스가 업데이트되면 이를 고객에게 가이드로 제시해 손쉽게 반영할 수 있도록 안내하고 있다. 관리 측면에서 클라우드를 유연하게 활용한다면, 비용 절감으로도 이어지게 된다. Q. 고객 사례를 소개해달라.
A. 대한항공과 웅진씽크빅, 쿠팡 등이 있다. 먼저 대한항공은 과거 오라클 기반의 데이터 웨어하우스를 통해 데이터 플랫폼을 구현했다. AWS 클라우드로 옮기기 위해 오라클 DB를 AWS의 ‘AWS EC2’ 위로 올렸고, ‘AWS S3’ 스토리지 서비스에 데이터를 카피, ‘AWS 글루’를 통해 데이터 카탈로그를 저장했다. 이를 토대로 ‘레드시프트’와 ‘S3’에서 데이터를 꺼내 분석하고 있다. 웅진씽크빅은 데이터를 만드는 WAS가 IDC에 있던 사례였다. IDC에 있는 데이터를 실시간으로 데이터 스트림 서비스인 ‘키네시스’를 통해 ‘AWS S3’로 복제했다. 이후 스파크를 활용해 분석했고 그 결과를 ‘오로라 DB’에 저장했다. 저장된 데이터를 사용할 때에는 ‘RDMS’로 조회해 사용하고 있다. 쿠팡은 발생하는 모든 데이터들이 ‘AWS S3’에 저장된 사례다. ‘AWS S3’에 저장된 데이터를 EMR 하둡 기반으로 분석했고, 엘라스틱 서치 엔진 등을 연동했다. 특히 쿠팡은 자체적으로 제작한 여러 데이터 애플리케이션을 통해 분석하고자 했다. 이를 위해 쿠팡에 적용할 수 있는 특별한 아키텍처를 설계했다. AWS는 하나의 정형적인 아키텍처를 제안하기보다 애플리케이션의 상황과 고객의 데이터 분석 니즈에 따라 유연하게 제안하고 있다. Q. 멀티 클라우드 환경에 구축하려는 고객들이 최근 늘어나는데, 조언한다면.
A. 멀티 클라우드 환경에서 데이터 플랫폼을 구축하기 위해서는 비용과 기술력 측면을 고려해야 한다. 각각의 CSP 할인 프로그램이 조금은 다르겠지만, 보통 ‘티어 스토리지 구조’를 따른다. 서비스 사용량이 증가할수록 할인을 많이 해준다는 얘기다. AWS의 사용량이 늘면 그에 대한 많은 비용을 할인해주지만, 타 CSP로 사용량이 분산될 경우 비용 할인 폭이 줄어들게 된다. 이러한 점도 염두에 두면 좋을 것 같다. 다음으로는 클라우드 기술력을 확보해야만 한다는 점이다. CSP 별로 데이터 플랫폼과 관련된 기술이 다르다. 기업이 데이터와 관련된 기술력을 확보하고 있다면 크게 문제가 되진 않지만, 작은 규모의 기업의 경우 기술력을 확보하기 힘들다. 제한된 기술 인력들이 많은 기술 역량을 확보해야만 한다면 여기에서 업무 비효율이 발생하게 된다. 그렇다고, AWS의 데이터 플랫폼이 온프레미스 환경이나 타 CSP와 연계할 수 없다는 것은 아니다. 연동은 가능하다. 온프레미스의 경우 고객 IDC와 AWS 전용선 네트워크를 연계해 사용하고 있는 고객들도 있다. 타 CSP 역시 마찬가지다. VPN을 통해 네트워크 전용선을 연결하게 되면 클라우드 데이터 플랫폼에 타 CSP의 서비스를 연계해 사용할 수 있다.
엔드-투-엔드로 고객 맞춤형 플랫폼 제공
마이크로소프트(MS)는 넓게 퍼져있는 데이터센터를 기반으로 다양한 클라우드 서비스를 제공하고 있다. MS의 클라우드 서비스 ‘애저(Azure)’는 서비스형 인프라(IaaS), 서비스형 플랫폼(PaaS), 서비스형 소프트웨어(SaaS)까지 유형별로 다양한 서비스를 포함하고 있다.
MS에서 제시하는 데이터 플랫폼 파이프라인 (출처: MS)
MS는 클라우드 데이터 플랫폼이 엔드-투-엔드 데이터 분석 솔루션으로 이뤄졌다는 점을 강조하고 있다. MS가 제안하고 있는 데이터 플랫폼 서비스로는 가장 빠르게 인사이트를 얻을 수 있는 분석 서비스인 ‘애저 시냅스 애널리틱스(Azure Synapse Analytics)’, 빠르고 쉽게 협업이 가능한 완전 관리형 ‘아파치 스파크’ 기반 분석 플랫폼 ‘애저 데이터브릭스(Azure Databricks)’, 기업용 완전 관리형 클라우드 하둡 및 스파크 서비스 ‘HD인사이트(Insight)’, 데이터 이동 및 변환을 자동화하는 데이터 통합 서비스 ‘애저 데이터 팩토리(Azure Data Factory)‘, IoT 디바이스에서 실시간으로 데이터 스트림할 수 있는 ’애저 스트림 애널리틱스(Azure Stream Analytics)‘, 애저의 기본 데이터 레이크 서비스 ’애저 데이터 레이크(Azure Data Lake)‘ 등이 있다.
데이터 분석을 위한 4단계로 구분하면, 수집 단계에서는 ‘이벤트 허브’, ‘애저 데이터 팩토리’ 등이 적용되고, 저장 단계에서는 ‘애저 데이터 레이크’, ‘애저 시냅스 애널리틱스’ 등이 활용된다. 통합&분석 단계에서는 ‘애저 스트림 애널리틱스’, ‘애저 코그니티브 서비스’, ‘애저 머신러닝’, ‘애저 데이터브릭스’를 잉요할 수 있다. 활용과 시각화를 위한 서비스로는 ‘파워 BI’, ‘애저 코스모스 DB’ 등을 들 수 있다. MS는 이처럼 수십 가지의 서비스를 고객 비즈니스 현황, 환경 등을 고려한 후 컨설팅을 통해 제공한다.
아울러 MS는 최근 각광받고 있는 수많은 오픈소스 프로젝트를 ‘애저’ 위에서 실행할 수 있다는 점도 강조한다. 가령, SQL 서버나 리눅스 서버, 컨테이너화된 솔루션에 관리용 오픈소스 기반 플랫폼인 ‘아파치 카산드라’ 및 ‘몽고DB’, ‘인스턴스 전용 애저 코스모스 DB’ 등을 연결해 타 유형의 DB나 스토지리를 적용할 수도 있다.
MS 애저의 데이터 관련 서비스 (출처: MS)
이에 대해 MS 관계자는 “실제로 데이터 플랫폼을 구축하는 과정에서 MS 애저의 서비스만을 고집하지는 않는다. 고객이 애저에서 지원하는 오픈소스를 원할 경우 이를 플랫폼에 적용하고 있다”면서, “개발자의 작업 속도를 높이기 위한 개발 도구와 클라우드 호스팅 옵션, 데이터 과학자, 엔지니어, 분석가들이 생산성을 높일 수 있는 다양한 분석 및 머신 러닝 도구와 같은 서비스도 연계해 제공하고 있다”고 설명했다.
데이터 분석에 최적화…다양한 인프라 환경도 지원
구글 클라우드는 데이터 분석 플랫폼이 단일 CSP에 종속되지 않고 여러 클라우드 환경에서 활용될 수 있도록 하는데 집중하고 있다. 김정훈 구글 클라우드 코리아 데이터 애널리틱스 스페셜리스트는 “‘구글’이라는 포털에서 수집되는 수많은 데이터들을 분석할 수 있는 서비스들을 클라우드 서비스로 개발해 사용자들에게 제공하고 있다”며, “이는 그만큼 데이터 분석에 특화된 CSP가 구글 클라우드라는 증거”라고 설명했다.
구글 클라우드의 데이터 플랫폼 프로세스 (출처: 구글 클라우드)
구글 클라우드는 데이터 플랫폼을 수집, 프로세스, 저장, 분석, 활용 등 5단계로 나눠 해당 단계에 맞는 서비스들을 조합해 제공하고 있다. 수집 단계 서비스로는 스트리밍 분석 파이프라인의 이벤트 수집 및 전송을 위한 서비스인 ‘클라우드 펍섭(Cloud Pub/Sub)’이 있다. 이 서비스는 규모에 맞는 고가용성과 일관된 성능을 기반으로 내구성 있는 메시지 스토리지 및 실시간 메시지 전송을 제공해준다. 이는 OSS의 ‘아파치 카프카’와 같은 기능을 하는 서비스다.
프로세스 단계에 적용될 서비스로 ‘데이터플로우(DataFlow)’와 ‘데이터프록(Dataproc)’, ‘데이터프렙(Dataprep)’ 등 3가지가 있다. ‘데이터플로우’는 대규모 데이터 세트에서 데이터 처리 패턴을 개발하고, 간소화된 스트림 및 배치 데이터 처리를 수행하는 서비스다. ‘데이터프록’은 데이터 일괄 처리, 쿼리, 스트리밍, 머신러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 ‘스파크’ 및 ‘하둡’ 서비스로, 자동화를 통해 신속하게 클러스터를 만들고 손쉽게 관리하며 불필요한 클러스터는 사용 중지해 비용을 절감할 수 있다는 장점이 있다.
‘데이터프렙’은 분석 및 머신러닝에 사용할 데이터를 시각적으로 탐색, 정리, 준비하는 지능형 클라우드 데이터 서비스다. 이 서비스는 서버리스 방식으로 구동되며, 규모에 상관없이 작동하기 때문에 별도로 배포하거나 관리해야 할 인프라가 없다. UI 입력마다 가장 이상적인 데이터 변환을 제안하고 예측하기 때문에, 코드를 작성하지 않아도 된다는 장점이 있다.
구글 클라우드는 저장 단계 서비스로 ‘클라우드 스토리지(Cloud Storage)’와 ‘빅쿼리(BigQuery)’를 내세우고 있다. ‘클라우드 스토리지’는 스토리지 서비스로 데이터 양에 상관없이 데이터를 저장할 수 있다. 다음은 ‘빅쿼리’다. ‘빅쿼리’는 구글 클라우드의 대표적인 서비스로 서버리스 기반의 멀티 클라우드 데이터 웨어하우스 서비스다. 표준 SQL을 사용해 타 CSP의 클라우드에서 데이터를 수집해 분석할 수 있다. 이로써 유연한 분석 환경을 구성해 데이터 분석가 또는 데이터 과학자에게게 원활한 데이터 분석 환경을 제공한다. 또 ‘빅쿼리 ML’ 기능을 활용하면 구조화 또는 반구조화된 데이터를 기반으로 하는 머신러닝 모델을 빠르게 빌드 및 운용할 수 있다.
마지막으로 활용 단계에서는 ‘버텍스 AI(Vertex AI)’와 ‘루커(Looker)’를 제안하고 있다. ‘버텍스 AI’는 머신러닝 모델을 개발할 수 있는 AI/ML 통합 플랫폼이다. ‘오토ML’ 및 커스텀 코드 학습으로 모델을 쉽게 학습하고 비교할 수 있으며, 중앙 모델 저장소에 별도로 저장된다. ‘루커’는 데이터가 어느 곳에 저장되더라도 기업의 최신 버전 데이터에 접근할 수 있게 지원하는 서비스다.
삼성전자는 음성 인식 플랫폼 ‘빅스비(Bixby)’에 구글 클라우드의 ‘빅쿼리’, ‘클라우드 스패너’, ‘데이터플로우’ 등 서비스를 적용해 수집되는 데이터를 분석하고 있다. 여기에 구글 클라우드의 ‘클라우드 TPU(Tensor Processing Unit)’을 결합해 빅스비 AI 모델의 음성인식 학습을 고도화했다. 그 결과 AI 모델 학습 속도가 18배 향상됐다. 이 외에 홈플러스도 구글 클라우드의 ‘클라우드 스토리지’와 ‘빅쿼리’를 도입해 고객 인사이트를 발굴해 비즈니스 운영 효율을 개선했다.
[인터뷰] “GCP의 데이터 플랫폼으로 확장성, 유연성, 경제성 향상” 김정훈 구글 클라우드 코리아 데이터 애널리틱스 스페셜리스트 Q. 구글 클라우드의 데이터 플랫폼의 특장점은.A. 우리 데이터 분석 플랫폼의 강점은 확장이 쉽고, 유연하며 구조화된 데이터 저장과 처리, 분석 작업을 경제적으로 수행할 수 있다는 점이다. 기업들의 데이터는 기하급수적으로 늘어나고 있다. 이러한 상황에서 스토리지와 처리 리소스를 필요한 만큼 사용해야 하고, 데이터에서 인사이트를 만들어내야 한다. 유연성이 반드시 담보돼야 하는 상황이라는 얘기다. 구글 클라우드에서는 스토리지와 데이터 처리 소스를 무제한에 가깝게, 저렴하게 제공하고 있다. 이에 따라 비용이 늘어날 것으로 예상할 수 있지만, 절대 그렇지 않다. 오히려 유연한 환경에서 빅데이터 분석과 머신러닝 모델을 개발, 학습한다면 불필요하게 들어가는 비용을 줄일 수 있다. Q. 데이터 플랫폼에 대한 고객들의 반응은.
A. 우리 고객들은 클라우드 기반 데이터 플랫폼에 만족하고 있다. 수만 개의 기업이 DB부터 비즈니스 의사결정을 위한 분석, 미래를 예측하고 자동화하는 AI 및 머신러닝에 이르기까지 데이터의 모든 역량을 활용하는 데이터 클라우드를 구축할 수 있도록 모든 단계를 철저하게 지원한다. 특히, 업체에 종속되지 않도록 오픈소스 도구, 트랜잭션, 프로세싱 및 분석용 엔진도 선택해 사용할 수 있도록 돕고 있다. 고객의 만족도를 알 수 있는 척도가 기업 고객의 수인데, 삼성전자, 홈플러스, 기아자동차 등 국내 수많은 기업들이 현재 구글 클라우드와 협업하고 있다. Q. 클라우드 기반 데이터 플랫폼이 주는 가치는 무엇인지.
A. 클라우드 기반 데이터 플랫폼의 가치는 데이터를 활용할 수 있는 수많은 서비스를 적용할 수 있다는 점이다. 이를 통해 새로운 인사이트를 보다 다양한 시각에서 얻을 수 있다. 오늘날 기업들은 분석이 끝난 데이터를 쉽게 활용할 수 있도록 다양한 오픈소스를 활용하고 있다. 하지만 이 오픈소스들은 지속적으로 업데이트를 해야 하고, 검증해야 하는 등 번거로운 작업을 수행해야만 한다. 이를 클라우드 서비스로 손쉽게 빠르게, 다양한 오픈소스들을 적용할 수 있도록 지원할 수 있다. 이러한 점이 클라우드 데이터 플랫폼이 주는 가장 핵심적인 가치라고 생각한다.
‘데이터 포레스트’ 서비스로 데이터 플랫폼 구현 가능
네이버클라우드는 국내 CSP로 클라우드 기반 데이터 플랫폼에 주력하고 있다. 네이버클라우드가 내세우고 있는 서비스는 바로 ‘데이터 포레스트(Data Forest)’다. 이 서비스는 ‘아파치 하둡’ 기반의 데이터 통합 분석 플랫폼이다. 이 플랫폼을 통해 다양한 빅데이터 프레임워크를 사용할 수 있고, 데이터의 수집부터 저장과 처리, 분석, 활용, AI/ML까지 사용할 수 있다.
네이버클라우드의 ‘데이터 포레스트’ 구조도 (출처: 네이버클라우드)
‘데이터 포레스트’는 데이터를 저장하고 분석하는 것들을 시각화할 수 있는 컴포넌트로 구성돼있다. 사용자는 필요한 컴포넌트만 골라 생성하고, 시각화해 사용하면 된다. 데이터 저장 에대한 컴포넌트는 ‘HDFS’, ‘H베이스’, ‘카프카’, ‘오픈TSDB’ 등 4가지가 있다. 분석 컴포넌트는 ‘스파크’, ‘하이브’, ‘프레스토’, ‘엘라스틱 서치’ 등이다. 데이터를 시각화하고 관리하는데 사용할 수 있는 컴포넌트는 ‘키바나’, ‘제플린’, ‘그라파나’ 등이다.
네이버클라우드는 ‘데이터 포레스트’의 특장점으로는 ‘통합 분석환경 제공’, ‘쉽고 빠른 환경 구성’, ‘확장성’, ‘보안’, ‘성능’ 등 5가지를 들고 있다. 먼저 통합 분석환경 제공 측면에서 ‘데이터 포레스트’는 얀(YARN) 애플리케이션 형태로 서비스를 실행하고, 사용자가 이를 조합해 빅데이터 분석 에코시스템을 구축할 수 있다. 사용자별 GPU 리소스도 할당받아 ‘텐서플로우’, ‘파이토치’ 등의 딥러닝 학습도 수행할 수 있다.
다음은 쉽고 빠르게 환경을 구성할 수 있다는 점이다. 컨테이너 기반 서버리스 환경으로 쉽고 빠르게 애플리케이션을 출시할 수 있는 환경을 마련할 수 있다. 또 필요한 하둡 에코시스템을 애플리케이션으로 생성해 분석환경을 구축할 수 있다. 확장성도 강점이다. ‘데이터 포레스트’는 컴퓨팅 환경을 사용자가 원하는 대로 컨테이너 확장 및 축소할 수 있으며, 초기 애플리케이션을 생성한 후 사용량이 증가할 때 ‘플렉스(Flex)’ 기능을 통해 컨테이너 수를 변경해 트래픽에 유연하게 대응할 수 있다.
보안성도 높다. ‘시큐어 하둡 클러스터(Secure Hadoop Cluster)’로 ‘커버로스(Keberos)’, ‘LDAP’ 인증을 이용한 접근제어가 가능하다. 성능 측면에서는 애플리케이션 기반의 컴퓨팅 노드와 물리서버의 로컬 디스크 기반으로 HDFS 저장소를 사용하기 때문에 네트워크 환경과 디스크 성능이 높다.
데이터 분석 프로세스에 나눈 네이버클라우드의 서비스 (출처: 네이버클라우드)
이 외에도 네이버클라우드는 5단계로 나눠 데이터 플랫폼을 구성할 수 있도록 서비스를 제시하고 있다. 데이터를 수집하기 위한 서비스로는 ‘데이터 포레스트’, ‘클라우드 데이터 스트리밍 서비스’, ‘클라우드 로그 애널리틱스’, ‘클라우드 IoT’, ‘심플 래빗 메시지 큐 서비스’ 등이 있다. 데이터 저장과 관련된 서비스는 ‘데이터 포레스트’, ‘오브젝트 스토리지’, ‘클라우드 DB 포 MySQL’, ‘클라우드 DB 포 레디스’, ‘클라우드 DB 포 MSSQL’, ‘클라우드 DB 포 몽고 DB’, ‘클라우드 하둡’, ‘클라우드 데이터 스트리밍 서비스’, ‘심플 래핏 메시지 큐 서비스’ 등이 있다.
데이터를 통합하고 분석하기 위한 서비스로는 ‘데이터 포레스트’, ‘클라우드 하둡’, ‘서치 엔진 서비스’, ‘클라우드 서치’, ‘클라우드 펑션’, ‘텐서플로우 서버’, ‘클로바’ 등이 있다. 마지막으로 데이터 활용 단계에서는 ‘데이터 포레스트’, ‘태블로’, ‘데이터 애널리틱스 서비스’ 등이 이용된다.
네이버클라우드가 제시한 데이터 플랫폼 5단계에는 ‘데이터 포레스트’가 모두 적용돼있다. 한 마디로 ‘데이터 포레스트’ 한 가지 서비스로 데이터 플랫폼을 구축할 수 있다는 의미다.
[인터뷰] “직접 사용한 후 개발한 서비스로 플랫폼 제작” (좌측부터) 네이버클라우드 김병준 데이터플랫폼 리더, 김남영 데이터 포레스트 상품개발 리더, 최지훈 클라우드 전략계획 매니저 Q. 네이버클라우드의 데이터 플랫폼 특장점은.A. 고객이 원하는 기능이나 서비스가 플랫폼에 녹아들어 있다는 점이다. 네이버클라우드에서 제공하는 플랫폼은 단순히 개발하고 판매하는 것이 아닌, 네이버에 먼저 적용해보고 검증될 때까지 사용해본 후 서비스로 공급한다. 우리는 태생이 포털 서비스 기업이다. 네이버라는 포털에는 블로그 탭과 카페 탭, 연동되는 밴드 애플리케이션 등이 존재한다. 거기에서 생산되는 데이터의 양은 상상을 초월한다. 이를 분석하고 포털이나 애플리케이션에 적용하기 위해 많은 노력을 했다. 고객의 입장에서 느낀 점들이 데이터 플랫폼에 고스란히 적용됐다는 점이 핵심이다. 실제로 네이버 포털과 연계된 모든 서비스에서 나오는 데이터가 C3라고 하는 하둡 클러스터에 저장돼있다. 현재 네이버 블로그, 카페 등 200~300여개의 서비스에서 매일 사용자들의 요구사항이 실시간으로 들어오고 있고 이를 최대한 반영하기 위해 노력하고 있다. 다른 SW업체들의 플랫폼도 그렇지만, 네이버클라우드에서 공급하는 서비스인 ‘데이터 포레스트’는 단 하나의 서비스로 플랫폼을 구축할 수 있다는 장점이 있다. 데이터를 단순히 쿼리를 날려 조회하든, 서비스 검색 엔진을 붙여 데이터를 찾든 모든 것이 하나의 플랫폼에서 이뤄질 수 있다는 얘기다. Q. 향후 ‘데이터 포레스트’에 업데이트 될 내용은 무엇인지.
A. 새롭게 업데이트될 내용으로는 규제 산업 고객의 VPC 환경에서 개별 고객만의 특수한 환경을 만들 수 있는 기능을 추가할 예정이다. 보통 고객들의 경우 공용 풀에서 데이터 플랫폼을 구축했다. 하지만 금융과 공공에서는 공용 풀(Pool)에서, 타 데이터 플랫폼과 함께 구동돼서는 안 된다. 별도로 풀을 구성해야만 한다. 현재 별도의 풀을 분리하지 않고 사용하기 위해서는 규제 산업 고객의 IDC에 네이버 클라우드 플랫폼(NCP)과 연동할 수 있는 컨테이너 모양의 미니 IDC ‘뉴로 클라우드’를 설치해 사용할 수는 있다. 하지만 아직까지 ‘뉴로 클라우드’를 설치해 ‘데이터 포레스트’를 사용하고 있는 고객은 없다. 이를 3분기에 업데이트할 예정이다. 아울러, 내년에는 네이버 클로바의 기술이 녹아든 머신러닝 특화 플랫폼도 연동할 수 있도록 업데이트할 예정이다. 현재 베타버전으로 ‘데이터 포레스트’를 공급하고 있는데, 3분기에 본격적으로 ‘데이터 포레스트’가 출시될 예정이다. Q. 솔루션에 대한 고객의 반응은 어떠한지.
A. 고객들은 ‘데이터 포레스트’에 만족하고 있다. 직접 의견을 들었던 G사의 경우 컨테이너 기반으로 데이터 플랫폼이 구성돼 빠르게 프로비저닝할 수 있었고, 쉽게 애플리케이션을 설치하고 생성할 수 있어서 좋은 평가를 들었다. D사에서는 빠르게 필요한 애플리케이션을 설치할 수 있었고, 설치할 때 자동으로 애플리케이션 간 설정을 할 수 있었다고 말했다. A대학교에서는 ‘데이터 포레스트’ 애플리케이션이나 AI 포레스트 워크스페이스를 생성할 때 간단하게 조작해 애플리케이션을 쉽게 생성할 수 있었기 때문에 편리했다는 반응이었다.
오픈 클라우드 데이터 플랫폼 ‘CDP’로 전 조직 의사결정 지원
클라우데라는 오픈소스 기반 대규모 데이터 분석 처리 SW인 ‘하둡’을 활용해 데이터 분석 방법을 제공한다. 에지부터 AI 등에서 수집되는 수많은 데이터를 인프라에 대한 제약 없이 분석할 수 있도록 지원하고 있다. 클라우데라는 ‘클라우데라 데이터 플랫폼(Cloudera Data Platform)’으로 데이터 플랫폼을 구축하고 있다. 데이터 분석에 필요한 클러스터 인프라와 SW를 AWS, MS, GCP에서 제공하고 있다.
조성현 클라우데라 솔루션 엔지니어링 매니저는 “‘CDP’는 구축, 관리, 사용이 용이한 통합 데이터 플랫폼”이라며, “IT 직원들이 요구하는 세분화된 보안과 거버넌스 정책을 통해 하이브리드와 멀티 클라우드 환경 전반에 걸쳐 쉽고 간편한 셀프 서비스 분석 기능을 제공한다”고 설명했다.
이어 그는 “CDP를 이용하는 방법은 매우 쉽다. 인프라를 준비할 필요도 없고, SW 설치와 설정 그리고 운영도 신경 쓸 것이 없다. 사용자가 할 일은 클라우데라 컨트롤 플레인에 접속해 원하는 워크로드를 실행하는 것뿐”이라며, “사용자는 워크로드의 특성을 고려해 가상머신(VM)이나 컨테이너에 배포할 수 있으며, ‘클라우데라 데이터 허브’에서 필요한 클러스터 템플릿을 선택할 수 있어 워크로드 실행 환경 구성도 빠르게 할 수 있다. 또한, 어디에 배포하건 오토스케일링 기능으로 클라우드 비용도 최적화할 수 있다”고 덧붙였다.
클라우데라의 ‘CDP’ (출처: 클라우데라)
클라우데라의 ‘CDP’는 호튼웍스와 클라우데라 자체 기술을 결합해 데이터 플랫폼을 제공한다. 모든 클라우드 환경에서 비즈니스 서비스형 분석 기능을 제공한다. 실제로 AWS, MS 애저, 구글 클라우드 플랫폼 등 퍼블릭 클라우드와 유사한 환경을 토대로 오픈소스 데이터 관리 및 다양한 분석 기능을 제공하고 있다.
보안성도 높다. ‘CDP’는 ‘SDX(Shared Data Experience)’라는 서비스로 데이터들을 한 곳에 모았기 때문에 어떠한 클라우드 환경에서도 개인 정보보호 및 규정 준수, 사이버 보안 위협을 막을 수 있다. ‘CDP’는 100% 오픈소스로 구성돼 벤더 종속을 방지할 수 있다. 벤더 종속을 방지한다는 것은 데이터의 사일로화에서 벗어나 다양한 업무를 연결할 수 있고, 다양한 데이터들을 하나의 데이터 관리 플랫폼에서 관리하고 애플리케이션을 개발할 수 있다는 것이다.
‘CDP’의 핵심 서비스로는 ‘클라우데라 데이터 웨어하우스’와 ‘클라우데라 머신러닝’, ‘클라우데라 데이터 허브’ 등을 들 수 있다. ‘클라우데라 데이터 웨어하우스’는 구조화, 비정형 및 에지 소스 등에서 대규모 데이터를 수집하는 분석 서비스다. 대규모 데이터를 안전하게 수집할 수 있어, 비즈니스 분석가 팀이 데이터 웨어하우스를 빠르고 쉽게 구축할 수 있다. 특히, 온프레미스와 클라우드 간에 워크로드를 원활하게 이동해 하이브리드 및 멀티 클라우드 인프라 모델을 지원한다.
다음으로는 ‘클라우데라 머신러닝’ 서비스다. 이 서비스는 엔터프라이즈 데이터 과학자 팀이 협업 머신 러닝 작업 공간을 빠르고 쉽게 구축할 수 있다. ‘클라우데라 머신러닝’을 통해 기업은 몇 번의 클릭으로 팀을 위한 머신러닝 작업 환경 및 가상 머신러닝 환경을 구축할 수 있다. 또한, 엔드-투-엔드 머신러닝 워크플로우에 필요한 공유 데이터 및 도구에 셀프 서비스도 연동할 수 있다. ‘클라우데라 데이터 허브(CDH)’는 개발자가 엔터프라이즈 데이터를 안전하게 분석한 후 이를 다양하게 적용할 수 있도록 지원하는 분석 서비스다. 비즈니스 사례별로 애플리케이션을 빠르고 쉽게 구축할 수 있도록 지원한다.
클라우데라 ‘CDP’를 사용하는 고객으로 국내에선 LG유플러스, 삼성화재, KB국민은행 등이 있다. LG유플러스는 ‘CDP’를 통해 페타바이트에 이르는 방대한 데이터에서 인사이트를 도출하고, 고객층의 특징을 고려한 통신 서비스를 제공하고 있다. 삼성화재는 업무 효율성과 고객 만족도를 동시에 개선했다.
KB국민은행은 고객 경험을 이해하고 이를 활용해 최적의 금융 상품과 서비스를 제공하는 것이 미래 금융산업의 핵심 경쟁력이라는 판단을 갖고 CDP를 도입했다. 내‧외부 데이터, 기존·신규 데이터, 정형·비정형 데이터에 대한 데이터 수집, 정제, 분석, 활용 등에 대한 데이터 전략을 수립했다.
멀티‧하이브리드 클라우드 환경 고려한 데이터 플랫폼에 집중
클루커스는 클라우드 관리 서비스 기업(MSP)으로, MS 애저의 서비스를 컨설팅, 구축, 관리해주는 기업이다. 클루커스는 멀티 클라우드 환경을 염두에 두고 데이터 플랫폼을 구축하고 있다. 많은 기업들이 데이터 플랫폼을 구축하기 위해 수집, 저장, 통합, 분석 등의 각 단계에서 별도의 오픈소스를 활용하고 있다. 클루커스는 그러나 오픈소스를 별도로 사용하기보다 클라우드 기반의 플랫폼 형태로 제안하고 있다.
클루커스의 ‘DAaaS’ 개요 (출처: 클루커스)
김신영 클루커스 데이터 애널리틱스 그룹 컨설턴트는 단일한 클라우드 데이터 플랫폼을 적용하는 것이 아닌 CSP 별로 강점을 갖는 데이터 분석 서비스를 연동해야 한다는 점을 강조한다. 김신영 컨설턴트는 “일반적인 웹서비스나 게임 등의 서비스는 클라우드에 한번 종속되면 다른 클라우드로 이관하는데 상당한 어려움이 따른다. 하지만 데이터 분석의 경우 서비스에 영향을 주지 않기 때문에 클라우드 이관에 크게 어려움이 없다”면서, “그럼에도 멀티 클라우드 환경을 고려한 데이터 플랫폼을 구성해야 하는 이유는 바로 CSP별로 특화 솔루션을 보유하고 있기 때문”이라고 설명했다.
특히, 클루커스는 전체 데이터 플랫폼을 구성하는 각 단계 중에서도 분석 앞단인 수집 단계와 저장 단계, 전처리 단계에 집중하고 있다. 이 각각의 단계에선 특정한 CSP에 종속되지 않도록 다양한 솔루션들과 오픈소스 연구 개발 등을 병행하며 플랫폼을 완성해나가고 있다. 이와 관련, 김신영 리더는 “물론 어느 한 클라우드 벤더의 리소스를 선택해 플랫폼에 적용하다보면 종속될 수 있다. 하지만 이 경우 다른 CSP 벤더에도 해당 리소스는 API 형태로 호출해서 적용할 수 있기 때문에 이 같은 점도 신경써야 한다”고 말했다.
이어 그는 “고객이 사용 중인 A클라우드에서는 지원하지 않지만 B클라우드에서 강력한 기능을 제공한다고 판단되면 B클라우드에서 제공하는 기능을 활용하기 위해 일부 데이터를 옮겨서 분석하는 것도 충분히 가능하다”면서, “고객이 원하는 기능과 상황에 따라 알맞은 클라우드를 선택해 멀티 클라우드 환경을 구성하는 것이 가장 이상적인 클라우드 활용 방안이다. 이를 돕기위해 클루커스에서는 클라우드 벤더별 다양한 분석 기능 및 AI 솔루션들을 다양한 데이터로 테스트하고 있고, 각각의 클라우드의 장단점을 수집하고 있다”고 설명했다.
클루커스는 클라우드 기반의 데이터 플랫폼을 구축해주는 ‘클루커스 DAaaS(Data Analytics as a Service)’라는 서비스를 제공하고 있다. 이 서비스는 클라우드 벤더사와 상관없이 데이터를 분석할 수 있는 환경을 제공하며, 데이터 수집, 저장, 처리, 분석, 인사이트까지 데이터 분석 플랫폼의 전 과정을 제공한다. 클루커스의 ‘DAaaS’로 사용할 수 있는 DB는 ‘카산드라’, ‘MySQL’, ‘포스트그레SQL’, ‘MS SQL 서버’, ‘오라클 DB’, ‘레디스’, ‘몽고DB’ 등이다. 현재 AWS와 MS, 구글 클라우드, 네이버클라우드 등의 데이터 분석 서비스를 고객의 환경에 맞게 제공하기 위해 업무협약을 맺은 상태다. 아울러, 데이터브릭스, 스파크비욘드 등과 같은 서드파티 솔루션과도 협력을 맺고 있다.
클루커스는 이 같은 클라우드 기반 데이터 플랫폼을 구축하기 위해 데이터 분석 그룹을 운영하고 있다. 클루커스의 데이터 분석 그룹은 데이터 엔지니어(DE) 그룹과 데이터 플랫폼(DP) 그룹, 데이터 사이언티스트(DS) 그룹으로 나눠졌다. 각각의 분야에 맞는 전문 컨설턴트를 보유하고 있다.
[클라우드 데이터 플랫폼②] 4가지 분석 과정 거쳐…다양한 인프라 환경 연동
[아이티데일리] 데이터 활용 없이 기업의 경쟁력 향상은 불가능하다. 이는 곧 기업의 성장은 상당부분 데이터 활용에 달려있다는 것을 의미한다. 기업들이 데이터 분석 환경을 갖추기 위해 IT자원에 투자를 아끼지 않는 것도 데이터 활용을 통한 경쟁력 향상을 위해서다.최근 들어 기업 경쟁력과 직결되는 데이터 분석 플랫폼의 인프라가 바뀌고 있다. 그동안 직접 서버를 구매해 데이터 분석 환경을 구축하던 형태에서 벗어나 클라우드 인프라 상에서 데이터 분석할 수 있는 플랫폼을 구현하기 시작한 것이다. 이러한 수요에 대응하고자 클라우드 서비스 제공사(CSP)와 클라우데라와 같은 플랫폼 기업들은 클라우드 기반으로 데이터 플랫폼을 제공하거나, 각 서비스들을 모아 데이터 분석 프로세스를 만들어주는데 집중하고 있다. 1부에서는 AWS, 2부에서는 네이버클라우드, 3부에서는 구글 클라우드와 MS, 클라우데라, 클루커스의 전략 및 솔루션을 게재한다.
[클라우드 데이터 플랫폼①] 데이터 관리 역량 부족 및 소비 패턴 변화 [클라우드 데이터 플랫폼②] 4가지 분석 과정…다양한 인프라 환경 연동 [클라우드 데이터 플랫폼③] 구글 클라우드, MS, 클라우데라, 클루커스 전략 및 솔루션4가지 분석 과정 거쳐…다양한 인프라 환경 연동
데이터 분석을 위해서는 크게 수집, 저장, 전처리, 분석 등 4가지 과정을 거친다. 먼저 데이터 수집 과정에서 중요한 것으로 비즈니스 목적에 맞게 데이터를 수집하는 것이다. 사실 데이터가 부족해서 분석을 하지 못하는 경우는 드물다. 문제는 수집된 데이터가 비즈니스에 적합하느냐의 여부다. 또한, 데이터 접근 측면에서 데이터를 수집하고 관리하기 어렵게 격리된 인프라에 저장하고 있는 경우가 많다.
이러한 점을 고려해 데이터를 생성하고 수집하는 전략을 수립해야 한다. 특히, 애플리케이션에서 생성되는 데이터와 로그, 기존 데이터의 전송 및 스트림 데이터를 수집할 수 있는 솔루션을 활용하는 것이 좋다. 수집된 데이터는 주로 관계형(Relational)DB 혹은 논리형(Logical)DB에 저장된다.
통상 수집된 데이터는 바로 분석에 들어가는 것이 아니다. 분석만을 위한 별도의 클라우드 저장소에 저장된다. 저장 단계에서의 핵심은 ‘데이터 ETL’이다. ‘데이터 ETL’은 쉽게 말하면 데이터 분석에 앞서 스토리지에 데이터를 분산 형태로 저장하기 위한 선제작업이라고 말할 수 있다. 수집 단계에서 쌓인 데이터는 관계형 데이터, XML, CSV, 파일, API, 웹 데이터 등 종류가 다양하다. 이 데이터들을 분석하기 쉽도록 정제하고, 검증하는 등 가공하는 것이다.
김병준 네이버클라우드 데이터 플랫폼 리더는 ‘데이터 ETL’에 대해 “ETL은 수집된 데이터를 일괄 처리, 정제, 검증, 집계, 작업 스케줄링 등 작업을 수행하고 이후 이렇게 가공된 데이터를 데이터 웨어하우스라고 하는 곳에 저장한다. 또 이를 직관적으로 볼 수 있도록 GUI로 만들거나 시각화 도구에 사용할 데이터를 분할하는 과정을 거친다”면서, “쉽게 설명하면 수집된 데이터를 분석에 사용할 수 있도록 1차 가공하는 과정이라 할 수 있다. 이 과정은 불필요한 데이터의 양을 줄여 비용을 절감하도록 해주기 때문에 데이터 분석 과정에서 중요하다”고 설명했다.
‘데이터 ETL’을 통해 1차 가공된 데이터는 분석을 위한 저장소에 저장된다. 이 과정에서의 핵심은 데이터를 시, 분, 초 단위로 나눠 분산형태로 저장해야 한다는 점이다. 이를 보통 ‘데이터 레이크’라고 한다. ‘데이터 레이크’는 직렬형태가 아닌 병렬형태로 클러스터를 배치해 데이터를 분석하기 때문에 속도가 빠르다. 이렇게 데이터 레이크가 구축되면 향후 실시간으로 수집되는 데이터를 ‘아파치 카프카’와 같은 서비스를 사용해 데이터를 실시간으로 저장할 수 있도록 지정할 수 있다.
AWS는 ‘AWS S3’를 데이터 레이크로 구성할 수 있는 서비스인 ‘AWS 레이크 포메이션’이라는 솔루션을 제공하고 있다. MS는 ‘애저 데이터 레이크’, GCP는 ‘아파치 스파크’ 및 하둡 기반의 데이터 레이크 서비스를 갖고 있다. ‘데이터 레이크’의 대표적인 예시로 ‘하둡 분산형 파일 시스템(HDFS)’을 들 수 있다. 이 ‘HDFS’는 AWS와 같은 글로벌 CSP부터 네이버클라우드와 같은 국내 CSP들까지 대부분 사용하고 있다.
이 후에는 본격적인 데이터 분석에 들어간다. 이때 데이터를 시험적으로 분석하는 ‘탐험적 분석’이 수행된다. 보통 데이터를 분석할 때 어떠한 효과가 나올 것인지 확실하게 알 수 없다. 단지 어느 정도의 결과 값이 나올 것인지 예측할 뿐이다. 때문에 모든 데이터를 분석을 하기보다는 ‘탐험적 분석’을 통해 일정량을 먼저 분석하고 검증이 완료되면, 그때 규모를 키워야 한다는 얘기다.
김남영 네이버클라우드 데이터 포레스트 상품개발 리더는 “과거 기업들은 온프레미스 환경으로 데이터 분석 플랫폼을 구축했다. 하지만 큰 예산을 들인 플랫폼이 기업 의사결정과 혁신에 별 도움이 되지 못한 경우가 많았다”면서, “이 경우 다른 목적으로 플랫폼의 방향을 전환하기도 어려웠다. 아예 데이터 플랫폼을 포기해야만 했다. 이런 이유로 클라우드에서도 한 번에 대규모로 구축하기보다 실험적으로 검증을 거치는 ‘탐험적 분석’을 해본 후 규모를 키워야 한다”고 강조했다.
이어 그는 “다른 CSP의 클라우드 데이터 분석 상품들 외에 오픈소스인 하둡의 경우, 클라우드 기반으로 플랫폼을 구축할 경우 손 쉽게 데이터 플랫폼을 구축하고, 빠르게 여러 테스트를 해 볼 수 있다. 달리 말하면 본격적인 활용 전 반드시 소규모의 검증이 필요하다는 것”이라고 덧붙였다.
최근에는 데이터 분석을 통해 나온 결과 값을 머신러닝 모델에 바로 적용할 수 있는 서비스들도 출시되고 있다. 클라우드 관리 서비스 제공사인 클루커스는 ‘클루커스 DAaaS(Data Analytics as a Service)’라는 데이터 플랫폼 서비스에 스파크비욘드의 예측, 분석 서비스를 함께 공급하고 있다.
온프레미스 환경이나 클라우드 데이터 플랫폼이나 분석 과정이나 결과에 대해서는 큰 차이는 없다. 그러나 클라우드가 AI와 머신러닝 등 신기술 접근성이 좋고, 보다 신속하게 비즈니스에 인사이트를 줄 수 있다. 또한 비용면에서도 차이는 있다.
이와 관련, 김기완 AWS 솔루션즈 아키텍트는 “과거에는 데이터를 분석하기 위해 30대의 서버로 10시간을 구동해야만 했다. 하지만 클라우드에서는 300대의 서버 자원을 활용해 1시간 만에 그 데이터를 분석할 수 있다”고 예를 들며, “클라우드라는 기술이 주는 비즈니스 가치를 온프레미스로는 따라갈 수 없다”고 설명했다.
온프레미스 환경에서 데이터 플랫폼은 프로젝트 단위로 진행될 정도로 많은 예산이 투입됐으며 구축 기간도 길었다. 장비 구매에 들어가는 예산과, SW설치에 투입되는 인력도 상당했다. 그러나 클라우드에서는 인력 투입없이 쉽게 단기간에 구축할 수 있다. 비용면에서도 훨씬 유리하다. 특히 기간 약정할인 프로그램, 특정 서비스 프로그램, 선납부 프로그램 등 수많은 할인 프로그램을 이용할 경우 적은 비용으로 서비스를 이용할 수 있다.
클라우드 데이터 플랫폼 제공사별 솔루션 특장점
‘데이터 포레스트’ 서비스로 데이터 플랫폼 구현 가능
네이버클라우드는 국내 CSP로 클라우드 기반 데이터 플랫폼에 주력하고 있다. 네이버클라우드가 내세우고 있는 서비스는 바로 ‘데이터 포레스트(Data Forest)’다. 이 서비스는 ‘아파치 하둡’ 기반의 데이터 통합 분석 플랫폼이다. 이 플랫폼을 통해 다양한 빅데이터 프레임워크를 사용할 수 있고, 데이터의 수집부터 저장과 처리, 분석, 활용, AI/ML까지 사용할 수 있다.
네이버클라우드의 ‘데이터 포레스트’ 구조도 (출처: 네이버클라우드)
‘데이터 포레스트’는 데이터를 저장하고 분석하는 것들을 시각화할 수 있는 컴포넌트로 구성돼있다. 사용자는 필요한 컴포넌트만 골라 생성하고, 시각화해 사용하면 된다. 데이터 저장 에대한 컴포넌트는 ‘HDFS’, ‘H베이스’, ‘카프카’, ‘오픈TSDB’ 등 4가지가 있다. 분석 컴포넌트는 ‘스파크’, ‘하이브’, ‘프레스토’, ‘엘라스틱 서치’ 등이다. 데이터를 시각화하고 관리하는데 사용할 수 있는 컴포넌트는 ‘키바나’, ‘제플린’, ‘그라파나’ 등이다.
네이버클라우드는 ‘데이터 포레스트’의 특장점으로는 ‘통합 분석환경 제공’, ‘쉽고 빠른 환경 구성’, ‘확장성’, ‘보안’, ‘성능’ 등 5가지를 들고 있다. 먼저 통합 분석환경 제공 측면에서 ‘데이터 포레스트’는 얀(YARN) 애플리케이션 형태로 서비스를 실행하고, 사용자가 이를 조합해 빅데이터 분석 에코시스템을 구축할 수 있다. 사용자별 GPU 리소스도 할당받아 ‘텐서플로우’, ‘파이토치’ 등의 딥러닝 학습도 수행할 수 있다.
다음은 쉽고 빠르게 환경을 구성할 수 있다는 점이다. 컨테이너 기반 서버리스 환경으로 쉽고 빠르게 애플리케이션을 출시할 수 있는 환경을 마련할 수 있다. 또 필요한 하둡 에코시스템을 애플리케이션으로 생성해 분석환경을 구축할 수 있다. 확장성도 강점이다. ‘데이터 포레스트’는 컴퓨팅 환경을 사용자가 원하는 대로 컨테이너 확장 및 축소할 수 있으며, 초기 애플리케이션을 생성한 후 사용량이 증가할 때 ‘플렉스(Flex)’ 기능을 통해 컨테이너 수를 변경해 트래픽에 유연하게 대응할 수 있다.
보안성도 높다. ‘시큐어 하둡 클러스터(Secure Hadoop Cluster)’로 ‘커버로스(Keberos)’, ‘LDAP’ 인증을 이용한 접근제어가 가능하다. 성능 측면에서는 애플리케이션 기반의 컴퓨팅 노드와 물리서버의 로컬 디스크 기반으로 HDFS 저장소를 사용하기 때문에 네트워크 환경과 디스크 성능이 높다.
데이터 분석 프로세스에 나눈 네이버클라우드의 서비스 (출처: 네이버클라우드)
이 외에도 네이버클라우드는 5단계로 나눠 데이터 플랫폼을 구성할 수 있도록 서비스를 제시하고 있다. 데이터를 수집하기 위한 서비스로는 ‘데이터 포레스트’, ‘클라우드 데이터 스트리밍 서비스’, ‘클라우드 로그 애널리틱스’, ‘클라우드 IoT’, ‘심플 래빗 메시지 큐 서비스’ 등이 있다. 데이터 저장과 관련된 서비스는 ‘데이터 포레스트’, ‘오브젝트 스토리지’, ‘클라우드 DB 포 MySQL’, ‘클라우드 DB 포 레디스’, ‘클라우드 DB 포 MSSQL’, ‘클라우드 DB 포 몽고 DB’, ‘클라우드 하둡’, ‘클라우드 데이터 스트리밍 서비스’, ‘심플 래핏 메시지 큐 서비스’ 등이 있다.
데이터를 통합하고 분석하기 위한 서비스로는 ‘데이터 포레스트’, ‘클라우드 하둡’, ‘서치 엔진 서비스’, ‘클라우드 서치’, ‘클라우드 펑션’, ‘텐서플로우 서버’, ‘클로바’ 등이 있다. 마지막으로 데이터 활용 단계에서는 ‘데이터 포레스트’, ‘태블로’, ‘데이터 애널리틱스 서비스’ 등이 이용된다.
네이버클라우드가 제시한 데이터 플랫폼 5단계에는 ‘데이터 포레스트’가 모두 적용돼있다. 한 마디로 ‘데이터 포레스트’ 한 가지 서비스로 데이터 플랫폼을 구축할 수 있다는 의미다.
클라우드로 전환되는 ‘데이터분석 플랫폼’…효과는?
클라우드 기반의 데이터 분석 플랫폼 구현 활발
[디지털데일리 백지영기자] “고객 데이터가 위치한 곳에서 분석 플랫폼을 제공한다”업종을 불문하고 최근 국내 주요 기업들의 데이터 분석 플랫폼 구축이 본격화되고 있다. 이런 가운데, 클라우드 기반의 ‘데이터 분석 플랫폼’ 구축이 하나의 축으로 자리잡고 있다.
이와 함께 기업이 구축해 놓은 온프레미스 인프라와 이를 연계해 궁극적으로 원하는 곳에서 언제 어디서든 쉽게 분석이 가능한 플랫폼으로 진화하고 있는 상황이다.
실제 글로벌 시장조사기관 IDC에 따르면 2019년 기준 퍼블릭 클라우드에서 제공되는 빅데이터 분석 소프트웨어(SW)는 전체 빅데이터 분석 소프트웨어 시장의 30.5%로 전체의 약 1/3을 차지하고 있다. 이같은 추세는 계속돼 오는 2024년까지 연평균 23.2% 성장할 것으로 전망된다.
관련 업계에서도 퍼블릭 클라우드에서 제공되는 빅데이터 분석(BDA) 소프트웨어 시장이 빠르게 성장할 것으로 예상하고 있는 반면, 온프레미스 및 기타 소프트웨어 배포 방식은 오히려 감소하는 추세다.
이러한 추세는 퍼블릭 클라우드 기반의 기술을 신속하게 적용하는 기업이 더디게 적용한 기업에 비해 경쟁력을 강화할 수 있다는 것을 시사한다.
이에 따라 기존 엔터프라이즈 분석 플랫폼 선두 기업들은 아마존웹서비스(AWS)와 마이크로소프트(MS) 애저, 구글 클라우드 등 퍼블릭 클라우드에 자사 솔루션을 공급하며 시장에 본격 대응하고 있으며, 퍼블릭 클라우드 서비스 업체들도 분석 플랫폼을 완전 관리형(매니지드) 서비스로 제공 중이다.
여기에 스노우플레이크와 같이 클라우드 네이티브 분석 플랫폼 신흥강자가 등장하며 그야말로 데이터 분석 플랫폼 시장의 춘추전국시대를 형성하고 있다.
엔터프라이즈 플랫폼 분석 시장의 강자인 SAS는 지난해 11월부터 MS 애저에서 자사의 분석 플랫폼인 ‘SAS 바이야’를 제공하고 있다. 올해 1분기 애저에서 구동되는 SAS 클라우드 솔루션은 전년 대비 34% 성장하는 등 시장 수요가 높다.
SAS는 이에 더해 최근 열린 자사의 온라인 컨퍼런스에서 AWS와 구글 클라우드에서도 데이터 분석을 지원하겠다고 밝혔다. SAS 측은 “고객은 클라우드 환경에서의 분석을 원하고 있다”며 “향후 더 많은 클라우드 사업자를 대상으로 SAS 바이야 지원을 확대해 환경이나 규모에 상관없이 전사적으로 높은 분석을 활용할 수 있는 선택권과 제어 역량을 제공할 것”이라고 말했다.
테라데이타도 데이터 웨어하우스(DW), 데이터 레이크, 분석 기능 등을 통합한 멀티 클라우드 DW 플랫폼 ‘테라데이타 밴티지’를 통해 클라우드 시장에 대응하고 있다. 주요 3사 퍼블릭 클라우드 서비스와 온프레미스, 하이브리드 및 멀티 클라우드 환경 전반에 걸쳐 일관된 기능 및 SW를 활용할 수 있도록 유연성과 선택권을 제공하는 것이 특징이다.
새로운 애플리케이션 구축과 운영을 위한 고급 분석, 실시간 데이터 인텔리전스 및 비즈니스 인텔리전스(BI)·AI·머신러닝 서비스에 대한 연결성을 지원하는 것이 특징이다. 이를 통해 기업의 사일로를 제거하고 모든 데이터에 대한 쿼리를 비용 효율적으로 처리하며 전사적인 가시성을 제공한다는 설명이다.
클라우드 서비스 업체 역시 완전관리형 데이터웨어하우스(DW) 서비스를 제공하며 시장 주도권 잡기에 나서고 있다. AWS는 아마존 레드시프트, 구글 클라우드는 빅쿼리, MS는 애저 시냅스를 각각 제공하며 고객의 데이터 분석 환경을 자사 클라우드로 끌어오기 위해 안간힘을 쓰고 있다.
실제 AWS의 ‘레드시프트’는 AWS 서비스 가운데 가장 빠르게 성장하는 서비스 중 하나다. AWS의 나이크로시스템을 사용해 데이터 암축 및 암호화를 가속화하고 머신러닝 기술로 쿼리를 분석하며 그래프 최적화 알고리즘을 구현한 것이 특징이다. 이를 통해 데이터 구성 및 저장을 자동화하여 쿼리 결과를 빠르게 제공한다.
AWS에 따르면, 레드시프트는 다른 엔터프라이즈 클라우드 DW보다 최대 3배 더 높은 가격 대비 성능을 제공하며, 아마존 EMR, 아마존 아테나, 아마존 세이지메이커 등 다른 분석 서비스에서 추가적인 분석을 수행할 수 있는 것이 특징이다.
현재 아마존 레드시프트를 활용 중인 국내 뷰티기업 아모레퍼시픽은 온·오프라인 판매 시스템과 연동되는 고객 데이터 플랫폼‘를 구축하며, 이전 시스템 대비 운영비용을 34% 절감하는 효과를 거뒀다는 설명이다.
클라우드 환경에서의 중립성을 강조하는 스노우플레이크의 성장세도 클라우드 기반 데이터 플랫폼의 가능성을 높이고 있다. 오라클과 IBM 등에서 근무한 개발자들이 2012년 미국 산마테오에서 설립한 스노우플레이크는 ‘클라우드 DW’ 분야에서 떠오르는 시장 강자다.
스노우플레이크는 클라우드 환경에서 데이터를 수집하고 쉽게 분석할 수 있는 서비스형 소프트웨어(SaaS)다. 현재주요 퍼블릭 클라우드 서비스 환경에서 DW를 사용할 수 있다. 클라우드의 장점을 활용해 데이터 사용량에 따른 자동 확장(오스스케일링 스케일아웃)이 가능하며, 하나의 스토리지와 여러 개의 컴퓨팅 노드로 아키텍처를 구성해 각 노드별로 필요한 업무를 수행할 수 있다.
또, 여러 개의 가상 웨어하우스를 만들어, 이를 각 노드에 할당할 수 있기 때문에 한 번에 다발적인 워크로드 처리가 가능한 것이 특징이다. 무엇보다 여러 클라우드 환경에서 구동되기 때문에 특정 클라우드 서비스에 ‘종속(락인)’되지 않는 기술 중립성이 강점이다. DW의 경우 방대한 양의 데이터를 저장하고 처리해야 하기 때문에, 한번 특정 플랫폼에 묶이면 벗어나기가 쉽지 않다.
클라우드DW 시장 규모가 2020년 560억달러에서 2023년까지 840억달러로 성장할 것으로 예상되는 만큼, 스노우플레이크를 바라보는 시장의 시선도 높다. 특히 지난해 9월 나스닥 상장 당시 버크셔 해서웨이가 스노우플레이크의 지분 투자에 참여했다는 소식이 전해지면서 폭발적인 관심을 받은 바 있다.
<백지영 기자>[email protected]
‘클라우드 데이터 플랫폼(CDP)’이란 무엇인가
데이터 플랫폼은 데이터 분석가, 데이터 과학자, 데이터 엔지니어가 데이터를 기반으로 작업하도록 지원하며, 규모와 관계없이 성능과 유연성을 제공해야 한다. 그러나 실제로 빅데이터 솔루션이나 일반적인 데이터 플랫폼은 이런 요구 사항을 충족하지 못하는 경우가 많았기 때문에, 몇몇 주요 데이터 플랫폼 업체는 클라우드 기반의 클라우드 데이터 플랫폼 구조를 통해 이를 구현하고자 한다. (아래 그림 참조)
클라우드 데이터 플랫폼(이하 ‘CDP’)는 아마존, 마이크로소프트, 구글과 같은 클라우드 서비스 제공자와 기업의 프로그램 사이에 가상의 데이터 레이크를 제공해, 고객이 쉽게 데이터를 저장하고, 여러 클라우드 서비스 간에 쉽게 데이터를 활용하게 함으로써 대기업 입장에서는 매우 유용한 서비스를 제공한다. 또한, 파트너나 다른 사업자와도 물리적인 이동 없이 데이터를 공유할 수 있도록 하는 역할을 한다. (아래 그림 참조)
대표적인 기업이 스노우플레이크(Snowflake)와 클라우데라(Cloudera)의 CDP이다. 이번 글에서는 두 회사가 제공하는 기술과 서비스, 그리고 최근에 이루어지고 있는 변화와 움직임을 비교해 보도록 한다.
스노우플레이크
스노우플레이크는 2012년에 설립한 회사로 가장 성공적인 스타트업 중 하나다. 2020년 2월 펀딩 기준으로 124억 달러의 기업 가치로 평가받는다. 스노우플레이크의 강력한 협력 파트너는 ‘세일즈포스’다. 2월 투자에도 참여했고, 6월에는 데이터 클라우드 분야에서 협력을 확장했다. 즉, 세일즈포스의 데이터를 스노우플레이크의 클라우드 데이터 웨어하우스에 저장하고, 이를 다시 세일즈포스의 아인슈타인이나 태블로를 이용해 분석할 수 있도록 하겠다는 것이다.
스노우플레이크는 서비스나우의 회장과 CEO를 역임했던 프랭크 슬루트만이 2019년 5월부터 최고 경영자로 이끌고 있으며, 창업자인 베노이트 데이지빌은 CTO를 맡고 있다. 2019년 10월 기준으로 2,500개의 비즈니스 고객을 갖고 있으며 그중에는 도어대시, 넷플릭스, 오피스 디포, 야마하 등이 있다.
초기부터 세콰이어 캐피탈이 투자를 주도했으며, 알티미터, 캐피털 원, 레드포인트, 마드로나, 메리테크 등 쟁쟁한 투자자들이 참여해 지금까지 14억 달러를 투자한 것으로 알려졌다. 최근 투자는 후기 투자에 주로 참여하는 드래곤니어(Dragoneer)와 세일즈포스가 주도했다고 한다. 지난 6월 10일 뉴스에 따르면 스노우플레이크가 조용히 기업 공개를 위한 작업에 들어갔다고 한다.
스노우플레이크는 기본적으로 멀티 클라우드 전략을 지원하며 클라우드 서비스를 적절히 섞을 수 있는 크로스 클라우드 접근 방식 역시 지원한다. 글로벌 데이터 복제를 통해 데이터를 어느 리전, 어느 클라우드라도 이동할 수 있다.
확장 가능한 클라우드 블롭(Blob) 저장 장치 위에서 스토리지 레이어는 다양한 유형의 데이터와 테이블, 질의어 결과를 저장한다. 또한, 고객 데이터를 안전하고 효율적으로 저장하기 위해 적절한 크기로 나누어 저장하는 마이크로 파티션 기능을 활용한다. 이 마이크로 파티션을 암호키 계층을 이용해 압축하고 암호화해서 저장한다.
컴퓨트 계층에서는 막대한 양의 데이터를 빠르고 효율적으로 처리하도록 지원한다. 이때, 가상 웨어하우스와 캐싱이 이용되며, 다중의 웨어하우스가 같은 데이터에 동시에 접근하도록 한다. 서비스 계층은 사용자 세션을 인증하고, 관리, 보안 기능, 질의어 해석과 최적화, 그리고 모든 트랜잭션을 조율한다. 서비스 계층은 모든 종류의 암호와 보안 기능을 지원하고 있다.
이를 통해 진정한 의미의 ‘서비스로서의 데이터 플랫폼 (Data Platform as a Service)’를 구현하고자 하는 것이 스노우플레이크의 CDP 전략이다. 스노우플레이크는 외부에 여러 기술 및 솔루션 파트너를 갖고 있으며, 네이티브와 표준 기반의 커넥터를 지원해 다양한 프레임워크와 언어를 통해 개발자들이 활용할 수 있다.
클라우데라
클라우데라는 기업용 데이터 플랫폼의 초기 리더이며 배포, 관리 및 사용이 간편한 통합 데이터 플랫폼 제공 기업이다. 2018년 10월 기업용 하둡 제공자인 호톤웍스와 합병 발표를 했으며, 2019년 1월에 완전 통합을 이루었다. 이를 통해, 멀티 클라우드, 온프레미스, 엣지 컴퓨팅을 아우르는 차세대 데이터 플랫폼 회사가 되었다. 두 회사는 고객 측면에서도 상호 보완적인 입장을 갖고 있었다. 따라서 이를 통해 AI와 사물 인터넷 분야까지 시장을 넓히겠다는 전략을 취했다.
합병을 통해 두 회사가 가졌던 하둡 전통을 기반으로 클라우드형의 배포와 관리 추상화 계층을 제공하며, 복잡한 엣지/IoT 스트리밍 데이터 기능을 갖는 계층과 최근에 정비한 머신 러닝 플랫폼까지 제공한다.
클라우데라의 CDP는 광범위한 자산을 함께 관리하도록 중앙 집중형 공유 데이터 경험 (Shared Data Experience: SDX) 기반 운영과 거버넌스 환경을 갖고 있다. 퍼블릭 클라우드에서는 AWS, 애저를 지원하고 구글 클라우드 플랫폼은 조만간 지원할 예정이다.
그러나 퍼블릭 클라우드 서비스 기업이 대부분 자체 관리형 하둡·스파크 서비스를 제공하고 있기 때문에, 이 영역에서 독립적인 서비스 제공자가 된다는 것은 도전이다. 그러나 다중 클라우드에서 유연한 호환성을 제공하고, 스트리밍 데이터, 애널리틱스, 데이터 파이프라인/엔지니어링 그리고 머신 러닝까지 높은 단계의 통합을 제공하면서 경쟁력을 키우고 있다.
현재 클라우데라 데이터 플로우(CDF)를 통해 실시간 스트리밍 데이터를 수집 정리 분석을 하며, 데이터 웨어하우스를 통해 다양한 데이터 소스를 통합할 수 있고, 클라우데라 머신 러닝을 통해 머신 러닝이나 AI 앱을 구축해 배포 및 확장할 수 있다.
2020년 6월, 그동안 빠져있던 부분인 프라이빗 클라우드를 위한 CDP 테크 리뷰를 발표하고 이번 여름에 일반 공개할 예정이라고 말했다. 퍼블릭 버전과 마찬가지로 K8(쿠버네티스) 기반이며 레드햇의 오픈쉬프트에 특화되어 있다. 이를 통해 이제 CDP 업무를 퍼블릭 클라우드 사이, 또한 프라이빗 클라우드와 퍼블릭 클라우드 사이에 이식이 가능하게 되었다. 고객은 이제 자신이 제일 편하거나 경제적인 측면을 고려해 원하는 방식으로 클러스터를 취할 수 있다.
클라우데라의 산업 고객은 정유와 가스 기업 외에 금융 기업으로 이번 팬데믹에 큰 영향을 받지 않았다. 그럼에도 호톤웍스와 통합될 때 52억 달러에 평가받았던 회사가 최근 40억 달러 수준으로 내려앉았고, CEO는 매각을 생각한다고 말했다. 투자 전문가들은 이제 IBM이 레드햇에 이어 클라우데라를 인수해야 한다고 본다. 이를 통해 하둡·스파크 생태계에서 리더십을 가질 수 있다고 보는 것이다. 그러나 지난 4월 블룸버그 보도에 따르면 사모 펀드가 인수 의향이 있음을 밝혀서 데이터 플랫폼 영역도 또 한번의 지각 변동을 겪을 가능성이 있다.
클라우드 서비스(Cloud Service)란
마지막으로 널리 사용되는 서비스 제공업체 제공 클라우드 서비스로는 클라우드 소프트웨어, 즉 SaaS로 알려진 정식 버전의 웹 애플리케이션이 있습니다. 이를 위해서는 상당한 개발 투자가 이루어져야 하는데, 클라우드 제공업체는 말 그대로 온라인 애플리케이션을 고객에게 제공하기 때문입니다.
클라우드 소프트웨어는 클라우드 네이티브 접근 방식을 사용하여 제공할 수 있는데, 이 방식은 탄력적으로 결합된 소규모의 독립형 마이크로서비스를 결합하는 애플리케이션 아키텍처에 해당합니다. 여러 마이크로서비스를 쿠버네티스 또는 Red Hat® OpenShift® 같은 컨테이너 오케스트레이션 엔진으로 관리되는 개별 Linux® 컨테이너에 패키징할 수 있습니다. 최종 제품은 마이크로서비스로 최적화할 수 있는 클라우드 애플리케이션으로서, 이러한 마이크로서비스는 서로 영향을 주지 않으면서 함께 전체 애플리케이션을 구성할 수 있습니다.
온라인 애플리케이션, 모바일 애플리케이션 및 SaaS 제품 개발에 널리 사용되는 또 다른 프로그래밍 언어 중 하나는 바로 HTML5(Hyper Text Markup Language 5)입니다. 이 프로그래밍 언어는 웹 브라우저에서 액세스할 수 있는 애플리케이션을 개발하기 위한 3가지 프로그래밍 언어를 통합합니다.
‘구글 클라우드 기반 데이터 플랫폼’으로 쉽고 빠르게 데이터 분석
구글 클라우드는 데이터 플랫폼을 수집, 프로세스, 저장, 분석, 활용 등 5단계로 나눠 해당 단계에 맞는 서비스들을 조합해 제공하고 있다. 수집 단계 서비스로는 스트리밍 분석 파이프라인의 이벤트 수집 및 전송을 위한 서비스인 ‘클라우드 펍섭(Cloud Pub/Sub)’이 있다. 이 서비스는 규모에 맞는 고가용성과 일관된 성능을 기반으로 내구성 있는 메시지 스토리지 및 실시간 메시지 전송을 제공해준다. 이는 OSS의 ‘아파치 카프카’와 같은 기능을 하는 서비스다.
프로세스 단계에 적용될 서비스로 ‘데이터플로우(DataFlow)’와 ‘데이터프록(Dataproc)’, ‘데이터프렙(Dataprep)’ 등 3가지가 있다. ‘데이터플로우’는 대규모 데이터 세트에서 데이터 처리 패턴을 개발하고, 간소화된 스트림 및 배치 데이터 처리를 수행하는 서비스다. ‘데이터프록’은 데이터 일괄 처리, 쿼리, 스트리밍, 머신러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 ‘스파크’ 및 ‘하둡’ 서비스로, 자동화를 통해 신속하게 클러스터를 만들고 손쉽게 관리하며 불필요한 클러스터는 사용 중지해 비용을 절감할 수 있다는 장점이 있다.
‘데이터프렙’은 분석 및 머신러닝에 사용할 데이터를 시각적으로 탐색, 정리, 준비하는 지능형 클라우드 데이터 서비스다. 이 서비스는 서버리스 방식으로 구동되며, 규모에 상관없이 작동하기 때문에 별도로 배포하거나 관리해야 할 인프라가 없다. UI 입력마다 가장 이상적인 데이터 변환을 제안하고 예측하기 때문에, 코드를 작성하지 않아도 된다는 장점이 있다.
구글 클라우드는 저장 단계 서비스로 ‘클라우드 스토리지(Cloud Storage)’와 ‘빅쿼리(BigQuery)’를 내세우고 있다. ‘클라우드 스토리지’는 스토리지 서비스로 데이터 양에 상관없이 데이터를 저장할 수 있다. 다음은 ‘빅쿼리’다. ‘빅쿼리’는 구글 클라우드의 대표적인 서비스로 서버리스 기반의 멀티 클라우드 데이터 웨어하우스 서비스다. 표준 SQL을 사용해 타 CSP의 클라우드에서 데이터를 수집해 분석할 수 있다. 이로써 유연한 분석 환경을 구성해 데이터 분석가 또는 데이터 과학자에게게 원활한 데이터 분석 환경을 제공한다. 또 ‘빅쿼리 ML’ 기능을 활용하면 구조화 또는 반구조화된 데이터를 기반으로 하는 머신러닝 모델을 빠르게 빌드 및 운용할 수 있다.
마지막으로 활용 단계에서는 ‘버텍스 AI(Vertex AI)’와 ‘루커(Looker)’를 제안하고 있다. ‘버텍스 AI’는 머신러닝 모델을 개발할 수 있는 AI/ML 통합 플랫폼이다. ‘오토ML’ 및 커스텀 코드 학습으로 모델을 쉽게 학습하고 비교할 수 있으며, 중앙 모델 저장소에 별도로 저장된다. ‘루커’는 데이터가 어느 곳에 저장되더라도 기업의 최신 버전 데이터에 접근할 수 있게 지원하는 서비스다.
삼성전자는 음성 인식 플랫폼 ‘빅스비(Bixby)’에 구글 클라우드의 ‘빅쿼리’, ‘클라우드 스패너’, ‘데이터플로우’ 등 서비스를 적용해 수집되는 데이터를 분석하고 있다. 여기에 구글 클라우드의 ‘클라우드 TPU(Tensor Processing Unit)’을 결합해 빅스비 AI 모델의 음성인식 학습을 고도화했다. 그 결과 AI 모델 학습 속도가 18배 향상됐다. 이 외에 홈플러스도 구글 클라우드의 ‘클라우드 스토리지’와 ‘빅쿼리’를 도입해 고객 인사이트를 발굴해 비즈니스 운영 효율을 개선했다.
클라우드 기반 애플리케이션
클라우드 기반 애플리케이션은 클라우드 기반 및 로컬 리소스를 결합한 소프트웨어 프로그램입니다. 완전히 온라인으로 운영되고 인터넷 연결 없이는 작동하지 않는 웹 기반 애플리케이션과 달리 클라우드 기반 애플리케이션은 로컬 컴퓨터 또는 워크스테이션에서 일부 작업을 수행할 수 있으므로 사용자가 애플리케이션에 계속 오프라인으로 액세스할 수 있습니다.
클라우드 기반 애플리케이션의 이점은 다음과 같습니다.
확장성 . 클라우드 기반 애플리케이션은 비즈니스 수요에 맞춰 쉽게 확장할 수 있습니다.
. 클라우드 기반 애플리케이션은 비즈니스 수요에 맞춰 쉽게 확장할 수 있습니다. 간편한 관리 . 클라우드 기술을 사용하면 현장에서 인프라스트럭처를 구입, 배포, 관리 및 업그레이드할 필요 없이 CSP(Cloud Service Provider)에서 기본 인프라스트럭처 관리를 담당합니다.
. 클라우드 기술을 사용하면 현장에서 인프라스트럭처를 구입, 배포, 관리 및 업그레이드할 필요 없이 CSP(Cloud Service Provider)에서 기본 인프라스트럭처 관리를 담당합니다. 빠른 응답성 . 클라우드 기반 애플리케이션은 빠른 속도로 업데이트, 테스트 및 구축이 가능하므로 기업은 기회를 놓치지 않고 신속히 잡을 수 있습니다.
. 클라우드 기반 애플리케이션은 빠른 속도로 업데이트, 테스트 및 구축이 가능하므로 기업은 기회를 놓치지 않고 신속히 잡을 수 있습니다. 비용 절감 . 클라우드 기반 애플리케이션은 온프레미스 소프트웨어보다 실행 비용이 저렴합니다.
. 클라우드 기반 애플리케이션은 온프레미스 소프트웨어보다 실행 비용이 저렴합니다. 원활한 협업. 권한 있는 사용자들이 클라우드에 저장된 데이터에 쉽게 액세스하여 원활하게 협업할 수 있습니다.
기업은 인프라스트럭처, 개발 환경 및 SaaS(Software as a service)를 제공하는 클라우드 기반 애플리케이션에서 구체적 비즈니스 요구에 맞춰 구축되는 내부 클라우드 기반 애플리케이션이라는 이점을 누릴 수 있습니다.
IT 팀에게 클라우드 기반 애플리케이션은 엄청난 이점을 제공하지만 한 가지 중대한 단점도 있습니다. 클라우드 기반 애플리케이션은 다른 클라우드 기반 서비스 및 클라우드 환경과 결합 시 클라우드 기술 관리의 복잡성이 커질 수 있습니다. 각 클라우드 리소스마다 자체적인 관리 툴과 프로세스 세트가 있을 경우 IT 팀은 운영 세부 정보가 복잡해져 어느새 감당하기 힘든 지경에 빠질 수 있습니다. 플랫폼 사이를 끊임없이 오가면 비효율성과 위험이 증가할 수밖에 없고, 공통 관리 툴이 부족하면 클라우드 마이그레이션이 상당히 느려질 수 있습니다.
하이브리드 클라우드 컴퓨팅은 여러 클라우드 리소스를 관리하는 일관된 인프라스트럭처를 제공하여 일을 간단하게 만듭니다. Dell Technologies Cloud를 통해 기업은 하이브리드 클라우드를 보다 빨리 간단하게 구축하는 솔루션을 활용할 수 있습니다.
클라우드 기반 데이터 분석 및 인공 지능을 위한 비지니스 혁신 – 윤석찬 (AWS 테크에반젤리스트)
Everybody Lies: Big Data, New Data, and What the Internet Can Tell Us About Who We Really Are Seth Stephens-Davidowitz
(3.5/5)
Free
키워드에 대한 정보 클라우드 기반 플랫폼
다음은 Bing에서 클라우드 기반 플랫폼 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 (초등생도 이해하는) 클라우드란 무엇인가? | 아마존vs마이크로소프트vs구글
- 경제 분석
- 경제 전망
- 투자 기초
- 투자 방법
- 투자 공부
- 해외 투자
- 미국 주식 분석
- S&P500
- 미국주식투자
- 미국 S&P 500 투자
- S&P500 인덱스
- MS Teams
- MS 팀즈
- MS 재택근무 솔루션
- MS 구글 원격근문 솔루션 비교
- MS 구글 재택 근무 솔루션 비교
- MS 주가 전망
- 마이크로소프트 주식
- MS 주식
- Microsoft 주식
- MSFT 주식
- MS Azure
- MS 클라우드
- MS 주식 성장 예상
- 마이크로소프트 주가 전망
- 마이크로소프트 클라우드 점유율 비교
- MS vs Amazon 클라우드 비교
- 마이크로소프트 vs 아마존 클라우드 비교
- 마이크로소프트
- Microsoft
- MS
- microsoft
- 아마존
- aws
- AWS
- 아마존 웹 서비스
- AMAZON WEB SERVICE
- Amazon Web Service
(초등생도 #이해하는) #클라우드란 #무엇인가? #| #아마존vs마이크로소프트vs구글
YouTube에서 클라우드 기반 플랫폼 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 (초등생도 이해하는) 클라우드란 무엇인가? | 아마존vs마이크로소프트vs구글 | 클라우드 기반 플랫폼, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.