당신은 주제를 찾고 있습니까 “빅 데이터 시대 – 빅데이터 시대, 우리가 꼭 알아야 하는 것3“? 다음 카테고리의 웹사이트 you.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: https://you.maxfit.vn/blog. 바로 아래에서 답을 찾을 수 있습니다. 작성자 노우티KnowT 이(가) 작성한 기사에는 조회수 15,937회 및 좋아요 199개 개의 좋아요가 있습니다.
빅 데이터 시대 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 빅데이터 시대, 우리가 꼭 알아야 하는 것3 – 빅 데이터 시대 주제에 대한 세부정보를 참조하세요
서가명강 도서 자세히보기 http://bit.ly/30Mxi9V
–
[책 읽어주는 남자 l 지식을 말하다]책 읽어주는 남자가 전하는 세상의 모든 지식, 그리고 책에 대한 이야기
[Instagram l 인스타그램]https://www.instagram.com/thebookman_/
[website l 홈페이지]http://www.thebookman.co.kr/
[facebook l 페이스북]지 식 을 말 하 다 https://www.facebook.com/micshowtime
책 읽어주는 남자 https://www.facebook.com/thebookplace/
[For Business Inquiries l 비즈니스 문의][email protected]
빅 데이터 시대 주제에 대한 자세한 내용은 여기를 참조하세요.
[경제프리즘] 빅데이터 시대의 성공 – 경기일보
현재 우리는 빅데이터 시대에 살고 있다. 빅데이터 시대란, 빠르게 생성되는 다양한 형태의 데이터를 관리분석활용해 정보의 가치를 얻어야만 성공할 …
Source: www.kyeonggi.com
Date Published: 5/17/2021
View: 6700
[논문]빅데이터 시대 새로운 가능성과 전략 – ScienceON
정보기술의 발전은 수많은 데이터를 분석하여 새로운 가치를 찾아내는 시대로 접어들고 있다. 과거 얼마나 성능 좋은 IT기기를 가졌느냐, 얼마나 편리한 응용프로그램 …
Source: scienceon.kisti.re.kr
Date Published: 4/9/2022
View: 7241
빅데이터 시대는 언제 열렸나? – The PR Times 더피알타임스
그래서 어떤 이들은 빅데이터의 시초를 1890년 미국 인구조사 때로 보기도 한다. 미국의 인구가 6000만이 넘었던 시기에 기존 방식이라면 10년이 넘게 …
Source: www.the-pr.co.kr
Date Published: 1/18/2021
View: 5914
[Issue&Biz] 빅데이터 이어 굿데이터 시대가 온다 – 매일경제
빅데이터 시대’가 도래하면서 데이터의 양과 종류는 가늠하기 어려울 정도로 급속히 증가했다. 하지만 이를 제대로 관리하고 활용하기는 더욱 어려워 …
Source: www.mk.co.kr
Date Published: 10/3/2021
View: 5380
완전히 새로운 세상의 도래 – 빅 데이터 시대
우리가 살아가고 있는 빅 데이터 시대가 어떤지 생각해보면 좋겠다.) “빅 데이터란 큰 규모를 활용해 더 작은 규모에서는 불가능했던 새로운 통찰이나 …
Source: brunch.co.kr
Date Published: 4/9/2022
View: 3445
[빅데이터 시대 ①] 빅데이터는 기회다. 그리고 미래다.
미성년자인 딸을 임신부으로 오해한 슈퍼마켓에 화가났던 것이다. 당황한 슈퍼마켓 담당자는 쿠폰이 잘못 발송된 것으로 판단하고 해당 아버지에게 정중히 …
Source: www.scienceall.com
Date Published: 5/3/2021
View: 357
빅데이터 시대 새로운 가능성과 전략 – 한국방재학회 : 논문
정보기술의 발전은 수많은 데이터를 분석하여 새로운 가치를 찾아내는 시대로 접어들고 있다. 과거 얼마나 성능 좋은 IT기기를 가졌느냐, 얼마나 편리한 응용프로그램 …
Source: www.dbpia.co.kr
Date Published: 7/19/2021
View: 8194
빅데이터 시대의 경쟁력 확보를 위한 선택과 집중
이와 같은 데이터의 급증과 데이터 분석기술의 발. 달은 최근 들어 빅데이터라는 핵심 키워드의 부상을 야기하였. 고 국내에서도 빅데이터 활용을 위한 정책과 초기 활용 …
Source: www.koreascience.or.kr
Date Published: 2/2/2022
View: 5252
빅데이터 시대의 도래 – IRS글로벌
브로드밴드의 보급 및 스토리지 용량의 확대, 데이터 병렬 분산 처리 기술 및 인메모리 데이터 기반 기술의 실용화로 인해, 데이터 활용의 흐름 속에 빅 …
Source: www.irsglobal.com
Date Published: 6/11/2021
View: 493
빅데이터 시대, 성과를 이끌어 내는 데이터 문해력 – YES24
앞으로의 시대에 꼭 필요한 당신의 데이터 문해력`왜 분석 방법이 아니라 활용 능력이 필요한가?나완 상관없을 것 같았던 인공지능부터 시작해 데이터 …
Source: www.yes24.com
Date Published: 5/1/2022
View: 7156
주제와 관련된 이미지 빅 데이터 시대
주제와 관련된 더 많은 사진을 참조하십시오 빅데이터 시대, 우리가 꼭 알아야 하는 것3. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 빅 데이터 시대
- Author: 노우티KnowT
- Views: 조회수 15,937회
- Likes: 좋아요 199개
- Date Published: 2019. 8. 30.
- Video Url link: https://www.youtube.com/watch?v=e0OSiTL8SdY
[경제프리즘] 빅데이터 시대의 성공
현재 우리는 빅데이터 시대에 살고 있다. 빅데이터 시대란, 빠르게 생성되는 다양한 형태의 데이터를 관리·분석·활용해 정보의 가치를 얻어야만 성공할 수 있는 시대를 의미한다. 빅데이터 시대에는 국가나 공공기관에서 제공하는 공공 정보뿐만 아니라 개인이 저작한 멀티미디어 정보, 다양한 센서 정보, SNS 등이 빠른 속도로 생성되고 있다. 또 이 정보들은 컴퓨터 통신망과 이동 통신망을 통해서 실시간으로 공유된다. 빅데이터 시대에는 이러한 대량의 정보 속에서 사회를 발전시킬 중요한 가치의 지식을 찾아내 의사 결정 단계에서 적시 적소에 활용하는 것이 중요하다. 즉, 빅데이터로부터 사람들이 어떤 생활패턴을 갖고 있으며, 현재 무엇을 느끼고 바라고 있는지를 분석해 필요를 예측할 수 있는 능력이 중요하다. 기업은 이러한 예측 정보를 활용해 종전 상품이나 서비스를 개선하고 고객의 만족도를 증진할 수 있다. 또 국가는 선진 행정 서비스를 제공할 수 있다.
산업, 경제적인 측면에서 보면 현재는 ‘시장의 위기’라고 일컫는다. 과거에는 같은 제품을 대량 생산해 시장에 공급하는 것이 중요한 비즈니스 활동이었다면, 지금은 소비자가 필요한 제품 및 서비스를 제때 공급하는 것이 중요하다. 따라서 소비자의 수요를 예측하거나 창출할 수 있는 능력이 절실하다. 이를 위해서 과거의 거래 데이터로부터 앞으로의 수요를 예측하거나, 고객의 이번 거래에 추가했으면 하는 상품을 추천하는 능력이 중요하다. 이러한 빅데이터 분석 활용 능력은 경제적으로는 기존 산업의 생산성을 혁신적으로 개선할 수 있게 하고, 정치 사회적으로도 국민의 삶의 만족도를 증진해 선진 국가 경영이 가능하게 하는 원동력이 될 수 있다.
빅데이터 시대에서 성공하기 위해서는 수많은 정보중에 보물 정보를 찾는 능력이 필요하다. 이러한 능력을 배양하기 위해서는 IT 플랫폼 활용, 인공지능, 통계 분석 등과 관련된 소프트웨어 기술을 보유해야 한다. 또한 경제학, 심리학, 사회학 분야 등과 같은 사회 현상을 이해하는데 필요한 배경지식을 가지고 있어야 하며, 예리한 관찰력과 소통 능력을 겸비해서 보물의 가치를 분석하고 사회에 알릴 수 있는 소양을 배양해야 한다.
국가의 미래인 청소년들에게 기본적으로 소프트웨어적인 소양을 교육해야 하며 다른 학문 분야와의 융합까지도 리드할 수 있도록 해야 한다. 또한, 국가적으로 우수한 소프트웨어 인력을 양성해 국내의 산업을 발전시키고 해외에도 우수한 인력을 파견함으로써 ICT 선진국으로서의 자리매김을 확실하게 해야한다. 빅데이터 분석을 위한 소프트웨어 기술이 반도체, 스마트폰 분야의 강세를 이어나갈 국가성장 동력 기술, 우리의 세계 1등 기술이 되도록 해야 할 것이다.
김유성 인하대 소프트웨어융합대학장
© 경기일보(www.kyeonggi.com), 무단전재 및 수집, 재배포금지
[논문]빅데이터 시대 새로운 가능성과 전략
초록
정보기술의 발전은 수많은 데이터를 분석하여 새로운 가치를 찾아내는 시대로 접어들고 있다. 과거 얼마나 성능 좋은 IT기기를 가졌느냐, 얼마나 편리한 응용프로그램을 개발하느냐가 경쟁력이었다며, 이제 수많은 데이터를 어떻게 잘 활용하느냐가 경쟁력인 시대로 접어들고 있다. 즉, 데이터의 폭발적 증가로 데이터를 통한 새로운 가치와 가능성에 집중하는 ‘빅데이터(Big Data) 시대’가 도래하게 된 것이다. 데이터가 IT와 별도로 주목받으면서 데이터가 자원으로써 축적과 공유를 통해 엄청난 규모로 쌓이면서 데이터의 역할은 ‘분석과 추론(전망)’의 방향으로 진화하고 있다. 대규모 데이터를 기반으로 한 자연언어처리, 기계 학습(Machine Learning), 인공지능 기술로 맥락 이해와 추론 서비스의 상용화되고 있다. 이에 따라 지능형 서비스들은 분석 데이터가 늘어나고, 기계학습이 진행될수록 인간의 언어에 대한 맥락의 이해도가 상승하고 있다. 이는 기존과 달리 새로운 분석기술을 기반으로 대용량 데이터가 새로운 서비스를 개발하는 가능성을 열고 있는 것이다. 새롭게 추가된 추론의 영역은 IT산업의 성장동력으로 부상할 수 있으며, 의료, 금융, 공공 등을 혁신할 수 있는 新산업분야를 개발할 수 있도록 한다. 또한, 개개인의 취향, 관심 있는 정보의 성격, 상태, 개인 의중에 맞는 맞춤형 개인화 서비스, 인공지능 서비스로 IT기반의 서비스 패러다임도 변화해 나가고 있다. 데이터의 양적 팽창은 이를 어떻게 활용하느냐에 따라 새로운 기회를 발견하는 핵심 수단이 되고 있다. 즉, 빅데이터를 잘 활용하면 미래사회에서 새로운 기회를 창출하고, 위험을 해결하는 사회 발전의 엔진 역할을 수행 할 것으로 기대된다. 미래사회의 불확실성과 리스크를 통찰력을 바탕으로 대응할 수 있도록 할 것이며, 융합에 의해 점점 스마트해지는 사회에 새로운 창의력을 기반으로 경쟁력을 강화시키는 핵심 수단이 될 것이다. 우리정부도 지난 몇 년간 정부의 데이터가 중요한 가치창출의 기반임을 인지하고 공공데이터 공개 개방을 지속적으로 추진하였다. 또한, 적극적인 빅데이터 활용을 통한 정부혁신과 국가경쟁력 제고를 위해 국가정보화전략위원회, 방송통신위원회, 행정안전부 등에서 빅데이터를 활용하는 다양한 정책을 마련하고 있다. 이러한 국가적 전략에 기반하여 앞으로 범정부적으로 데이터를 수집-관리-활용할 수 있는 체계를 마련하고 이를 바탕으로 한 합리적 정책결정과 서비스 개발을 위한 노력이 필요한 시점이다.
빅데이터 시대는 언제 열렸나?
[In DATA] 1890년 미국 인구조사서 시초AI가 급격히 발달하며 마케팅 측면서 들여다봐야
[더피알=이경락] 바야흐로 AI와 빅데이터의 시대이다. 정부가 ‘제4차 산업혁명 시대’를 산업 진흥의 화두로 던지면서, 많은 사람들의 마음속에 ‘빅데이터를 제대로 다루면 새로운 먹을거리가 창출되고, 기존의 생산 방식을 혁신적으로 개선할 수 있을 것이라는 기대가 자리 잡게 됐다.그런데 이 빅데이터의 정체에 대해서 정확히 파악하고 있는 경우는 많지 않다.
일반적으로 빅데이터는 단순히 ‘엄청나게 방대한 데이터’ 정도로 인식되는데, 그 외에도 여러 가지 맥락이 접합될 필요가 있다. 예를 들어 IT 기업이 투자 유치를 위해서 본격적으로 사용한 마케팅 맥락이라든가, 세계경제포럼에서 언급되면서 관심이 증대됐던 것과 같은 맥락이다.
웹 2.0을 비롯해 IT 분야의 많은 개념어가 학문적 정의가 아니라 마케팅적 화두에서 던져졌듯, 빅데이터 역시 마찬가지이다.
빅데이터란 무엇인가?
우선 지금 시점에서 빅데이터의 구체화된 개념을 보면, 빅데이터는 ‘너무 커서 한 대의 서버에 담을 수 없거나, 너무 구조화돼있지 않아서 열과 행으로 된 데이터 베이스에 맞지 않거나, 너무 연속적으로 유입되기 때문에 정적인 데이터 웨어하우스에 맞지 않는 데이터’ 혹은 ‘그로부터 가치를 추출하고 결과를 분석하는 기술’을 의미한다.
그래서 어떤 이들은 빅데이터의 시초를 1890년 미국 인구조사 때로 보기도 한다. 미국의 인구가 6000만이 넘었던 시기에 기존 방식이라면 10년이 넘게 걸릴 일을 천공 카드(punch cards)라는 데이터 처리 기술로 2년 6개월 만에 마칠 수 있었기 때문이다. 이때 천공 카드를 발명한 허먼 홀러리스(Herman Hollerith)는 1896년에 차후 IBM이 되는 TMC(Tabulating Machine Company)를 설립하게 된다.
다만 이 당시에는 빅데이터라는 용어가 사용되지는 않았다. 빅데이터라는 20세기 말에 돼서야 사용되기 시작했는데, 용어의 기원을 찾는 시도는 단순히 ‘big data’라는 표현을 사용한 것에서 시작하지 않는다.
이와 관련해서는 2012년에 뉴욕 타임즈의 스티브 로흐(Steve Lohr)의 두 기고문에서 어원과 화용론적 측면에서 접근한 바가 있다. 그에 따르면, 빅데이터라는 표현의 단순한 용례는 이미 1989년에 있었다.
에릭 라르손이라는 작가가 워싱턴 포스트의 ‘하퍼스 매거진(Harper’s Magazine)’에서 “빅데이터를 보관하는 사람들은 소비자의 이익을 위해 그렇게 한다. 그러나 데이터는 원래 의도된 것 이외의 목적으로 사용되기도 한다”고 언급한 것이다.
이 기사는 정크 메일이 사서함에 도착해 직접 마케팅 업계로 어떻게 넘어가는지에 대한 궁금증에서 나온 내용인데, 사실 지금 우리가 알고 있는 빅데이터의 개념과는 맞지 않는 부분이 있다.
화려한 옷 입은 빅데이터
실제로 지금 인식하고 있는 빅데이터, 즉 데이터의 양(Volume)뿐만 아니라 데이터 생성 속도(Velocity), 형태의 다양성(Variety) 특성, 나아가 가치(Value)나 복잡성(Complexity)을 포함하는 개념으로 통용된 것은 1990년대의 존 매쉬(John Mashey)로부터 찾을 수 있다.
당시 실리콘 그래픽스(Silicon Graphics)라는 새롭고 방대한 데이터를 다루면서 각광받는 회사였다. 매쉬가 빅데이터 개념을 만들어냈다는 학술적인 논문은 없다. 하지만 그가 1990년대 중후반에 그는 수많은 소규모 모임에서 빅데이터의 개념을 설명하고 회사의 투자 설명에서도 활용한 기록은 남아 있다.
그가 1998년에 쓴 ‘Big Data and the Next Wave of Infrastress’를 포함한 다양한 빅데이터 관련 이슈들이 ‘Usenix’와 같은 전문 사이트에 남아 있다. 다만 매쉬는 “나는 이슈들의 범주를 위해 하나의 이름을 사용했고, 컴퓨팅의 경계가 계속 발전하고 있음을 전달하는 가장 간단한 짧은 문구를 원했다”라고 밝혔다.
이처럼 개념화된 빅데이터가 본격적으로 현재와 같은 위상으로 부각된 것은 2008년부터이다. 2008년 말 빅데이터는 미국의 컴퓨터 과학 연구자 그룹인 CCC(Computing Community Consortium)의 주요 연구 주제로 채택되었다. 이때 CCC는 ‘빅데이터 컴퓨팅: 상업, 과학 및 사회에서 혁신적인 돌파구 창출(Big-Data Computing: Creating Revolutionary Breakthroughs in Commerce, Science and Society)’이라는 백서를 발간하게 된다. 저명한 컴퓨터 과학자가 참여한 이 백서는 향후 빅데이터 발전에 큰 영향을 주게 된다.
2012년은 빅데이터의 개념, 용어, 마케팅 도구로서의 개념이 교차한 해로 인식된다. 빅데이터는 기술 영역의 주변부에서 주류로 확산됐고 여러 산업적 가치를 인정받았다. 다보스 포럼이(World Economic Forum)이 ‘Big Data, Big Impact’라는 제목의 보고서와 함께 이 내용을 핵심 주제로 다뤘고, 미국 연방 정부가 빅데이터 컴퓨팅을 위해 2억 달러 규모의 연구 프로그램을 발표하기도 했다.
다만 이 시기 이후로 빅데이터는 보다 마케팅적인 측면에서 이해되기 시작했다. 돈이 돌기 시작하면서부터 기존의 연구 영역에서 확대된 주제들이 빅데이터의 범주로 들어오기 시작했다. 물론 이 과정에서 빅데이터에 대한 분석이 많은 기업들에게 인사이트를 주었음은 물론이다.
특히 AI 기술이 급격하게 발달하면서 일종의 학습데이터로서 빅데이터의 가치는 더욱 높아졌고, 빅데이터는 산업적으로 계속 확장하고 있다. 규정과 범주를 명확하게 하고자 하는 학계에서 여전히 빅데이터 본질에 대해서는 논란이 있지만, 빅데이터가 입고 있는 마케팅의 옷은 그 어느 파티보다 화려하다. 어쩌면 지금이야말로 빅데이터와 춤을 추면서 자신을 뽐낼 시기일지 모른다. 지금이 빅데이터의 시대이다.
저작권자 © The PR Times 더피알타임스 무단전재 및 재배포 금지
[Issue&Biz] 빅데이터 이어 굿데이터 시대가 온다
‘빅데이터 시대’가 도래하면서 데이터의 양과 종류는 가늠하기 어려울 정도로 급속히 증가했다. 하지만 이를 제대로 관리하고 활용하기는 더욱 어려워졌다. 데이터가 많아질수록 물리적 데이터 이동을 전제로 한 기존 정보계 시스템은 복잡해진다. 기업이 이를 유지하고 확장하기 위한 비용은 점점 더 증가한다.정제되지 않은 방대한 데이터가 쌓이고 서로 얽혀 있는 경우, 이를 활용해야 하는 데이터 사이언티스트의 업무 효율에도 영향을 미친다. 데이터 사이언스 플랫폼 아나콘다(Anaconda)가 실시한 설문조사 결과에 따르면, 데이터 사이언티스트 응답자들은 데이터 준비·정제 작업에 업무 시간의 45%를 할애한다고 답했다. 준비 작업에만 절반가량의 업무 시간을 투입해야 하는 것이다.인공지능(AI)과 클라우드의 시대에 접어들면서 다양한 데이터를 빠르게 실험하고 검증하는 정보기술(IT) 환경의 필요성이 커졌다. 데이터 웨어하우스나 데이터 레이크와 같이 데이터를 한 곳에만 모아 관리하는 전통적인 방식으로는 산재한 데이터를 통합하는 것이 현실적으로 불가능하기 때문이다. 최근 기업은 단순히 많은 양의 데이터를 확보하는 것이 아니라 ‘3D 데이터’, 즉 분산화(Distributed)되어 있는 다양한(Diverse) 데이터를 역동적(Dynamic)으로 활용하는 것에 주목하고 있다. 기업들이 양질의 데이터, 즉 ‘굿 데이터’에 접근하고 활용할 수 있는 환경을 조성할 수 있도록 지원하는 방안으로 ‘데이터 가상화’가 부각되고 있다. 데이터 가상화는 사용자 또는 애플리케이션이 데이터의 물리적인 위치나 형식에 관계없이 데이터에 접근하고 이를 활용할 수 있도록 지원하는 관리 방식이다. 여러 곳에 흩어진 전체 데이터 소스를 중앙으로 이동시키지 않고도 마치 한 곳에 모아 놓은 것처럼 관리할 수 있다. 이를 통해 기업은 보안 관제와 인증 보호는 물론 다양한 데이터 작업을 수월하게 수행하는 등 분석 역량을 강화할 수 있다. 데이터 가상화는 기존의 레거시 시스템에 영향을 최소화하면서 빠르고 쉽게 도입할 수 있어 이른 시간 안에 더 큰 투자 대비 효과(ROI)를 거둘 수 있다는 장점도 있다. 미국 최대 유전 개발 서비스 기업은 데이터 가상화를 활용해 업계의 새로운 데이터 표준을 지키면서도 데이터 소스를 유연하게 활용할 수 있도록 하고 있다.오늘날 다수 기업이 ‘데이터’가 비즈니스를 성공으로 이끌 수 있는 유일한 열쇠라는 점에 동의하고 있다. 하지만 실질적으로 데이터를 제대로 활용하는 기업이 드문 것이 현실이다. 단순히 데이터를 쌓아 놓는 빅데이터에서 한걸음 더 나아가 다양한 종류의 데이터를 언제 어디서나 목적에 알맞게 활용할 수 있도록 IT 환경을 조성하는 것이 진정한 의미의 디지털 혁신이다. 많은 기업이 데이터 가상화를 통해 데이터 역량과 비즈니스 경쟁력을 확보하고 데이터를 기반으로 기업 성장과 미래 비전을 추진해 나갈 수 있기를 기대한다.[주재영 팁코소프트웨어코리아 지사장][ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]
완전히 새로운 세상의 도래 – 빅 데이터 시대
(이 글은 2013년에 책을 읽고 썼다. 책에서 말했던 세상이 이미 도래했지만 이 책은 여전히 읽어볼 만하다. 우리가 살아가고 있는 빅 데이터 시대가 어떤지 생각해보면 좋겠다.)
“빅 데이터란 큰 규모를 활용해 더 작은 규모에서는 불가능했던 새로운 통찰이나 새로운 형태의 가치를 추출해내는 일이다. 그리고 이 과정에서 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 일이다.” (19쪽)
이제 정보의 홍수라는 말로 인터넷 시대를 표현하기는 부족하다. 요즘에 축적되는 정보의 양은 거대한 정보의 우주라 표현해도 부족할 것 같다. 이 거대한 데이터를 이용하는 데 있어 핵심이 되는 것은 ‘예측’이다. 엄청난 양의 데이터에 수학을 적용하여 확률을 추론하려는 노력을 빅 데이터라고 할 수 있다.
이 책에서는 빅 데이터의 이용으로 인류가 겪게될 변화를 다루고 있다. 많아진 데이터의 양, 들쭉날쭉한 데이터, 인과성과 상관성, 데이터화, 가치, 영향, 리스크, 통제라는 주제로 이 변화를 설명하고 있다. 책의 첫 장에서 저자들은 커다란 변화를 앞둔 인류 에게 지금 우리가 어디쯤 서 있는지, 어떻게 여기까지 왔는지, 우리 앞에 놓인 혜택과 위험에 대해 시급히 안내하기 위해 이 책을 썼다고 밝히고 있다.
빅 데이터라는 것이 이 시대에 진정 유의미한 자취를 남기게 될 것인지 아니면 수 많은 트렌드 중의 하나처럼 자취를 감추게 될 지 궁금해진다. 저자들이 빅 데이터로 인한 변화의 키워드로 선정한 단어들을 하나씩 살펴본다.
많아진 데이터
빅 데이터의 핵심은 정보들 사이의 관계를 파악하고 이해하는 것이다. 이제 우리는 무작위 샘플링을 넘어서 거대한 데이터 전체를 분석할 수 있게 되었다. 많은 양의 데이터를 활용할 수 있게 된 지금에는 샘플링이라는 개념이 합리성을 잃게 된다. 전체 데이터를 사용할 수 있게 되자 정보의 방대함에 가려져 있던 세부 사항과 연결점을 찾아내는 일도 가능해졌다.
그렇다. 빅 데이터라는 개념이 출현한 지는 꽤 시일이 지났지만 최근들어 신문지상이나 여러 잡지들의 기고문들에 자주 등장하고 있다. 빅 데이터는 말 그대로 빅 데이터이다. 하지만 이것은 데이터의 양이 단순히 많아진 것을 의미하는 것은 아니다. 이 책을 읽어나가다보면 현대 사회는 근본적 변화의 소용돌이 앞에 놓여 있음을 깨닫게 될 것이다.
들쭉날쭉한 데이터
소규모의 데이터를 다루던 과거에는 정밀성이 중요했다. 가능한 한 오류를 줄이기 위해 허용가능한 기준을 좁혔다. 하지만 빅 데이터 시대엔 이 기준을 느슨하게 함으로써 더 많은 데이터를 손에 넣을 수 있다.
양이 많아지면 질을 압도하기도 한다. 빅 데이터는 숫자를 정확함보다 확률적인 것으로 바꿔놓는다. 기계 번역 분야에서 기존엔 이룰 수 없었던 수준이 구글이 빅 데이터를 이용함으로써 혁신적으로 높아졌다. 고품질의 데이터라기보다는 더 많은 데이터를 사용했기 때문에 구글의 번역 시스템이 잘 작동했던 것이다.
대규모 데이터를 활용하는 유익을 누리려면 데이터의 들쭉날쭉한 특성을 없애야 할 오류로 볼 것이 아니라 정상적인 것으로 받아들여야 한다. 빅 데이터는 우리에게 무질서와 불확실성에 더 익숙해지라고 요구한다. 전통적인 습관이 몸에 배어 있는 현대의 사람들이 이러한 비상식적 요구에 어떻게 반응하게 될까? 이 요구에 적응하는 부류와 그렇지 않은 부류가 있을 것이다.
인과성과 상관성
분야를 막론하고 세일즈맨들은 고객이 왜 구매 목록에 체크를 하는지, 왜 그런 의사 결정을 내리는지 숨은 이유를 이해하라는 말을 늘 들어왔다. 하지만 빅 데이터는 기저에 깔린 원인을 몰라도 가치 있는 상관성을 찾아내는 것을 도와주었다.
상관성은 두 데이터 값 사이의 통계적 관련성을 수량화한다. 상관성이 강하다는 건 하나의 데이터 값이 변화할 때 다른 하나도 변할 가능성이 매우 높다는 것이다. 빅 데이터의 시대에는 오로지 가설에만 의지해 어떤 변수를 검토할지 결정하는 것은 더 이상 효율적이지 않다. 상관성에 기초한 예측은 금융 신용 평가, 보험회사의 건강 위험요소 확인, 할인 소매점의 마케팅에 이르기까지 다양하게 사용된다.
인과성의 경우 과거 작은 데이터 시대엔 우리의 직관이 틀렸다는 사실을 증명하는 데 오랜 시간이 걸렸다. 하지만 이제는 빅 데이터와 상관성을 이용해 우리의 인과적 직관이 틀렸음을 증명하는 일이 일상화될 것이다.
최근까지는 우리 주변 세상을 분석하고 이해하려면 테스트할 이론이 필요했지만 빅 데이터 시대에는 이론이 필요하지 않다. 그냥 데이터를 살피면 되기 때문이다. 하지만 이것은 사실이 아니다. 빅 데이터도 이론에 기초하고 있다. 상관성과 인과성을 확실히 구별할 필요가 있다. 우리는 종종 이 둘을 같은 것으로 착각하여 빅 데이터가 열어주는 상관성의 세계에서 인과성을 찾으려고 헛된 노력을 하게 될 때가 있다. 이러한 모습이 우리가 주의해야 할 것이라 생각한다.
데이터화
데이터화는 한 번도 데이터로 취급된 적이 없는 정보를 발굴해 수량화된 형태로 만들어 고유한 가치를 창조해내는 것이다. 이를 위해서는 대상을 측정할 방법과 기록할 방법을 알아야 하고 이것을 수량화하고 기록하려는 욕구가 있어야 한다.
데이터 기록 방식과 세상을 측정하는 방식이 발전해 가면서 더 효율적인 데이터화를 이끌었다. 책속의 내용, 세상에서의 지리적 위치, 휴대전화 이용 패턴, 인간관계, 경험, 기분, 트위터의 메시지, 운동 정보에 이르기까지 세상의 수 많은 정보들이 데이터화되어 이용되고 있다.
세상을 정보로 보게 되면, 즉 훨씬 더 깊고 넓게 탐험할 수 있는 데이터의 바다로 보게 되면 우리는 이전에 보지 못했던 관점으로 현실을 보게 될 것이다. 책에 소개되어 있는 사례들을 살펴보면 이런 것까지 데이터화할 수 있는가라는 생각이 들 정도로 하찮은 것들까지도 빅 데이터의 시대에는 수집되고 있음을 알게된다. 우리가 미처 깨닫지 못하는 이 시간에도 우리가 상상조차 하기 힘든 양의 정보가 데이터화되어 저장되고 있다.
가치
빅 데이터 시대에는 데이터의 재사용이 엄청난 가치를 창출한다. 데이터의 가치가 현재의 주된 용도에서 미래의 잠재적 용도 쪽으로 이동하고 있다. 데이터는 물리적 재화와는 다르게 사용되었다고 해서 가치가 줄어들지 않는다. 서로 다른 여러 목적으로 활용될 수 있다. 데이터의 전체 가치는 그것의 첫 번째 사용에서 추출한 가치보다 훨씬 크다는 점을 유념할 필요가 있다.
이러한 예의 적절한 예는 전기자동차의 인프라 분석을 위해 사용된 시스템에서 잘 나타났다. 이 시스템에서는 한 가지 목적으로 생성된 정보를 다른 여러가지 목적으로 활용하였다. 데이터의 가시적인 가치는 바다 위에 떠 있는 빙산과 같다. 데이터의 가치를 어떻게 끌어내느냐는 그것을 이용하는 사람에 달려 있다. 이러한 사실에 기초해 중요해지는 것은 데이터의 확장 가능성을 염두에 두고 데이터를 수집하는 것이다. 최근에는 가치가 없을 것이라 여겨지는 데이터 잔해라 불리는 것으로부터도 새로운 가치를 만들어내고 있다.
영향
빅 데이터 회사들이 제공하는 가치는 데이터, 기술, 아이디어이다. 빅 데이터를 둘러싼 가치사슬은 데이터 보유자, 데이터 전문가, 빅 데이터 사고방식을 가진 회사와 개인들로 구성된다. 이 먹이사슬 안에 있는 개인과 회사들의 창의적 비전을 통해 우리는 기업의 가치를 재평가해볼 수도 있다.
현재까지의 상황을 볼 때 빅 데이터의 가치사슬에서 가장 큰 가치를 손에 쥔 사람들은 빅 데이터 사고방식을 가진 혹은 혁신적 아이디어를 가진 쪽이다. 하지만 시간이 좀 더 지난다면 가치 사슬의 주체들 사이에 데이터를 중개해주는 이들이 새롭게 등장할 가능성도 크다.
이에 반해 전통적인 전공별 전문가들의 영향력은 줄어들고 있다. 이것은 직장에서 성공하는 데 필요한 역량이 바뀌고 있음을 의미하는 것일 수 있다. 그렇다고 각 전공별 전문가들이 사라지지는 않을 것이다. 다만 그 우월성이 줄어들 것이다. 이제 무엇을 알고, 누구를 알며, 직장 생활에 대비해 무엇을 공부해야 할지가 바뀌고 있다.
리스크
빅 데이터 시대에는 다른 사람들이 우리 개개인의 데이터를 수집하고 저장하며 재사용할 기회를 제공한다. 이는 사생활 보호 차원을 넘어 성향에 기초해 사람들이 판단받을 수 있는 위험 요소도 가지고 있다. 빅 데이터를 현명하게 사용하지 못한다면 빅 데이터는 힘 있는 자가 고객과 직원들을 좌절시키거나, 시민들에게 위해를 가하기 위한 탄압 수단이 될 수 있다.
빅 데이터 시대에는 익명화조차도 개인들의 사생활을 보호하지 못하는 것으로 드러나고 있다. 빅 데이터가 마이너리티 리포트에서의 범죄 예측에 사용된다고 생각하면 끔찍할 정도다. 빅 데이터를 이용하여 예측은 할 수 있지만 이것을 사람의 행동에 적용하려 한다면 큰 오류가 발생하게 될 것이다. 예측된 행동을 저지르기도 전에 그 행동에 대한 책임을 묻는 것은 상관성을 가지고 인과관계를 결정하는 오류를 범하는 것이다.
우리는 데이터에 대한 지나친 의존을 경계해야 한다. 수 많은 유익들에도 불구하고 빅 데이터를 활용함에 있어 가장 우려되는 부분이 이러한 문제이다. 자칫 잘못하면 영화에서나 있을 법한 일들이 인류의 자유를 완전히 구속하는 상황으로 이끌 수 있을 것이다. 최근 불거진 미국 NSA 사태나 구글 등에 의한 사생활 침해 문제 등이 일상화될 가능성이 크다.
통제
개인 동의에서 데이터 이용자 책임으로 통제의 형태가 바뀌는 것은 빅 데이터를 효과적으로 다스리기 위해 꼭 필요한 변화이다. 이 시대에 우리는 정의에 대한 이해를 확장해서 인간 행위 원칙에 대한 안전장치를 포함하게 만들어야 한다.
빅 데이터 규제의 큰 기둥은 객관적으로 데이터를 분석해서 범법자일 가능성을 판단하는 것이 아니라, 계속해서 사람들을 개인적 책임과 실제 행동에 의거해 판단할 거라는 확실한 보장이다. 어느 기술이 어떻게 발전할 것인지를 예언하는 일은 분명 불가능하다. 따라서 규제 기관은 조심스러운 행보와 대담한 행보 사이에 균형점을 찾아야 할 것이다.
빅 데이터는 정보사회라는 단어가 약속했던 것을 마침내 완수하는 순간을 나타낸다. 데이터가 무대의 중심에 서는 것이다. 유일하게 확실한 것은 데이터의 양은 계속해서 증가할 것이고 그것을 처리할 능력도 계속 커질 것이라는 점이다. 상관성은 인과성보다 훨씬 빠르고, 저렴하게 찾아낼 수 있기 때문에 더 좋은 경우가 많다.
빅 데이터는 긴급한 글로벌 문제들을 이해하고 처리하는 데 필수적이 될 것이다. 이전에 미래는 완벽하게 예측할 수 있는 무엇이었지만 이제는 열려 있고 아무도 손대지 않은 광할하고 텅 빈 캔버스가 됐다. 모두가 데이터에 호소하고 빅 데이터 툴을 사용하게 되면 예측 불가능한 직감, 위험 감수, 우연, 실수 같은 인간적 특성은 차별화의 핵심이 될 것이다.
우리가 수집하고 처리할 수 있는 것은 언제나 세상에 존재하는 정보 중 아주 작은 일부에 불과할 것이다. 우리는 결코 완벽한 정보를 가질 수 없기에 우리가 내놓는 예측은 처음부터 잘못될 가능성을 내포한다. 하지만 이것은 예측이 틀렸다는 뜻이 아니며, 다만 언제나 불완전하다는 뜻이다. 이것 때문에 빅 데이터가 내놓는 통찰이 무효가 되지는 않으며 그저 빅 데이터의 제자리가 어디인지 알려주는 것뿐이다.
빅 데이터의 시대가 인류에게 가져오는 변화는 매우 급격한 것이라 생각된다. 하지만 우리들 대부분은 그것이 어떻게 우리에게 다가오고 있는지 실감하지 못하고 있는 듯하다. 지금까지와는 완전히 새로운 세상이기도 하고 지금껏 우리가 경험해보지 못한 끔찍한 세상이 될 수도 있을 것이다. 빅 데이터가 인류에게 어떠한 의미와 가치를 가지고 어떠한 변화를 가져다 줄지는 그것을 이용하는 사람들에게 달려 있다.
[빅데이터 시대 ①] 빅데이터는 기회다. 그리고 미래다.
미국의 한 대형 슈퍼마켓에서 한 여고생에게 임신용품 광고 이메일을 보냈다. 그 이메일을 본 여고생의 아버지는 크게 분노했고, 슈퍼마켓을 찾아가 거세게 항의했다. 미성년자인 딸을 임신부으로 오해한 슈퍼마켓에 화가났던 것이다. 당황한 슈퍼마켓 담당자는 쿠폰이 잘못 발송된 것으로 판단하고 해당 아버지에게 정중히 사과 했다. 그러나 그로부터 몇 주 뒤, 그 여학생은 정말로 임신을 했던 것으로 밝혀졌다. 가족도 몰랐던 여고생의 임신사실을 슈퍼마켓은 더 정확하게 예측했다.
도대체 어떻게 이런 일이 발생할 수 있었을까.
여고생에게 임신용품 할인쿠폰을 발급했던 대형마트는 고객들의 구매 패턴 데이터를 수집해서 분석한 후 남성, 여성 그리고 연령별로 다양한 집단들의 구매패턴을 분석했다. 그리고 그 여고생이 임산부가 보이는 구매 패턴을 보이자, 임산부로 예측하고 쿠폰 메일을 발송했던 것이다.
세계 최대 온라인 서점인 아마존닷컴에서 책을 구입해본 사람이라면 한 번쯤 “아마존은 어떻게 내가 읽고 싶은 책을 이렇게 잘 알고 있지?”라는 생각을 했을 법 하다. 아마존닷컴은 고객이 구입한 책을 면밀히 분석한 뒤 다음 고객이 읽을 것으로 예상되는 책을 추천하고 이를 살 수 있는 쿠폰을 제공한다. 도저히 책을 사지 않을 수 없도록 만드는 것이다.
또한 아마존닷컴은 유아용 세발자전거를 구매한 고객 대부분이 세발자전거 안장벨트를 함께 산다는 사실도 알아냈다. 이를 토대로 세발자전거를 구매하고도 안장벨트를 사지 않은 고객에게 할인쿠폰을 발급했다. 결과는 대성공이었다. 과거 데이터 분석은 고객 성향을 분류해 파악하는 수준이었다면 빅데이터 시대에는 쿠폰 발송과 같은 의사결정까지 연결되는 것이다.
우리나라에도 비슷한 사례가 있다.
신한카드의 모바일 전자지갑 ‘스마트월렛’ 어플리케이션(앱)에는 ‘여기좋아’라는 이름의 맛집 추천 기능이 있는데 ‘CEO맛집’. ‘청담동며느리’라는 하위 메뉴를 보며 “어떻게 신용카드사가 부유층이 자주가는 식당을 찾아낼까”하며 궁금했다면 빅데이터를 떠올리면 된다.
이 카드사는 여러 결제 정보를 조합해 부유층 고객이 주로 가는 마트 결제 고객을 걸러내고 이들 중 실제 거주지가 강남이면서 카드 사용액이 일정 수준 이상인 사람을 부유층으로 판단, 이들이 자주 가는 맛집을 추려 ‘청담동 며느리 맛집’으로 추천했던 것이다.
데이터는 답을 알고 있다!
대형 마트와 아마존은 물론 전 세계 글로벌 기업들은 이렇게 고객들의 구매 패턴을 분석해서 구매성향까지 예측해내는 기술을 사용한다. 다양한 종류의 방대한 자료 중에서 경제적으로 필요한 가치를 추출해 재가공하고 분석하는 이른바 ‘빅데이터 기법’을 사용하는 것이다.
빅데이터(Big Data)란 데이터의 생성 양, 주기, 형식 등이 기존 데이터에 비해 너무 크기 때문에, 종래의 방법으로는 수집, 저장, 검색, 분석이 어려운 방대한 데이터를 말한다.
빅데이터는 인터넷의 발달로 데이터가 늘어나면서 등장했다. 데이터를 저장할 수 있는 메모리용량이 커지고, 처리기술이 발달함에 따라 이를 분석해 사회현상의 변화를 추적하고, 새로운 법칙을 발견할 수 있는 가능성이 커진 것이다.
일부 학자들은 빅데이터를 통해 인류가 유사 이래 처음으로 인간 행동을 미리 예측할 수 있는 세상이 열리고 있다고 주장한다. 대표적인 학자로 미국 매사추세츠공과대학 토머스 멀론(Thomas Malone) 집합지능연구소장이 있다.
빅데이터는 정보통신기술업계(ICT)에 국한된 얘기가 아니다.
존재하지만 포착할 수 없었던 사람들의 속내와 욕망을 파악해 숨겨져 있던 흐름을 보여주는 도구로서 빅데이터의 가치는 상상을 초월한다. 총선, 대선 등 선거때마다 유권자의 표심을 보여주는 방대한 사회관계망(SNS) 데이터들이 크게 주목을 받았던 것을 보면 알 수 있다. …<계속>
윤수영 사이언스올 편집위원
빅데이터 시대 새로운 가능성과 전략
정보기술의 발전은 수많은 데이터를 분석하여 새로운 가치를 찾아내는 시대로 접어들고 있다. 과거 얼마나 성능 좋은 IT기기를 가졌느냐, 얼마나 편리한 응용프로그램을 개발하느냐가 경쟁력이었다며, 이제 수많은 데이터를 어떻게 잘 활용하느냐가 경쟁력인 시대로 접어들고 있다. 즉, 데이터의 폭발적 증가로 데이터를 통한 새로운 가치와 가능성에 집중하는 ‘빅데이터(Big Data) 시대’가 도래하게 된 것이다. 데이터가 IT와 별도로 주목받으면서 데이터가 자원으로써 축적과 공유를 통해 엄청난 규모로 쌓이면서 데이터의 역할은 ‘분석과 추론(전망)’의 방향으로 진화하고 있다. 대규모 데이터를 기반으로 한 자연언어처리, 기계 학습(Machine Learning), 인공지능 기술로 맥락 이해와 추론 서비스의 상용화되고 있다. 이에 따라 지능형 서비스들은 분석 데이터가 늘어나고, 기계학습이 진행될수록 인간의 언어에 대한 맥락의 이해도가 상승하고 있다. 이는 기존과 달리 새로운 분석기술을 기반으로 대용량 데이터가 새로운 서비스를 개발하는 가능성을 열고 있는 것이다. 새롭게 추가된 추론의 영역은 IT산업의 성장동력으로 부상할 수 있으며, 의료, 금융, 공공 등을 혁신할 수 있는 新산업분야를 개발할 수 있도록 한다. 또한, 개개인의 취향, 관심 있는 정보의 성격, 상태, 개인 의중에 맞는 맞춤형 개인화 서비스, 인공지능 서비스로 IT기반의 서비스 패러다임도 변화해 나가고 있다. 데이터의 양적 팽창은 이를 어떻게 활용하느냐에 따라 새로운 기회를 발견하는 핵심 수단이 되고 있다. 즉, 빅데이터를 잘 활용하면 미래사회에서 새로운 기회를 창출하고, 위험을 해결하는 사회 발전의 엔진 역할을 수행 할 것으로 기대된다. 미래사회의 불확실성과 리스크를 통찰력을 바탕으로 대응할 수 있도록 할 것이며, 융합에 의해 점점 스마트해지는 사회에 새로운 창의력을 기반으로 경쟁력을 강화시키는 핵심 수단이 될 것이다. 우리정부도 지난 몇 년간 정부의 데이터가 중요한 가치창출의 기반임을 인지하고 공공데이터 공개 개방을 지속적으로 추진하였다. 또한, 적극적인 빅데이터 활용을 통한 정부혁신과 국가경쟁력 제고를 위해 국가정보화전략위원회, 방송통신위원회, 행정안전부 등에서 빅데이터를 활용하는 다양한 정책을 마련하고 있다. 이러한 국가적 전략에 기반하여 앞으로 범정부적으로 데이터를 수집-관리-활용할 수 있는 체계를 마련하고 이를 바탕으로 한 합리적 정책결정과 서비스 개발을 위한 노력이 필요한 시점이다. #빅데이터 #빅데이터 전략 #공공데이터 활용
빅데이터 시대의 도래
기존의 기술로는 처리하기 힘든 복잡하고 규모가 큰 데이터군을 가리키는 ‘빅데이터’가 시장에서 높은 관심을 받고 있다. 빅데이터에 숨겨진 높은 가치를 지닌 데이터를 통해 새로운 지식이나 통찰을 얻고, 경쟁 우위 및 비즈니스 기회를 획득하는 것이 성장 전략의 축이 될 것이라는 인식을, 많은 기업이 갖기 시작했기 때문이다. 여기에서는 빅데이터를 관리할 때의 주의점, 빅데이터가 형성되어 온 경위, 빅데이터의 가능성에 관해 간략히 기술하고자 한다.
세계의 정보량이 연간 59%의 비율로 증가하는 시대로 도래
브로드밴드의 보급 및 스토리지 용량의 확대, 데이터 병렬 분산 처리 기술 및 인메모리 데이터 기반 기술의 실용화로 인해, 데이터 활용의 흐름 속에 빅데이터를 포함시킨다는 개념이 각광을 받고 있다. 소셜 미디어나 모바일 단말기의 보급으로 인해, 새로운 형태의 데이터가 증가하였다. 빅데이터는 기업이 가진 데이터의 ‘양’과 ‘질’이 지금까지와는 완전히 다르다는 점에서 새롭다.
양적인 측면에서 살펴보자. 빅데이터의 명료한 정의는 아직 존재하지 않으며, 그 범위는 전문가에 따라 다르지만, 수백 테라바이트에서 펩타바이트 수준의 데이터에 이를 것으로 보는 것이 타당하다.
대용량을 전제로 하는 빅데이터는 질적인 측면에서도 특징이 있다. 빅데이터의 분석 대상은 릴레이셔널 데이터베이스에 격납되어 온 구조화 데이터뿐 아니라 텍스트와 음성, 감시 카메라에 녹화된 영상, 그래프 형식의 데이터, 주가 데이터, 회계 트랜젝션 등 다양한 종류의 비구조화 데이터가 포함된다.
또한 실시간성이 높다는 특성 역시 빅데이터의 요건이라 할 수 있다. 높은 빈도로 수집 및 축적되는 데이터를 취급하는 경우, 기존에 비해 더욱 빠른 처리가 요구된다. 예를 들어, 웹서비스를 제공하는 사업자는 아이템의 구매 요인이 되는 키워드를 추출하기 위해 끊임없이 수집되는 클릭 데이터를 통해 고객의 행동을 분석하려 한다. 클릭 데이터를 비롯하여 센서 기기로부터 수집되는 데이터, 전지구 측위 시스템(GPS)의 위치 정보, RFID가 생성하는 데이터 등은 즉시성이 높은 데이터의 대표적인 예이다.
미국의 조사회사 가트너는 빅데이터의 관리에 있어 기업이나 CIO가 정보의 양뿐 아니라 다양성 및 속도와 같은 과제에도 초점을 맞추어야 한다는 견해를 갖고 있다. 세계의 정보량이 연간 59%의 비율로 증가하는 빅데이터 시대에는, 양에 대한 대응에만 눈을 돌리게 된다고 지적한다. 빅데이터의 양에 대한 과제에만 주의를 빼앗기면 근시안적인 판단에 빠져, 다양성 및 속도와 같은 다른 국면에 대응하는 데 2~3년이 걸리는 대규모 재투자가 필요하게 된다. 그러므로 기업은 정보 관리의 모든 국면에 대처하는 계획을 세우고, 데이터에 대한 접근방식을 근본에서부터 재검토해야 한다는 경종을 울리고 있다.
미국의 컨설팅 회사 맥킨지의 조사 부문인 맥킨지 글로벌 인스티튜트가 발행한 보고서 ‘Big Data: The next frontier for innovation, competition, and productivity’에서는 빅데이터의 비즈니스적 가치에 대해 언급한다. 빅데이터는 한 곳에 쌓인 데이터의 덩어리로서, 커뮤니케이션 및 의사결정의 근거가 되기 위해 분석되는 존재이다. 데이터는 물적 자본이나 인적 자본과 마찬가지로, 효율적인 생산 활동을 하는 데 꼭 필요한 존재다. 모든 분야에 유입되는 빅데이터가 세계 경제 또는 비즈니스에 미치는 영향이나 가능성은 경영자에 있어 미래의 중요한 쟁점이 되고 있다.
컴퓨터 기술의 발전이 빅데이터를 형성
기술적인 관점에서 데이터량의 시계열 추이를 .생각해 보자. 메인 프레임이나 오피스 컴퓨터 시대의 중앙 집권 아키텍처가, 당시보다 빠르게 처리할 수 있게 된 분산형 처리의 클라이언트/서버 모델로 전환되어, 업무 단위로 운용되는 서버 및 각 클라이언트 단말기의 하드 디스크로 데이터가 분산 관리되게 되었다. 사내의 데이터량은 서서히 증가하였고, 기업에서는 중요한 데이터를 데이터웨어 하우스에서 일원적으로 관리하기로 했다. 이처럼 아키텍처의 변화는 비즈니스의 니즈에 대응하고자 발생하였고, 컴퓨터가 비즈니스의 니즈에 대응함으로써 데이터가 축적되게 되었다. 그리고 지금은 클라우드 컴퓨팅이 화제가 되고 있다. 이러한 거대한 흐름 속에서, 기업이 관리하는 데이터는 지금까지와는 비교도 되지 않을 정도의 규모와 속도로 증가하고 있다.
한편, 비즈니스/업무의 관점에서 보면, 기업은 의사결정의 기반으로서 데이터를 활용하고 싶다는 니즈를 갖고 있다. 예를 들어, 소매업에서는 POS 데이터를 축적ㆍ분석하고, 상품의 전환 및 진열의 최적화를 실시해 왔다.
또한 EC 사이트 운영업자는 자사 웹사이트의 액세스 로그를 분석함으로써 방문자가 어떤 페이지를 살펴보고 구입하게 되었는지, 또는 이탈했는지를 파악하여, 사용자가 필요로 하는 정보를 더욱 쉽게 취득할 수 있도록 웹사이트를 개량하고 있다. 제조회사의 수요 예측 및 화학 기업의 생산 라인 최적화, 의류 회사의 출점 전략 등, 기업은 다양한 상황에서 데이터를 분석함으로써 훌륭한 의사결정을 하려 해 왔다.
적절한 의사결정을 위해서는 더 많은 데이터를 분석하고, 전체를 파악해야 한다. 앞서 기술한 바와 같이, 기업이 관리하는 업무 데이터는 계속해서 증가하고 있으며, 컴퓨터 기술의 발전에 의해 관리할 수 있는 비구조화 데이터도 폭발적으로 증가했다. 이리하여 빅데이터가 생겨나게 되었으며, 그것을 분석하여 의사결정에 활용하려는 접근방식은 당연한 수순이라 할 수 있다.
빅데이터의 본질은 최적의 의사결정을 내리는 것
빅데이터는 지금까지의 기술적 성장의 연장선상에 있는 개념이며, 새로운 테크놀로지를 가리키는 말이 아니다. 빅데이터가 주목받아온 것은 구조화 데이터만을 대상으로 하는 데이터 활용은 ‘누구나 하고 있는 기존의 방식’에 지나지 않으며, ‘경쟁자를 이기기 위한 최신 분석을 실시하고 싶다’는 기업의 니즈와 합치되기 때문이다.
예를 들어, POS 데이터를 이용하지 않는 소매업자는, 이제는 거의 없다고 해도 좋다. 그런데 불과 수십 년 전에는 어떤 기업도 활용하지 않았었다. 하지만 실제로 이용함으로써 그 가치를 깨닫게 되었다. 앞으로 여러 해 후면, 빅데이터는 당연하게 활용될 것이며, 빅데이터라는 말도 사라지게 될지 모른다.
빅데이터의 본질은 단순히 대용량 데이터를 빠르게 처리하는 것이 아니며, 빠르게 도출해낸 분석 결과를 통해 미래의 경향이나 패턴을 예측하여, 최적의 의사결정을 내리는 것이다. 이 점을 깨달은 많은 기업은 빅데이터 활용의 효율성을 역설하여 마인드셋을 다시 형성함과 동시에 대량의 데이터를 활용하여 질 높은 의사결정을 실시하는 구조를 만드는 데 착수하고 있다.
이미 빅데이터를 고도로 분석하는 기술 기반은 마련되었다. 이것은 기업이 언제든지 빅데이터를 활용할 수 있음을 의미한다. 초기부터 막대한 투자를 할 필요는 없다. 스몰 스타트에 의해 정보 시스템 부문과 업무 부문을 합치고, 작은 성공 체험을 바탕으로 분석 기반을 브러시업하며, 데이터 활용 범위를 확대해 나가는 과정을 밟아 나가는 것도 선택지 중 하나다. 빅데이터에 대한 도전은 시행착오의 연속이겠지만, 기업에 있어 결코 쓸모없는 일이 되지는 않을 것이다. 빅데이터의 활용 기반을 마련하게 되면, 컴플라이언스상의 리스크나 업무 비용 절감, 정합성을 담보하는 정보 환경의 실현 등, 많은 가치를 얻게 될 것이다.
[2022 (빅)데이터의 가치와 혁신 기술 트렌드 및 비즈니스 전망] 보고서 상세보기https://www.irsglobal.com/shop_goods/goods_view.htm?category=02000000&goods_idx=85044&goods_bu_id=
빅데이터 시대, 성과를 이끌어 내는 데이터 문해력
출판사 리뷰
데이터 문해력(literacy)_데이터를 읽고 해석해서 활용하는 능력
분석보단 활용, 결과가 아닌 결론을,
데이터의 가치와 쓸모를 넓히는 아주 쉬운 활용 안내서
“데이터를 활용해 성과를 내고 싶다고 생각해서, 인터넷이나 주변에서 손에 잡히는 데이터를 긁어모아 그래프나 표 등으로 가공한 다음, ‘이걸로 대체 뭘 설명할 수 있을까’를 고민하기 마련이다. 그리고 한참 있다 정신 차려 보면 몇 개의 곡선 그래프나 막대 그래프, 평균치 표 등만 나열되어 있다.” “도대체 이것으로 무슨 말을 해야 할까?” “더 좋은 방법이 없을까……?
16P
데이터가 여러분에게 직접적인 답을 주는 경우는 없습니다. 설령 아무리 고난도의 통계와 분석 방법을 구사하더라도 말입니다. 대신, ‘당신이 무엇을 알고 싶은지, 이를 알게 되면 무엇을 하고 싶은지, 이를 위해서는 어떤 데이터(지표)가 필요한지’를 구체적으로 생각하는 것이 무엇보다도 중요합니다.
26P
이러한 생각 없이 우연히 눈에 띈 데이터를 모아 그래프로 그려 봤자, 의미 있는 결론이 나오길 기대할 수 없습니다. 거기서 알게 되는 사항은 어쩌다 나온 사소한 발견일 뿐입니다. 그 안에는 어떠한 논리성도 객관성도 없다는 것을 이전에도 설명한 바 있습니다.
42P
‘데이터를 활용했지만, 정보가 효과적으로 도출되지 않는다’, ‘데이터 분석을 능숙하게 할 수가 없다’라는 고민도 그 원인은 분석 방법이나 통계에 있는 것이 아니라 대체로 앞선 예와 같이 불충분하고 부적절하게 문제를 정의했기 때문에 발생합니다. 한편, 이는 비단 데이터 활용이나 분석에 국한된 이야기가 아닙니다. 일반적인 문제 해결이나 논리적 사고와 같이 데이터가 사용되지 않을 때에도 본질적으로 같습니다. 문제를 설정할 때, 다음과 같은 질문을 항상 자신에게 되물었으면 합니다. 나는 문제를 명확하게 정의해 풀고 있는가?
55P
데이터를 활용해서 결과물을 만들 때, 자기 생각과 주관을 전하면 안 됩니다. 더욱 엄밀하고 객관적으로, 논리적인 주장을 전달해서 상대방이 이해할 수 있도록 해야 합니다. 아무리 데이터 활용에 초보자일지라도 이 점은 절대 잊지 말아야 합니다.
88
당연한 말이지만, 결론을 심정적으로 정해놓고 데이터로 평가하려다 보면, 그 결론과 다른 결과가 나올 경우 결론 자체를 바꿔야 할 수도 있습니다. 만일 데이터를 결론에 억지로 짜 맞추게 되면 본말전도이기 때문에 더더욱 주의가 필요합니다.
89P
만일 여러분이 직접 지금까지 배운 내용을 실행에 옮기려고 할 때 어렵다 느껴지고 막혔다면, 다음과 같이 ‘단순하게’ 생각해보는 것이 어떨까요? 제가 항상 강의할 때 전하는 말입니다. “당신이 현재 직면하고 있는 문제나 그 배경에 대해 전혀 모르는 제3자가 바로 앞에 있다고 상상하세요. 그 사람에게 당신이 다루는 문제를 데이터로 설명하려면 무슨 데이터를 어떻게 보여주면 좋을까요?”
129P
무엇이 원인인지 깊게 따져보는 것이 아니라 ‘아무것도 안 하는 것보다는 낫다’라는 식으로 아이디어를 제안하는 경우가 많습니다. 한정된 자원과 시간 속에서 ‘아무것도 안 하는 것보다 낫다’는 수준으로 대책을 세운다면, 사실 안 하는 것이 더 낫습니다. 효과적일 것이라 예상되는 방법을 객관적으로 검토해보고, 이에 집중해서 비용 대비 효과를 극대화하는 것이 가장 중요합니다.
138P
여기서 말하는 논리적 사고란, 개별 데이터와 분석에 대한 것이 아니라, 전체적인 스토리를 탄탄히 구성하고 결론의 설득력을 높이기 위한 사고력과 구성력을 말합니다. 이를 제대로 갖추지 않으면 아무리 고품질의 데이터를 대량으로 수집하고 완벽한 방법론으로 분석했다 해도, 상대방을 설득하기는 어려울 것입니다. 설득이 어려운 이유는 전체적으로 흐름과 논리성에 맞지 않기 때문입니다.
169P
만약, 맞든 안 맞든 상관없으니 참신한 아이디어만 내면 된다는 생각이라면, 애당초 데이터는 필요 없습니다. 필자는 이런 상황의 작업자를 ‘방법맨’이라고 부르고 있습니다. 세상 이곳저곳에는 ‘방법맨’투성이란 이야기를 하면 많은 분이 공감하십니다.
174P
결과와 결론에 이르는 과정은 본질적으로 같습니다. 결론이란 결과를 기반으로 도출하는 것이기 때문입니다. 하지만 표현 방식은 다릅니다. 그리고 그 작은 차이가 상대방에게 전달되는 방식이나 이해도에 큰 영향을 미칩니다. 이 차이를 이해하는 것 또한 데이터 문해력에 있어서 중요한 요소입니다.
195P
그 밖에도 인간이 정보를 수집할 때 일어날 수 있는 위험으로 ‘인지 편향’이라 불리는 몇 가지 선입견을 들 수 있습니다. 인간은 누구나 100% 객관적이고 합리적인 판단이 불가능하며, 여러 가지 편향적인 경향이 존재합니다. 의도와는 관계없이, 자신에게 더 유리한 정보에 치우쳐 분석하거나, 더 유리하게 해석하여 결론을 내리는 경우가 많이 있습니다. 아마 모든 사람이 경험했을 것입니다.
206P
‘무엇이 정답입니까?’라고 물으면 안 됩니다. 이 세상에서 정답이 한 가지뿐인 것은 학교에서 출제하는 시험 문제뿐입니다. 여러분은, 어떤 결론이 적절하다고 생각하십니까? ‘스스로 정답을 만들어내고 이를 논한다’라는 자세를 흔들림 없이 유지하는 것 또한 데이터 문해력의 중요한 요소입니다.
208P
‘해야 한다’와 ‘안 해도 특별히 문제는 없다’라는 인식 간에는 압도적인 차이가 있습니다. 여러분의 조직과 팀에서는 ‘데이터를 활용하는 것’, ‘논리적으로 제안하고 문제 해결을 하는 것’ 중 어느 쪽에 중점을 두고 있습니까? 사람은 나약한 존재이기 때문에, 지금 바로 ‘하지 않아도 특별히 문제가 없는 것’에 대한 우선순위는 필연적으로 낮아집니다. 번거로운 데이터 활용 추가 작업에 비한다면, ‘반드시 해야 할 일’, ‘친구와 노는 것’, ‘오늘 밤 한잔하러 가는 것’이 더 우선시될 것입니다. ‘데이터 활용은 중요하다’라고 말하면서, 실제로는 ‘안 해도 특별히 문제없는’ 상황인 경우가 많을 것입니다. 하지만 제도나 평가에 ‘데이터 활용’을 도입하고 업무 시스템으로 ‘반드시 해야 할 일’로 명시하고 있는 조직 또한 실제 존재합니다. 그런 조직은 ‘앞으로 나아가고’ 있습니다.
233P
‘데이터를 활용한다’란, ‘잔재주’로 가능한 것이 아닙니다. ‘올바른 목적을 설정하고 그 목적에 따라 데이터를 활용해서, 적절히 제시한 결과를 결론으로까지 끌어낸다’는 본질적인 흐름을 중시하고, 과정 하나하나 신중히 밟아가야 합니다. 그것이 바로 가치 있는 성과를 창출하기 위한 필수 조건이란 점을 이 책을 통해 느끼셨다면 바랄 나위 없겠습니다.
237P
키워드에 대한 정보 빅 데이터 시대
다음은 Bing에서 빅 데이터 시대 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 빅데이터 시대, 우리가 꼭 알아야 하는 것3
- 빅데이터
- 올빼미버스
- 마이크로러닝
빅데이터 #시대, #우리가 #꼭 #알아야 #하는 #것3
YouTube에서 빅 데이터 시대 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 빅데이터 시대, 우리가 꼭 알아야 하는 것3 | 빅 데이터 시대, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.