빅 데이터 시대와 데이터 과학자(Data Scientist)

IT는 기술의 발전에 따라 혁신과 변화를 거듭해 왔다.

70년대 메인 프레임에 기만한 최초의 컴퓨터 시대가 출범한 이후 메모리, CPU, 하드 디스크 등의 제조 기술이 급속도로 발전하면서 80년대에 개인용 컴퓨터시대가 시작되었다. 인터넷이 확산되면서 모든 컴퓨터가 네트워크에 연결되고 90년대 들어서 기업용 애플리케이션이 본격적으로 확산되었다.

최근에는 애플의 아이폰 등장 이후 스마트폰이 폭발적으로 확산되고 네트워크 접속 비용과 하드웨어 제조 단가가 비약적으로 낮아지면서 자동차, 가전 등 모든 기기에 인터넷이 연결되어 정보 시스템이 일상의 모든 환경에 적용되고 있는 유비쿼터스 시대에 진입했다. 스마트폰, 센서 등이 일상화되면서 정보의 종류와 양이 과거와는 비교조차 할 수 없을 정도로 급격하게 늘고 있다.

이러한 IT의 확산에 따라 급격하게 늘어나는 데이터를 일명 빅데이터라고 한다. 물론 빅데이터에 대한 정의는 여러 측면에서 할수 있겠다. 그러면 이러한 빅데이터는 정말 큰 이슈일까?

구글 트렌드 분석에 의하면 빅데이터는 2011년 이후 급속하게 검색이 증가하고 있다. 그리고 사회에서 빅데이터가 이슈가 되고 있는 지역은 인도, 한국, 미국 순이다.

미국은 소프트웨어 강국이니 말할것도 없지만 그 외 국가의 경우 인도와 한국에서 큰 이슈가 되고 있는 것은 흥미로운 사실이다.조금 오버하자면 필자 개인적으로는 이제는 듣기 싫을 정도로 너무 많이 들어서 Big 소리만 들어도 질릴 지경이다. 한국의 경제연구소와 대학 논문, 정부 기관에서 빅데이터에 대해서 하루가 멀다하고 리포트와 보고서를 쏟아내고 있으니 말이다.

그렇다면 정말 빅데이터를 기업 입장에서는 어떻게 해야 할까?

경험상 먼저 두가지만 이야기하고 싶다. 우선 요즘 기업 중에 빅데이터가 중요하다고 IT 벤더를 불러다 놓고 빅데이터 솔루션으로 시스템을 구축해달라고 이야기하는 사람은 없을 것이다. 정말 중요한 것은 새 집을 짓는 것이 아니고 내가 이미 갖고 있는 것을 잘 돌아보는 일이다.

기존에 갖고 있는 데이터를 돌아보자. 정보화 사회로 진입한 이후 기업은 고객에 대한 데이터를 오랫동안 쌓아두고 있었다. 이제는 이 데이터를 새로운 시각으로 재해석하는 것이 필요한 시점이다. 기술의 발달로 저렴한 비용으로 대용량의 데이터에 대한 처리와 분석 기술이 가능해졌다.

기존의 데이터를 분석하고 재해석하는 것은 기업이 생각지도 못했던 새로운 사실이나 흥미를 끄는 고객에 대한 의미 있는 정보를 만들어 낼 수 있다. 예를 들어 미국의 대표적인 유통점인 Target(사)는 핵심 고객을 발굴하고 유지하는 것이 기업의 생존과 직결되는 것을 인지하고 출산을 앞둔 부모를 고객으로 확보하기 위해 자사의 데이터를 새롭게 분석하였다.

자사의 매출 데이터를 통하여 신생아를 갖은 부모들의 구매 패턴을 분석한 결과 고객의 구매 행태의 변화를 추적하여 ‘임신의 신호’를 포착하는 것이 가능하다는 것을 확인하였다.

예를 들어 임신 초기 20주에는 칼슘과 마그네슘이 많은 영양 보조제를 다량으로 구매하는 경향이 있으며, 임신 중기에 무향 로션을 다량 구매하며, 출산일이 다가오면 평소와 다르게 많은 무향 비누와 손 세정제, 신생아 소독용 코튼볼을 구매하는 등 구매 패턴에 따른 약 25개의 ‘신호 상품’을 발견하였다. 결과적으로 예비 부모의 구매 패턴을 파악하여 신생아의 출산 시기까지도 높은 확률로 예측이 가능하다는 것을 확인하였고, 임신 초기의 예비 부모들을 대상으로 캠페인 활동이 가능해졌다.

그래서 엄마도 모르는 딸의 임신 소식을 Target(사)는 알고 있다는 이야기까지 나돌았다.

-데이터 전문 인력의 중요성(Data Scientist) 
잠간 소개한 Target(사)의 사례와 같이 빅데이터의 핵심은 IT 솔루션이 아니라 방대한 데이터를 이해하고 분석하고 데이터 가운데서 의미 있는 정보를 가져올 수 있는 사람이다.

나중에 기회가 되면 소개하겠지만, 사실 요즘 뜨는 이 데이터 과학자(Data Scientist)만큼 노가다도 없다. 엄청난 데이터를 가지고 이리저리 뜯어보고 생각해보면서 그 정보에서 새로운 의미있는 가치를 빼내는 작업은 광산에서 금캐는 노동과 필적할 만한 지식 노동이라고 할 수 있을 것이다.

아무튼 기업 입장에서는 이러한 인력이 꼭 필요할 것이다. 과거 PC시대에는 하드웨어 제조 경쟁력이 경쟁 우위의 원천이었고, 현재 스마트 시대에는 소프트웨어가 경쟁력의 핵심이지만 그 다음은 Data 라고 말할 수 있다. 후기 정보화 시대에는 데이터를 소유하고 있고 제대로 분석할 수 있는 역량을 갖는 것은 새로운 핵심 역량으로 떠오를 것이다.

개인적으로는 데이터 분석 전문 인력이 기업 내에서 큰 각광을 받을 것으로 예상된다. 기업에서는 이런 인력을 키워야 할 것이다. 알고보면 그 인력이 하는 일은 고도의 지식 노동 이겠지만 말이다.

[출처] 빅데이터 시대를 준비하는 기업의 자세|작성자 Choice