데이터 과학자만 있으면 OK? 빅데이터 분석팀의 5가지 필수 인력

<!--

데이터 과학자만 있으면 OK? 빅데이터 분석팀의 5가지 필수 인력

[ 2013년 08월 26일 ]

현업 사용자가 만족하는 빅데이터 분석 환경 구축 전략


1)빅데이터 분석, CRM의 쓰라린 추억을 잊었나


2)빅데이터 분석의 환상①누구나 게임 체인저가 될 수 있다?


3)해외 컨설팅 업체의 조언①딜로이트 “정보 자산을 알고 있는 실무자들과 먼저 논의하라”


4)해외 컨설팅 업체의 빅데이터 분석 조언②아링 “빅데이터를 비즈니스 임팩트로 전환하는 4단계”


5)데이터 과학자만 있으면 OK? 빅데이터 분석팀의 5가지 필수 인력


6)솔루션은 거들 뿐, 엔드유저가 외면하면 게임오버…실무자에 직관성과 속도를 허하라


7)진격의 셀프서비스BI: 데이터 디스커버리&비주얼라이제이션이 뜬다


8)빅데이터 분석의 환상②비정형 데이터가 모든 것? 정형 데이터와 통합·연관 분석 없인 껍데기


9)데이터 획득부터 분석, 판단, 실행까지 실시간 아니면 쓸모없다


10)빅데이터 분석이 일으킨 x86 서버의 반란…통합에서 다시 분산의 시대로

빅데이터 분석에 대한 관심이 높아지면서 데이터 과학자(데이터 사이언티스트)를 포함한 데이터 전문가 모시기 경쟁도 치열해지고 있다. 대학과 업계가 손잡고 개설한 데이터 전문가 과정도 여럿 있다. 하버드비즈니스리뷰(HBR)는 “많은 기업들이 데이터에서 가치를 도출하는 데 매달려 있는데 데이터에는 지나치게 많은 시간을 들이면서 데이터만큼 중요한 ‘사람들’에 대해선 별로 시간을 들이지 않고 있다”고 지적했다.


빅데이터 분석을 하려는 기업들이 사람에 대해서는 어떻게 투자해야 할까. 능력자를 고용하면 되는 걸까. 물론 그것도 중요하다. 그러나 빅데이터 분석에서 인력에 대한 투자는 뛰어난 숙련자를 고용하는 것 이상이다. HBR은 기업들이 두 가지 핵심 아이템을 도외시하는 경향이 있다고 지적했다. 그것은 △기업이 정말 필요로 하는 역할을 규명하는 것과 △기업의 고급분석 조직에 ‘고객 서비스’ 정신을 확립하는 것이다. 아래에 HBR의 ‘올바른 데이터 분석팀 꾸리기’ 조언을 요약 소개한다.






◇기업 빅데이터 분석팀 제대로 꾸리기=빅데이터 분석 전문가에 대한 수요는 갈수록 높아질 것으로 전망되고 있다. 매킨지 글로벌은 2018년경이면 미국에서만 분석 전문 인력이 수요보다 14만~19만명 부족할 것으로 추정한 바 있다.


하지만 “기업들은 수학과 과학 부문 인력을 채용하는 데 열 올리기 전에 빅데이터 시스템이 제대로 운영되도록 하기 위해 어떤 역할이 필요한지 규명하는 것부터 시간을 들여야 한다”는 것이 HBR의 조언이다. 기업마다 필요한 재능이 다를 수 있기 때문이다. 다만 HBR은 아래 5가지 역할(업무)이 기업의 고급분석 조직에 포함되어야 할 필수 스태프로 소개하고 있다.


①데이터 위생사(Data Hygienists)


우리말로 풀이하면 데이터 품질관리 책임자가 더 적절하다. 이들은 시스템으로 유입되는 데이터의 무결성과 적합성을 책임진다. 데이터의 전 수명주기에 걸쳐 무결성과 적합성이 유지되도록 해야 한다.


예를 들면 모든 시간은 동일한 가치를 가질까? 데이터세트를 연간 일수로 측정할 때 달력 기준으로는 연간 365일이지만 업무일수로는 260일이다. 만일 시간으로 따지면 연간 8765시간이 된다. 모든 가치는 동등해야 비교가 가능하다.


또 오래된 데이터 필드에 새로운 유형의 데이터를 오래된 필드명으로 넣는다면? 데이터베이스가 아닐 경우 새로운 제품 데이터는 이전의 제품 데이터를 덮어쓰게 되어 의미 없는 결과를 도출할 수 있다. 데이터 클린징은 데이터가 처음 캡처될 때부터 시작되어야 하며 이 데이터를 건드리는 모든 팀원들이 어떤 순간에나 지켜야 하는 것이다.


②데이터 탐색가(Data Explorers)


데이터 탐색가는 수많은 데이터를 걸러내 실제로 필요한 데이터를 발견하는 능력을 가진 사람이다. 이는 매우 중요한 업무다. 지금까지 단 한 번도 분석에 사용되지 않았던 데이터가 너무도 많기 때문이다. 또 따라서 이런 데이터들은 액세스하기 쉽게 저장되거나 계층화되어 있지도 않다.


현금등록기의 데이터가 좋은 예다. 현금등록기의 원래 기능은 기업들이 매출을 추적할 수 있도록 하는 것이다. 하지만 고객이 그 다음에 구매하려는 제품이 무엇인지 예측해내진 못한다.






③비즈니스 솔루션 아키텍트(Business Solution Architects)


비즈니스 솔루션 아키텍트는 데이터 탐색가가 발견해낸 데이터(비즈니스 목표를 위해 분석되어야 하는 데이터)들을 연계하고 구조화한다. 이 과정을 거쳐야 데이터를 분석할 준비가 되는 것이다.


비즈니스 솔루션 아키텍트들은 모든 사용자들에 대해 적절한 타임테이블에 따라 쓸모 있게 쿼리가 이뤄질 수 있도록 데이터를 구축한다. 어떤 데이터들은 분 단위로 액세스되지만 시간 단위로 액세스되는 데이터도 있다. 따라서 데이터는 매 분 혹은 매 시간 당 업데이트되어야 한다.


④데이터 사이언티스트


요즘 ‘핫’한 데이터 사이언티스트(데이터 과학자)의 역할은 비즈니스 솔루션 아키텍트에 의해 구조화된 데이터를 취하고 정교한 분석 모델을 만들어내는 것이다. 예를 들어 고객 행태를 예측하는 데 기여하고 고객 세그먼트 및 가격 최적화를 더 발전시킬 수 있다. 데이터 사이언티스트는 각각의 모델이 자주 업데이트되어 연관성을 지속하고 있는지 확인하는 책임이 있다.


⑤캠페인 전문가(Campaign Experts)


캠페인 전문가는 데이터 사이언티스트가 만들어낸 분석 모델을 현실에 적용하는 역할을 한다. 예를 들어 어떤 고객이 어떤 마케팅 메시지를 언제 받아야 하는지 구체적인 마케팅 캠페인을 제공하는 기술적인 시스템에 대해 통달해야 한다.


캠페인 전문가는 분석 모델로부터 습득한 것을 활용해 채널의 우선순위를 정하고 캠페인들을 배치한다. 예를 들어 규정된 세그먼트의 행태 이력을 분석해 이를 토대로 어떤 고객에게는 이메일을 처음 보낸 후 48시간 이내 우편물을 보내는 것이 가장 효과적이라는 사실을 도출할 수 있다.


HBR은 빅데이터 팀 내 데이터 이동 지도를 그리는 것이 중요하다고 조언한다. 사람과 머신이 주고받는 모든 데이터는 오너가 명확해야 한다. 이러한 매핑은 빅데이터 분석 팀원들이 개별 작업을 완료하는 데 그치지 않고 각각의 역할에 따른 업무를 수행하고 다음 사람에게로 완전하게 넘기는지 확인할 수 있도록 해준다.






◇데이터 분석팀에 고객 서비스 문화 개발하기=아무도 사용하지 않는 제품이나 서비스를 개발하는 것은 의기소침한 일이다. 따라서 데이터 분석팀은 자신들이 만들어낸 분석 모델이 기업 내부 비즈니스 유저에게 어떤 혜택을 가져다줄지 시연하고 이들을 설득해야 한다. 직장 동료인 비즈니스 오너들을 고객으로 생각하는 사고방식의 전환이 필요하다.


유통업체들은 성공하려면 고객을 이해해야 한다고 종종 말한다. 데이터 분석팀 역시 마찬가지다. 현업 실무자(비즈니스 오너)의 요구 사항을 이해하기 위해 정기적인 미팅을 가지고 있는가? 분석팀이 개발한 분석 모델의 퍼포먼스에 대해 피드백을 얻고 있는가?


데이터 분석팀은 항상 자문해야 한다. “어떤 사업부의 누가 우리의 분석 결과로 도움을 받을 수 있는가” 그리고 “비즈니스 유저들이 우리의 분석이 자신들의 성공에 도움을 주었다고 동의하는가”라는 질문에 말이다.


기업 내부 고객(비즈니스 실무자)이 데이터 분석팀을 신뢰하지 않고 분석 모델에 대한 확신도 없을 때 빅데이터 이니셔티브는 실패할 가능성이 높다. 그리고 신뢰는 투명성에서 비롯된다. 데이터 분석팀은 누가 무엇에 대해 어떤 작업을 하고 있는지 완전히 공개해야 한다.


또 현실적인 완료 예상 시간을 알려주어야 한다. 내부 고객들이 정보 기반의 의사결정을 내릴 수 있도록 데이터 분석팀이 구축할 분석 모델을 결정할 때 비즈니스 실무자들에게도 명확히 알려줘야 한다.


데이터 분석팀 내 서비스 조직의 문화를 적용하기 위해 비즈니스 성공에 따른 개인별 퍼포먼스를 측정할 필요가 있다. 또 얼마나 많은 새 분석 모델들이 내부 고객들(비즈니스 실무자들)에 의해 사용되고 있는지 추적해야 새로운 결과를 알 수 있다.


어떤 기업들은 분석 모델이 얼마나 혁신적이냐보다 내부 고객들이 얼마나 빨리, 그리고 광범위하게 분석 모델을 적용했는지에 기반을 두고 빅데이터 팀의 팀원들에게 보너스를 주기도 한다. 기술 중심 사고방식이 종종 겪는 오류를 미연에 방지하기 위해서다. 그 오류란 “나는 대단히 뛰어난 분석 모델을 개발했다, 아무도 사용하지 않는 것은 내 잘못이 아니다”라는 주장이다. 이는 또한 분석 모델이 비즈니스에 실제로 영향을 주기 전에 분석 모델 구축 단계에서 문제의 싹을 잘라낼 수 있도록 해준다.


빅데이터 분석팀을 성공적으로 조직하고 구성하기 위해서는 적절한 인력과 적절한 문화 둘 다 필요하다. 빅데이터 분석이 본격화되면 데이터 분석팀은 데이터를 처리하는 것보다 비즈니스 실무자에 데이터를 서비스하는 데 더 많은 시간을 보내야 할 것이다.


박현선기자 hspark@etnews.com


전자신문인터넷 테크트렌드팀

Copyright© ELECTRONIC TIMES INTERNET. All Rights Reserved.

-->