빅데이터란?
빅테이터란 기존 데이터에 비해 너무 방대해 일반적으로 사용하는 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등을 하기 어려운 정형 또는 비정형 데이터 세트이다. 즉 이전에 없었던 "거대한 가치 추출이 가능할 만큼" 충분한 규모를 가지는 데이터라고 할 수 있다. 따라서 빅데이터를 분석한다는 뜻은 다음과 같이 정의할 수 있다. 기존 데이터 베이스 관리도구로 데이터를 수집, 저장, 관리, 분석 할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 것이다.
빅데이터 등장 배경
빅데이터가 출현하게 된 이유는 다양한다. 우선 빅데이터 인프라의 발전이 있다. 데이터 저장기술 및 컴퓨터 프로세스 기술의 발전, 네트워크 환경등의 가격대비 성능향상이 첫번째 이유가 될 수 있다. 다음으로 대기업들의 고객데이터 수집 및 Digital transformaion의 확산 처럼 빅데이터가 인공지능(머신러닝/딥러닝)의 재료가 되기 때문이다. 또한 SNS의 확산도 큰 영향을 주었다. 특히 페이스북, 인스타그램, 트위터 등 가치있는 비정형 데이터의 증가와 더불어 간접 데이터도 증가하였다. 마지막으로 YouTube 등 동영상 파일의 증가(멀티미디어 데이터의 폭증)와 사물인터넷(IoT)기술의 발전을 말할 수 있다.
빅데이터 전문가, 데이터 과학자
4차 산업혁명 시대에서 우리에게 요구하는 새로운 미래역량은 "데이터 분석 및 활용 능력"이다. Google Economist, Hal R. Varian에 따르면 데이터를 이해/처리하는 능력, 데이터에서 가치를 뽑아내는 능력, 데이터를 시각화하는 능력, 데이터를 잘 전달하는 능력이 요구된다. 이러한 일을 하는 직업이 데이터 과학자(Data Scientist)이다.
특히 미국에서는 데이터 사이언티스트가 최고 직업 1위로 뽑히고 있다. 막대한 비용을 들여 데이터들을 저장하고 있지만, 이 데이터를 분석하고 활용하는 사람은 부족하다. 따라서 데이터 과학자라는 직업의 전망은 밝고 데이터 과학자의 전성시대라고 말할 수 있다. 또한 하버드 비즈니스 리뷰(HBR)에서는 데이터 과학자를 21세기 가장 섹시한 직업이라고 표현했다.
데이터 과학자가 되기 위한 필요 역량
데이터 과학자는 IT와 비즈니스 도메인에 대한 지식과 경험, 통계학 및 수학적 지식을 갖춘 빅데이터 전문가로 이들의 가장 중요한 역할은 데이터 속에서 새로운 무언가(가치)를 발견하는 것이다. 형체가 없는 방대한 양의 데이터(비정형데이터)를 결합, 구조화해 분석을 실행하고 발견한 사실이 비즈니스 방향에 어떠한 영향을 미치는지 설명할 수 있어야 한다.
위의 그림을 보면 이해가 쉬워진다. 가장 필요한 역량은 프로그래밍 능력과 수학,통계,확률의 기초개념, 마지막으로 적용영역(Domain)에 대한 지식이다. 부가적으로 비즈니스 문제를 해결하기 위한 감각, 강렬한 호기심, 고객과의 공감력이 필요하다고 할 수 있다. 데이터에 관심이 있고 데이터 과학자가 되고싶다면 프로그래밍 능력(파이썬과 R), 수학,통계에 대한 지식, 비즈니스관련 지식에 대해 미리미리 공부해두면 좋을 것이다.
