나의 트윗이 트랜드가 된다? (빅데이터의 이해)

 나의 트윗이 트랜드가 된다? 

 

2015년의 IT 정책은 ICBM으로 요약할 수 있다. IoT, Cloud, BigData, Mobile의 앞 글자를 딴 ICBM 이다. 

이 중 오늘은 Big Data에 대해 알아보려고한다. 

3-4년 전부터 빅데이터의 시대가 도래 할 것이라는 말이 있었고, 아직까지도 모두가 Big Data의 중요성에 대해 이야기한다.

 빅테이서 시대와 SNS의 상관관계?

SNS가 발달하면서, 인터넷은 말 그대로 ‘정보의 범람‘이 일어나고 있다.

페이스북의 경우 하루에 평균 27억 개의 좋아요가 눌리고,  3억 건의 사진이 업로드가 된다.

트위터에는 1분에 278,000개의 글이 올라온다.

구글은 웹을 인덱싱, 광고 처리, 검색을 처리하는데 하루에 20,000TB의 데이터를 하루에 처리한다고한다.

웹과 SNS의 발달로 데이터가 폭발적으로 증가하였다.

이에 따라 과거에 기존의 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리 분석 할 수 있는데 한계가 생겼다. 기존의 DB로 관리 할 수 없는 데이터를  '빅데이터' 라고 부른다.

 

 

 

 

빅데이터 처리 기술?

빅데이터를 처리하는 방식은 무엇일까? 

첫 번 째 방법은 Scale-up이다. 

서버 자체를 고가의 하이엔드 장비로 대체하는 방법이다. 

심플한 구성이 특징이지만, 성능확장에 제약에 있다는 단점이 있다.

두 번째 방법은 Scale-out으로 범용의 서버 여러 대를 묶어서 하나의 서버로 사용하는 방법이있다. 분산 파일 처리 시스템등의 구성은 복잡해지지만, 성능 확장성이 매우 크며, 확장에 필요한 비용이 저렴하다는 것이 장점이다.

 

 대용량의 IT 자원을 인터넷 공간에서 분산 처리하고 이 데이터를 다양한 단말기에서 불러오거나 가공할 수 있게 하는 환경을 클라우딩 컴퓨팅이라고한다.

빅데이터로 보는 세상?

빅데이터로 인해서 정확한 트랜드 분석이 가능해졌다. 

사람들이 실시간으로 올리는 트윗, 좋아요가 정보가 되는 것이다.  나의 트윗, 하나만 봤을 때는 무의미지만, 트윗 하나 하나가 모여서 대량의 정보가 되고, 다수가 공통적으로 말하는 내용이 대중이 무엇에 관심이 있는지를 알려주는 ‘트랜드’ 가 된다.

 

빅데이터의 성공 사례로 서울의 N버스 노선을 들 수 있다. 

심야시간에 유동인구가 많은 지역을 노선에 포함 하는 것이 관건이였다. 휴대전화의 통화 위치를 기반으로 유동인구를 파악했다고 한다.  

'어느 지역이 사람이 많을 것이다 ' 라는 단순한 직감 추측이 아닌, 데이터에 의한 정량적인 유동인구의 분포도를 예측 한 것이다.

빅데이터 전문가인 다음소프트 부사장 송길영씨는

 “사람들의 욕망이 존재하는 곳에 산업이 존재한다. 사람들의 욕망을 끝까지 보면, 지금 까지 충족되지 못한 (Unmet Needs)가 있고, 그곳에 산업의 답이 있다”

라는 말을 했다. 

즉 니즈를 파악하고 한발 앞서서 트랜드를 분석하면 성공적인 전략을 세울 수 있다는 뜻이다.  빅데이터는 기업이 나아가야할 방향을 제시해주는 나침반이라고 비유할 수 있다.

 

<정보& 사진 출처>

http://techcrunch.com/2012/08/22/how-big-is-facebooks-data-2-5-billion-pieces-of-content-and-500-terabytes-ingested-every-day/

http://techcrunch.com/2008/01/09/google-processing-20000-terabytes-a-day-and-growing/

http://news.heraldcorp.com/view.php?ud=20150604000817&md=20150605073233_BL

http://www.venturesquare.net/529875

http://www.zdnet.co.kr/news/news_view.asp?artice_id=20130702115100

안랩 대학생 기자 서강대학교 컴퓨터 공학과 류혜원