IT 블루오션 ‘빅 데이터’ 세상을 바꾼다… 방대한 데이터 분석해 정보 추출

인터넷 검색사이트 ‘구글(Google)’은 2008년 이후 해마다 미국질병통제예방센터(CDC)보다 일주일에서 열흘가량 빠르게 독감유행시기를 예측하고 있다. 구글은 독감 증세를 보이는 사람이 늘어나면 ‘발열’, ‘기침’ 등 감기와 관련된 단어를 검색하는 빈도가 높아진다는 것을 발견했다. 구글 사용자들이 ‘구글링’을 통해 검색한 수십억 개의 검색패턴(데이터) 이른바 ‘빅 데이터(Big Data)’가 정부보다 빠르고 정확한 예측을 할 수 있는 힘을 제공한 셈이다.

최근 학계에서 빅 데이터가 주목받고 있다. 빅 데이터란 인터넷과 소셜네트워크서비스(SNS) 등 디지털 환경에서 생성되는 데이터로 그 규모가 방대하며, 생성 주기도 짧고, 수치뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다. 2012년 세계경제포럼에서 빅 데이터는 떠오르는 10대 기술 중 첫 번째로 꼽혔다. 한국마이크로소프트는 17일 올해 IT 분야의 주 키워드로 빅 데이터를 꼽았다. 특히 트위터와 페이스북과 같은 SNS 기반의 분석도구 외에도 각 업체들이 자체 보유한 데이터베이스(DB)를 기반으로 한 빅 데이터 활용이 늘어날 것으로 내다봤다. 한국정보화진흥원이 지난달 10일부터 14일까지 전문가 52명을 대상으로 실시한 설문조사에서도 응답자 중 71.2%가 ‘빅데이터 분석기술’을 가장 중요한 트렌드로 선정했다.

빅 데이터는 인터넷이 발달하고 스마트폰이 대중화되면서 더욱 급증하고 있다. 정보통신정책연구원 김한나 위원은 “트위터(tweeter)에서만 데이터가 하루 평균 1억5500만 건이 생겨나고 유튜브(YouTube)의 하루 평균 동영상 재생건수는 40억 회에 이른다”며 “글로벌 데이터 규모는 지난해 2.7제타바이트(zettabyte)였으며, 2015년에는 7.9제타바이트로 증가할 것으로 예측하고 있다”고 설명했다. 1제타바이트는 1000엑사바이트(exabyte)이고, 1엑사바이트는 미 의회도서관 인쇄물의 10만 배에 해당하는 정보량이다. 한국정보화진흥원 관계자는 “빅 데이터를 분석할 경우 기업의 소비자 동향 분석과 질병이나 사회현상의 변화에 관한 새로운 시각이나 법칙을 발견할 수 있다”고 말했다.

정보통신정책연구원 정용찬 위원은 “PC와 인터넷, 모바일 기기 이용이 생활화되면서 사람들이 남긴 발자국(데이터)은 도처에 찍힌다”고 설명했다. 예를 들어 인터넷쇼핑몰의 경우에는 구매를 하지 않더라도 방문자가 돌아다닌 기록이 자동적으로 데이터로 저장된다. 어떤 상품에 관심이 있는지, 얼마 동안 쇼핑몰에 머물렀는지를 알 수 있다. 1억2000만 명의 고객정보와 230만여 종의 서적 데이터를 보유하고 있는 세계 최초의 인터넷 서점 ‘아마존’은 회원들 개개인의 상품검색 및 구매패턴을 분석해 이용자 개인에게 맞는 쿠폰을 고객에게 전달하고 있다. 사용자가 직접 제작하는 UCC를 비롯한 동영상 콘텐츠, 블로그나 SNS에서 유통되는 텍스트 정보는 사용자의 성향뿐 아니라, 소통하는 상대방의 연결 관계까지도 분석이 가능하다. 때문에 빅 데이터 분석은 선거결과 예측에도 효과를 드러냈다. 정 위원은 “지난 서울시장 보궐선거에서 전통적인 여론조사 결과는 선거 당일까지 ‘박빙’의 승부를 예상했지만, 트위터 분석은 당시 박원순 후보의 우위를 예측했다”고 설명했다.

정 위원은 “빅 데이터의 활용은 기업 입장에서는 고객의 행동을 미리 예측, 대처방안을 마련해 기업경쟁력을 강화시키고, 생산성 향상과 비즈니스 혁신을 가능케 한다”면서 “공공기관도 시민이 요구하는 서비스를 제공하는 ‘기회’로 이를 활용하면 사회적 비용 감소와 공공 서비스 품질 향상이 가능하다”고 말했다.

Key Word-빅 데이터

데이터의 생성 양·주기·형식 등이 기존 데이터에 비해 너무 크기 때문에 종래의 방법으로는 수집·저장·검색·분석이 어려운 방대한 데이터다. 하지만 컴퓨터 및 처리기술이 발달함에 따라 이를 분석할 경우 질병이나 사회현상의 변화를 미리 예측·발견할 수 있다.

이사야 기자 Isaiah@kmib.co.kr