NHN '빅데이터? 우리에겐 진부한 얘기'

[김영리기자] "NHN에 있어 '빅데이터'는 진부한 주제다. 이미 NHN의 가장 큰 기술 경쟁력이자 기반 기술은 대용량 데이터다."

최근 IT업계의 화두로 떠오른 '빅데이터'도 NHN에 있어서는 새롭게 등장한 낯선 개념이 아니다. NHN이 수년 간 제공해 온 서비스 대부분은 방대한 데이터 기반이었다.

네이버 검색창에 새로 입력되는 질의어는 하루 평균 2천만 건. 처리해야 할 문서의 양 130억 건. 하루 발생하는 검색 로그는 3테라바이트.

지난 6일 열린 NHN의 사내커뮤니케이션 행사 '커넥트데이'에선 'NHN이 바라보는 빅데이터란 무엇일까'를 주제로 경영진과 직원들간 정보 공유가 이뤄졌다.

김상헌 대표는 "한 때 웹 2.0이 유행했지만 NHN은 이미 웹 2.0의 기본 정신인 개방과 공유 측면에서 지식iN 서비스를 운영해 왔다"며 "지금도 빅데이터가 화두가 되고 있으나 사실은 우리 서비스 많은 부분에서 이미 빅데이터 성격을 담고있다"고 설명했다.

NHN은 지난 2006년부터 검색 품질을 높이기 위해 대용량의 '빅데이터' 정보를 보다 체계적으로 처리하기 위한 시스템 개발 및 고도화에 착수했다.

데이터 로딩 속도 개선을 위한 '네뷸라(Nebula)' 시스템을 개발하고 이를 좀 더 고도화한 '쿠바(Cuba)'시스템을 한게임에 적용했다. 이후 수많은 시행착오를 통한 경험치가 반영돼 실시간으로 데이터 활용이 가능한 현재의 '메조'라는 로그 시스템이 구축됐다.

비즈니스플랫폼개발센터 김동욱 박사는 "'빅데이터'를 하기 위해 검색·랭킹·추천등의 서비스를 만든 것이 아니라 실제 서비스 적용을 위한 데이터가 '빅'했을 뿐"이라며 "빅데이터를 너무 과장되게 바라보는 것보다는 해결하려는 문제에 대한 본질을 응용할 수 있는 좋은 도구로 보는 것이 좋겠다"고 설명했다.

또 한차례, NHN에 있어 대용량 데이터 분석 기술이 발전하게 된 계기가 있었다. 지난 2010년 1분기 네이버 검색 점유율은 60%대까지 하락하며 회사에는 위기가 찾아왔다. 그러나 '빅데이터'를 활용한 검색품질 개선으로 NHN은 현재 70%에 달하는 점유율을 회복했다.

데이터정보센터 김유원 박사는 "당시 NHN은 'FAS(Feedback Analysis System)'라는 대용량 데이터 분석 기술을 적용, 사용자 피드백과 로그 등의 데이터를 분석해 검색 결과를 높였다"고 설명했다.

사용자가 입력한 검색어를 분석해 의도에 따라 뉴스나 블로그, 이미지 등 여러 카테고리의 콘텐츠 결과를 상단에 보여주고 가장 적합한 문서를 우선 노출시켰다. 이에 따른 사용자 검색만족도가 높아지면서 NHN은 다시 점유율 70%대를 회복할 수 있었다.

김 박사는 "사용자들의 어떤 질문에 어떤 콘텐츠를 가장 먼저 보여주는지 이러한 것들을 사용자에게 묻고 대답을 얻는다"며 "네이버의 가장 핵심인 검색 서비스는 빅데이터를 기반으로 제공되며, 검색 품질 측정에 이미 이를 활용하고 있었다"고 말했다.

검색 외에도 NHN의 다양한 서비스에서 빅데이터를 접할 수 있다. 최근 선보인 뮤직 서비스의 음악 추천 기능 '라디오'와 자동완성·연관검색어·실시간급상승검색어 등의 검색어 추천, 사용자 그룹별 검색어 등이 그것.

특히 라디오 서비스는 음악 전문가나 담당기획자의 경험적 지식과 감에 의존해 음악을 추천하는 방식에서 탈피, 지금까지 네이버 뮤직을 이용한 대용량 데이터 분석을 통해 이용자 취향과 매칭되면서도 다양한 음악을 자동으로 추천해 주는 서비스다.

취향에 딱 맞는 음악을 일일히 골라야 하는 수고 없이 알아서 선곡해 주기 때문에 이용자들로부터 호응이 높다.

김 박사는 "데이터는 비즈니스와 서비스의 새로운 '엔진오일'로서 굉장히 귀중한 리소스"라며 "그것을 통해 가치를 만들어낼 수 있느냐가 바로 그 기업이 빅데이터를 성공적으로 활용했느냐를 결정짓는 요소가 될 것"이라고 말했다.

NHN은 '빅데이터'에서 무엇보다 중요한 것은 빅 'data'가 아니라 빅 'Problem'이라고도 강조했다. 실체적 문제를 해결하기 위해 데이터를 활용하는 것이 바로 '빅데이터'의 개념이라는 것.

해결하고자 하는 '문제'에 대한 명확한 개념을 정립한 뒤 구체적으로 손에 쥘 수 있는 성과를 내놓을 수 있어야 한다는 얘기다.

이윤식 검색본부장은 "NHN이 바라보는 빅데이터는 명확히 규정된 문제(Problem)를 해결하기 위해 보유하고 있는 플랫폼(Platform)을 기반으로 데용량 데이터를 처리하는 과정(Process)"이라며 "이를 통해 새로운 가치를 창출해 내는 것"이라고 정의했다.

이어 "NHN은 절실했기 때문에 명확한 문제 인식과 이를 해결하기 위한 구체적 목표, 노력을 바탕으로 우리의 빅데이터 시스템을 성공적으로 안착시킬 수 있었다"며 "이러한 데이터 활용에 대한 성공 경험을 기반으로 앞으로도 빅데이터로부터 새로운 가치를 창출해나갈 계획"이라고 덧붙였다.

한편 NHN은 이날 행사에선 구체적인 언급을 피했지만 최근 SK텔레콤과 빅데이터를 활용한 미래성장동력 발굴 등에 협력했다.

NHN이 가지고 있는 대용량 데이터와 SK텔레콤의 네트워크 인프라를 기반으로 양사 서비스 결합을 통한 신규 서비스 개발, 소상공인 창업 지원 등 전방위 협력을 추진할 것으로 보인다.