KT 빅데이터 시스템 어떻게 구축 했나

[김관용기자] KT가 통신사업자의 핵심 자산이라 할 가입자 통화기록 데이터 처리를 위한 빅데이터 프로젝트를 공개했다.KT는 이와 함께 클라우드 서비스인 '유클라우드'의 안정적 IT인프라 운영을 위해 빅데이터 분석을 적용한 사례도 발표했다.

2일 KT넥스알이 주최한 'KT넥스알 빅데이터 데이 2013' 콘퍼런스에서 KT 클라우드추진본부 김지윤 본부장은 KT넥스알의 빅데이터 플랫폼인 'NDAP'를 기반으로 구축한 KT 가입자 분석 시스템 사례를 소개했다.

이날 공개한 KT 가입자 분석 시스템은 데이터양이 큰 원시 데이터와 계산량이 많은 배치 작업은 하둡에서, 마트 데이터와 같이 작고 중요한 데이터와 BI 도구 연동 작업은 데이터베이스(DB)에서 처리하는 하이브리드 DW 모델을 채용한 것이 특징.

이는 스마트폰 등장이후 전통적인 데이터웨어하우스(DW)로는 급증하는 데이터 로그를 처리하기 어렵고 하둡이 경제성에도 불구하고 지원하는 인터페이스가 기존 데이터 언어인 SQL과 다르며 주요 비즈니스 인텔리전스(BI) 도구와의 연동도 쉽지 않다는 단점을 극복한 것이다.

KT는 통신업체에서 가장 중요한 데이터 중 하나가 고객들이 유선전화나 휴대폰으로 통화할 때마다 통화위치와 대상, 시간 등을 로그 데이터로 기록하는 CDR(Call Detail Record)인데 스마트폰 등장 이후 무선 데이터 로그가 급증, 데이터 프로세스 전 구간에서 병목현상이 발생했으며 시스템 성능 저하와 분석 업무에도 차질을 빚게 됐다고 설명했다.

KT는 이를 해결하고자 고가의 유닉스 서버 대신 x86 서버를 사용하는 하둡(Hadoop)을 선택했지만 이 역시 호환성과 연동성 측면에서 어려움이 많고 온라인 분석 처리(OLAP)처럼 빈번하고 빠른 응답성을 요구하는 쿼리에도 효과적으로 지원 못하는 단점이 발견돼 KT넥스알의 NDAP 기반 하이브리드 DW 모델을 채택했다고 설명했다.

KT의 가입자 분석 시스템은 데이터양이 가장 많은 원시 CDR 데이터는 하둡에 저장하고 일 배치 처리 작업 결과물은 DB에 적재하며 온라인 분석 처리와 리포팅 도구들은 기존의 DB와 호환되도록 돼 있다. 하이브리드 DW 모델은 하둡의 확장성 및 비용효율성을 활용하면서도 DB와의 역할 분배를 통해 기존 시스템과의 연동도 보장하는 것이다.

김지윤 본부장은 "전통적인 DB 기반 DW 구조를 NDAP 중심의 하이브리드 DW 구조로 대체하여 데이터 수용 능력과 처리 능력이 대폭 개선됐다"며 "기존에 병목 구간이었던 수집, 배치 처리, 검색 등의 작업에서 성능 개선 효과를 보였다"고 설명했다.

KT는 하이브리드 DW 모델을 통해 전통적인 방식으로 가입자 분석 시스템을 구축한 것과 비교해 567억원 이상의 비용을 절감하고 데이터 양이 증가해도 3초 이내의 빠른 응답 속도도 보장받게 됐다고 설명했다.

한재선 KT넥스알 대표는 "기존 시스템을 버리고 전면적으로 신기술을 도입하는 것은 상당한 위험이 따르고 기존 시스템을 동일한 모양으로 확장하는 것은 근본적인 해결책이 될 수 없다"면서 "하이브리드 DW 모델을 통해 새로운 요구사항에 대응하고 기존 시스템과 호환될 수 있도록 하는 것이 가장 적절한 대안"이라고 강조했다.

◆안정적인 클라우드 서비스도 빅데이터로

이와 함께 KT는 퍼블릭 클라우드 서비스인 유클라우드에서 발생하는 로그를 수집하고 분석해 클라우드 운영의 품질 개선에 활용한 사례도 소개했다.

KT는 KT넥스알의 NDAP를 활용한 클라우드 로그분석 시스템으로 클라우드 서비스의 장애를 최소화하고 가용성을 제고하며 서비스 운영시 발생할 수 있는 장애를 신속하게 발견하고 조치할 수 있도록 선제적 장애 예방 수단도 마련했다고 설명했다.

특히 비정상 탐지 기법을 사용해 하드웨어 자원을 분석하고 각종 장애 징후를 사전에 탐지 할 수 있도록 했으며 네트워크 사용량 추이 분석이 가능해졌다는 것.

KT 클라우드 품질관리팀 전재규 매니저는 "빅데이터 시스템 구축과 분석을 통해 자원 활용률과 자원 재고율을 개선하고 서비스 향상 등의 효과를 얻었다"며 "장애 분석을 통해 서비스 가용성을 높이고 장애 대응 시간도 크게 단축시켰다"고 말했다.