빅데이터 DW엔진 아파치 타조 0.11.0 공개

“타조는 이미 다양한 프로덕션 환경에서 안정적인 성능을 보장하고 있어 기술 성숙도 측면에서 엔터프라이즈 솔루션으로 성장했다. 이번 0.11.0 릴리즈를 계기로 타조의 엔터프라이즈 적용이더욱 탄력을 받을 것이다.”

권영길 그루터 대표는 타조 새로운 버전 발표에 대해서 이렇게 소감을 밝혔다.

차세대 빅데이터 분석 엔진으로 주목 받아 온 아파치 타조(Apache Tajo)의 새버전이 27일(미국시간) 공식 발표됐다. 타조 개발에 주력하고 있는 그루터(대표이사 권영길)는 아파치재단이 데이터 통합 기능과 호환성이 한층 강화된 아파치 타조 버전 0.11.0을 공식 릴리즈 했다고 밝혔다.

Apache-Tajo-logo-typo (3)

이와 함께 게임, 에너지, 광고 플랫폼 등 다양한 분야에서 타조를 빅데이터 분석에 활용하고 있는 실무 사례들도 속속 발표되어, 엔터프라이즈 시장에서 타조의 약진을 확인할 수 있다.

타조의 새 버전은 다양한 데이터 포맷과 저장소를 지원하여 데이터를 더욱 쉽게 통합하고 연계 분석할 수 있도록 한 것이 특징이다.

타조 프로젝트 의장인 그루터 최현식 박사는 “기존 DB 사용자에게 익숙한테이블 스페이스 개념을 도입하고 JDBC 저장소를 추가하여 하둡은 물론 아마존웹서비스(AWS)와 구글(Google) 등의 클라우드 저장소, NoSQL, 오라클과 마이크로소프트 등의 기존 관계형 데이터베이스 시스템(RDBMS)에 흩어져 있는 데이터들을 타조로 쉽게 통합할 수 있게 되었다” 라고 설명했다.

반정형 또는 비정형 데이터를 유연하게 처리할 수 있는 기능도 강화되었다. 타조는 웹 데이터 전송과 로그 저장에 널리 쓰이는 JSON 형식의 원본 데이터를 별도의 변환 작업 없이 바로 SQL로 분석할 수 있다. 새 버전에서는 중첩 구조로 이루어진 복잡한 데이터 포맷을 지원하고, 테이블 구조(스키마)를 미리 정의하지 않고도 질의 실행 시점에 자유롭게 지정할 수 있게 되어, 데이터 관리와 분석이 한층 쉬워졌다. 아파치재단에 따르면, 인기 MMORPG 게임인 TERA 를 개발한 블루홀은 JSON 파일을 변환없이 그대로 분석할 수 있는 장점 덕분에 타조를 쉽게 도입할 있었고, 특히 분석가들이 새로운 프로그램 언어를 배울 필요 없이 SQL만으로 빅데이터를 쉽게 분석할 수 있는 사실에 만족하고 있다고 밝혔다.

또한 ORC 파일 형식 지원이 추가되어 다른 빅데이터 분석 솔루션과의 연계도 더욱 쉬워졌다. ORC 파일형식을 많이 이용하던 기존 하이브(Hive) 사용자들은 기존 데이터 그대로 타조를 이용해 3배 이상의 성능 향상을 얻을 수 있다. 국내 대표적인 DSP 광고플랫폼 회사인 와이더플래닛의 정수동 CTO는 플랫폼 확장과 분석역량 강화를 위해 그루터와 함께 타조를 자사 플랫폼에 도입한 결과 만족할 만한 속도와 높은 안정성을 확인했다고 했다고 밝히면서, 하이브 사용자들에게 타조를 사용해 볼 것을 권했다.

기존 엔터프라이즈 데이터웨어하우스(DW) 사용자들이 기존 시스템을 확장하거나 보완하기 위해 표준 SQL을 지원하는 타조를 도입하는 사례도 늘고 있다. 뮤직 서비스 멜론은 하이브로 하던 기존 분석 작업들을 타조로 전환해 1.5배~수십 배의 성능 향상을 체감했다. 이후 엔터프라이즈 DW시스템 IBM 네티자(Netezza)에서 했던 분석 작업에도 타조를 도입해 비용 효율적인 DW 시스템을 운영하고 있다고 밝혔다.

또한 아파치 재단에 따르면, 전력 사용량을 분석하여 기업과 가정에 서비스를 제공하는 에너지 전문 회사인 인코어드 테크놀러지스도 타조의 빠른 성능과 동시 질의 지원 기능으로 높은 생산성을 이룰 수 있었다고 평가했다. 그루터에 의하면, 이 외에도 엔터프라이즈 DW 를 사용하고 있는 여러 기업들이 기존 시스템을 확장하거나 보완하기 위해 타조 도입을 진행 중이라고 한다.

타조 0.11.0 버전은 아파치 타조 사이트(http://tajo.apache.org)에서 다운로드할 수 있다.

한편 그루터는 오라클, 아마존, 구글 등 글로벌 업체들과 기업 내부 및 클라우드 환경에서 타조 확산을 위한 협력을 강화하고 있다.

추천 기사

아마존웹서비스(AWS)

AWS, E-커머스, 핀테크, 스마트 물류 및 AI 활용 분야 스타트업 육성 나서

AWS, 중소벤처기업부·창업진흥원과 협력해 신규 스타트업 지원 프로그램 ‘정글’ 운영정글 프로그램은 사업화 자금, AWS 크레딧, 기술 교육, 세미나, 컨설팅 제공 및 투자 네트워킹 위한 행사 개최 [테크수다 이창길 jjangkil@techsuda.com] 아마존웹서비스(Amazon Web Services, 이하 AWS)는 중소벤처기업부, 창업진흥원과 함께 E-커머스, 핀테크, 스마트 물류, AI 활용 분야에서 두각을 나타내는 스타트업을 위한 신규 프로그램을 실시한다고 밝혔다. ‘정글’이라고 불리는 신규 프로그램은 혁신기술을 보유한 30개의 스타트업을 차기 유니콘 기업(기업 가치 10억 달러 이상)으로 성장할 수 있도록 지원하기 위해 마련됐다. 이번 프로그램을 통해 선정된 스타트업은 최대 3억원의 사업화 자금을 중소벤처기업부, 창업진흥원으로부터 받을 수 있다. AWS는 선정된 기업들을 대상으로 가장 광범위한 기능을 제공하는 글로벌 선도 클라우드인 AWS 상에서 서비스를 구축할 수 있도록 무료 크레딧을 제공한다. AWS는 또한 클라우드 활용 기술을 비롯해 빅데이터 분석, DevOps 팀 운영 등 기술 특화 교육 프로그램도 제공한다. 선정된 기업들은 AWS의 세미나에 참석해 AWS의 선진 기술을 직접 체험할 수 있는 기회를 얻을 수 있다. AWS 기술 전문가들은 기술 컨설팅을 제공해 스타트업들이 기술 로드맵을 수립하도록 돕는다. 또한, 아마존닷컴과 AWS 상에서 활용 가능한 소프트웨어와 서비스를 찾고, 구매하고, 즉시 사용할 수 있도록 하는 온라인 소프트웨어 스토어인 AWS 마켓플레이스와 연계해 글로벌 시장 진출을 지원한다. …

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다