hadoop
-
Maven-assembly을 이용해 oozie 배포 구조 만들기기타기술 2013. 9. 16. 15:16
요즘 하둡을 이용하여 대량의 로그 분석을 수행하는 작업을 하고 있다. 최종 목표는 20대 이상의 서버에 발생하는 로그를 실시간으로 수집하여 분석하는 것인데 이를 위해 하둡과 하둡 생태계 내의 다양한 기술 요소들을 검토하고 사용하고 있다. 그 중 Oozie는 여러 단계에 걸쳐 처리되는 분석 작업의 흐름(workflow)을 관리하고, 주기/비주기 적으로 분석 작업을 스케쥴링하기 위한 작업을 위해 사용하고 있다. 처음에는 Spring Data를 사용할까 했는데 여러 가지 측면(reference, documentation, user base 등등…)에서 현재까지는 Oozie가 더 나은 것으로 판단 되어 최종적으로 Oozie를 선택했다. 프로젝트는 메이븐으로 구성했는데 최상위 메이븐 프로젝트를 두고 우지의 wor..