Oozie vs Azkaban
– Oozie는 실패의 지점에서 다시 시작하지만, azkaban는하지 않는다.
– Oozie는 흐름을 DB에 유지, azkaban가 메모리에 유지
– Azkaban은 job을 시작하기전에 실행계획이 고정되지만, Oozie는 노드가 결정
– Azkaban 이벤트 트리거를 지원하지 않습니다
– Azkaban은 간단한 작업 흐름에 사용됩니다
참고
http://www.slideshare.net/DelhiHUG/hadoop-ecosystem-framework-n-hadoop-in-live-environment 11 page
Azkaban과 Oozie 무엇을 하나요?
– 모두 맵리듀스, pig, java & scripts actions 의 단일 워크플로 작업 실행이 가능합니다.
– 모두 워크플로 작업의 정기적인 스케줄링이 가능합니다.
기능 측면
쓰기 작업 흐름
– Azkaban은 Properties 파일을 사용
– Oozie는 XML 파일을 사용
workflows 표현
– Azkaban는 위상 정렬 방식(Make/Ant 와 유사)
– Oozie는 Direct Acyclic Graph (DAG) (PDL sytle) 방식
지원되는 작업 유형
– Azkaban 지원 : java, javaprocess and pig
– Oozie 지원 : mapreduce (java, streaming, pipes), pig, java, filesystem, ssh, sub-workflow
워크 플로우의 파라미터
– Azkaban은 ${input} 와 같은 변수를 지원
– Oozie는 ${fs:dirSize(myInputDir)}와 같이 변수와 함수 지원
대체 실행 경로
– Azkaban 워크 플로우 시작시에 실행 경로를 수정
– Oozie는 워크 플로우가 결정을 내릴 수 있도록 의사 결정 노드를 지원
일반 예약
– Azkaban은 시간 기반의 간격 작업 예약
– Oozie은 시간과 입력 데이터 기반의 간격 작업 예약
자원 제어
– Azkaban는 자원 잠금 지원 (read/write/counter)
– Oozie는 명시적인 리소스 제어를 지원하지 않음
구현 측면
런타임
– Azkaban는 독립형 (한 워크 플로우) 또는 서버 (하나의 사용자, 다중 작업 흐름)를 실행
– Oozie는 서버 (다중 사용자, 다중 작업 흐름)로 실행
작업이 실행
– Azkaban은 Azkaban 서버에서 사용자 정의 Azkaban이 실행
– Oozie는 하둡 클러스터에서 사용자가 제출한 워크플로우에 따라 실행
워크 플로우 제출, 관리 및 모니터링 (서버)
– Azkaban, 브라우저 / HTML 만
– Oozie, 명령 줄, HTTP의 REST, 자바 API, 브라우저 / HTML (모니터링)
실행 흐름의 상태
– Azkaban 메모리에서 실행중인 모든 워크 플로우의 상태를 유지
– Oozie는 SQL 데이터베이스를 사용, 워크 플로우 상태를 전환을하는 경우에만 메모리 사용
자원 소비
– Azkaban은 실행 워크 플로우 당 최소 하나의 쓰레드을 보유
– Oozie는 워크 플로우 상태 전환을 하는 경우 하나의 스레드만 사용
장애 조치 (failover)
– Azkaban은 실패하면 실행중인 모든 작업 흐름이 손실
– Oozie, 실행중인 흐름은 현재 상태에서 계속 실행
AZKABAN 재미있는 링크 :
http://sna-projects.com/azkaban/
http://twit88.com/blog/2011/05/27/hadoop-batch-job-scheduler/
http://gwt.blogspot.com.ar/2011/11/azkaban-open-source-batch-job-scheduler.html
http://www.pomsets.org/FeatureComparisons/Azkaban
http://www.slideshare.net/DelhiHUG/hadoop-ecosystem-framework-n-hadoop-in-live-environment
http://www.quora.com/What-are-the-differences-advantages-disadvantages-of-Azkaban-vs-Oozie
http://groups.google.com/group/azkaban-dev/browse_thread/thread/7dfc5d72450001c4
http://stackoverflow.com/questions/9803515/how-to-use-hive-jobs-with-azkaban
http://www.slideshare.net/rjurney/azkaban-pig-5057793
다음은 Azkaban의 개선 된 버전입니다
http://www.pomsets.org/
참고
http://bigdata.globant.com/?p=441