oozie 설치 삽질기..


 

workflow 를 시스템에 적용해보기 위해

Hadoop WMS(Workflow Management System) 에 대해서 알아보고 있다.

우선 검토한 시스템은 Oozie 와 Azkaban, Cascading, Hamake 를 조사해봤다.

이번에는 실제로 oozie 를 설치해보려고 시도했지만 실패..

혹시 원인을 아시는 분은 알려주세요..ㅠㅠ

oozie 를 설치하기 위해 시도해본 내용은 아래와 같다..

oozie 설치
1. mysql 에 oozie db 생성

접속 확인

2. oozie 다운

3. oozie war 에 mysql-connector와 extjs 포함 시키기

4. oozie-site.xml 설정

5. oozie 시작

6. oozie 동작 확인

ㅠㅠ 왜 안되는 겨..ㅠㅠ

추가 확인 사항들…

아래는 위의 에러를 해결하기위해 시도해본 내용들입니다..

1. oozie-site.xml에 oozie.services property 추가

oozie 구동시 404 관련 에러를 구글신에 검색했더니, 아래와 같은 답변을 얻을수 있었다.

http://www.ventlam.org/2012/08/14/oozie-tutorial-part-1-introductioninstall-run-example/
의 중간 부분에보면..


If the status is HTTP 404 Not Found,you can edit the configuration file to fix it.Open conf/oozie-default.xml with vim,copy the property “oozie.services” into oozie-site.xml. In oozie-site.xml’s ”oozie.services” property,one of the service name is “KerberosHadoopAccessorService” .Remove only ”Kerberos” which will make it “HadoopAccessorService”. And then restart oozie.The Oozie web console as Listing 1 shown:

그래서 바로 조치 시도 oozie-site.xml 제일 마지막부분에 아래와 같이 추가

하지만 역시 동일한 에러..

2. /home/oozie/oozie/data 디렉토리 생성
start 할때 메세지중에 OOZIE_DATA /home/oozie/oozie/data 디렉토리가 없는 것을 발견..
디렉토리 생성

하지만 역시 동일한 에러..

3. JDBC memory leak 문제..
서버의 catalina.out 로그 확인
로그메세지 중 JDBC 관련 에러 로그 발견.

관련 에러는
http://stackoverflow.com/questions/3320400/to-prevent-a-memory-leak-the-jdbc-driver-has-been-forcibly-unregistered
http://blog.naver.com/PostView.nhn?blogId=myca11&logNo=80125980831

위의 링크에서와 같이 톰캣 6.0.24 이후버전에서 이미 이 문제를 해결

현재는 6.0.32 사용..

OTL 그럼 도데체 왜!!

4. 혹시 mysql 버전 문제?
mysql-connector-java-5.1.20.jar 에서 mysql-connector-java-5.1.6-bin.jar 으로 변경

안됨.

5. oozie 버전 문제?
2.2.2 받아서 설치시도했지만, 2.2.2에서는
oozie-setup.sh 대신 addtowar.sh를 사용해야 하며,
addtowar.sh는 hadoop 0.20 까지 지원

현재 설치된 하둡은 1.0 버전임.ㅠㅠ

원인을 아시는분.. 좀 알려주세요 제가 커피 살께요~ㅠㅠ

참고
http://mixellaneous.tistory.com/1103
http://julingks.wordpress.com/2011/03/09/oozie-instsall/

 


This entry was posted in Bigdata/Hadoop and tagged , . Bookmark the permalink.

3 Responses to oozie 설치 삽질기..

  1. socurites says:

    수고 많네용 ~. 방명록은 어디?

  2. sstrato.kong says:

    버전이 너무 옛날것 같네요. 3.3.0 이상으로 하시면 그냥 사용하실 수 있을것 같은데요.

    http://apache.mirror.cdnetworks.com/oozie/

  3. 김대근 says:

    지금 버전이 3.3.1인데 3.3버전에서 해보심이~~

댓글 남기기