graceful 한 데이터노드 삭제
사용하는 데이터 노드를 빼고 다른용도로 사용할 일이 생겼다. 기본적으로 하둡은 장애에 강하기 때문에 그냥 데이터 노드를 죽이고 꺼도 알라서 replication 이 일어나기 때문에 문제가 없다. 하지만 더욱 graceful 하게 처리를 하고 싶다면 아래와 같이 하면된다. 1. datanode 대상 수정 … Continue reading
Tag Archives: namenode
quorum-based Journal Node으로 hadoop namenode HA 구성하기
Hadoop 의 HA 구성 때문에 Avatar Node 를 검토하던중에, Cloudera 에서 배포된 CDH4.1에 quorum-based journal node에 대해서 알게 되었다. http://touk.pl/blog/en/2012/10/30/hadoop-ha-setup/ https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs https://ccp.cloudera.com/download/attachments/21438336/CDH4_High_Availability_Guide_4.1.pdf?version=3&modificationDate=1349301318000 영문으로 보기가 벅차서 누가 번역하지 않았을까 해서 찾아보니 역시!! http://charsyam.wordpress.com/2012/11/02/%EB%B0%9C-%EB%B2%88%EC%97%AD-quorum-based-journaling-in-cdh4-1/ 그리도 이미 설치해보신 분들도 있다. http://geekdani.wordpress.com/2012/12/22/hadoop-2-0-journal-node-%EC%84%A4%EC%B9%98/ … Continue reading
Posted in Bigdata/Hadoop
Tagged Avatar Node, ha, Journal Node, namenode, quorum-based, 하둡
Leave a comment
hadoop-장애(Name node is in safe mode.)
회사에 정전이 일어났다. hadoop 개발 장비가 모두 꺼졌다.. 재부팅을 하고 hadoop namenode 를 구동하니 아래와 같은 에러 발생… 2013-01-03 08:30:29,803 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://namenode:9000/data1/hadoop/filesystem/mapreduce/system org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /data1/hadoop/filesystem/mapreduce/system. Name node is in safe mode. The … Continue reading
