graceful 한 데이터노드 삭제
사용하는 데이터 노드를 빼고 다른용도로 사용할 일이 생겼다. 기본적으로 하둡은 장애에 강하기 때문에 그냥 데이터 노드를 죽이고 꺼도 알라서 replication 이 일어나기 때문에 문제가 없다. 하지만 더욱 graceful 하게 처리를 하고 싶다면 아래와 같이 하면된다. 1. datanode 대상 수정 … Continue reading
Tag Archives: namenode
quorum-based Journal Node으로 hadoop namenode HA 구성하기
Hadoop 의 HA 구성 때문에 Avatar Node 를 검토하던중에, Cloudera 에서 배포된 CDH4.1에 quorum-based journal node에 대해서 알게 되었다. http://touk.pl/blog/en/2012/10/30/hadoop-ha-setup/ https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs https://ccp.cloudera.com/download/attachments/21438336/CDH4_High_Availability_Guide_4.1.pdf?version=3&modificationDate=1349301318000 영문으로 보기가 벅차서 누가 번역하지 않았을까 해서 찾아보니 역시!! http://charsyam.wordpress.com/2012/11/02/%EB%B0%9C-%EB%B2%88%EC%97%AD-quorum-based-journaling-in-cdh4-1/ 그리도 이미 설치해보신 분들도 있다. http://geekdani.wordpress.com/2012/12/22/hadoop-2-0-journal-node-%EC%84%A4%EC%B9%98/ … Continue reading
Posted in Bigdata/Hadoop
Tagged Avatar Node, ha, Journal Node, namenode, quorum-based, 하둡
Leave a comment
hadoop-장애(Name node is in safe mode.)
회사에 정전이 일어났다. hadoop 개발 장비가 모두 꺼졌다.. 재부팅을 하고 hadoop namenode 를 구동하니 아래와 같은 에러 발생…
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
2013-01-03 08:30:29,803 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://namenode:9000/data1/hadoop/filesystem/mapreduce/system org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /data1/hadoop/filesystem/mapreduce/system. Name node is in safe mode. The ratio of reported blocks 0.0000 has not reached the threshold 0.9990. Safe mode will be turned off automatically. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.deleteInternal(FSNamesystem.java:1992) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete(FSNamesystem.java:1972) at org.apache.hadoop.hdfs.server.namenode.NameNode.delete(NameNode.java:792) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382) at org.apache.hadoop.ipc.Client.call(Client.java:1066) at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225) at $Proxy5.delete(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59) at $Proxy5.delete(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.delete(DFSClient.java:828) at org.apache.hadoop.hdfs.DistributedFileSystem.delete(DistributedFileSystem.java:234) at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2410) at org.apache.hadoop.mapred.JobTracker.</init><init>(JobTracker.java:2192) at org.apache.hadoop.mapred.JobTracker.</init><init>(JobTracker.java:2186) at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300) at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:291) at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:4978) |
Hadoop이 정상적인 종료를 하지 않았을 때, 에러가 나는 것으로 보인다. 비정상적인 종료시 hadoop 은 safe 모드로 이동하는데. 종료시 아래와 같은 … Continue reading