graceful 한 데이터노드 삭제
사용하는 데이터 노드를 빼고 다른용도로 사용할 일이 생겼다. 기본적으로 하둡은 장애에 강하기 때문에 그냥 데이터 노드를 죽이고 꺼도 알라서 replication 이 일어나기 때문에 문제가 없다. 하지만 더욱 graceful 하게 처리를 하고 싶다면 아래와 같이 하면된다. 1. datanode 대상 수정 … Continue reading
Tag Archives: 하둡
웹로그를 이용한 페이지 연관분석
웹로그를 이용한 페이지 연관분석 0. 개요 웹로그의 referer 정보를 이용하여 페이지간의 연결구조를 파악하면, 레이지 링크를 따라움직이지 않고 직접 URL에 접근 또는 임시 페이지 및 취약한 페이지를 찾을수 있다 는 가설을 세우고 접근 1. 웹로그 대상 referer 가 존재하는 웹로그 … Continue reading
Posted in Bigdata/Hadoop, Javascript/Html, Python/Ruby/Perl
Tagged d3, map/reduce, 웹로그, 파이썬, 페이지연관분석, 하둡
Leave a comment
BIG DATA 관련 사이트 모음_하둡/연동 Project/Nosql
아따.. 볼게 너무 많네..ㅠㅠ 시간은 없고.. 1.Apache Hadoop Ecosystem # 저장 * HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/) * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) # 어플리케이션 서버 * Thrift: 데이터 직렬화 (http://thrift.apache.org/) … Continue reading
quorum-based Journal Node으로 hadoop namenode HA 구성하기
Hadoop 의 HA 구성 때문에 Avatar Node 를 검토하던중에, Cloudera 에서 배포된 CDH4.1에 quorum-based journal node에 대해서 알게 되었다. http://touk.pl/blog/en/2012/10/30/hadoop-ha-setup/ https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs https://ccp.cloudera.com/download/attachments/21438336/CDH4_High_Availability_Guide_4.1.pdf?version=3&modificationDate=1349301318000 영문으로 보기가 벅차서 누가 번역하지 않았을까 해서 찾아보니 역시!! http://charsyam.wordpress.com/2012/11/02/%EB%B0%9C-%EB%B2%88%EC%97%AD-quorum-based-journaling-in-cdh4-1/ 그리도 이미 설치해보신 분들도 있다. http://geekdani.wordpress.com/2012/12/22/hadoop-2-0-journal-node-%EC%84%A4%EC%B9%98/ … Continue reading
Posted in Bigdata/Hadoop
Tagged Avatar Node, ha, Journal Node, namenode, quorum-based, 하둡
Leave a comment
hadoop-장애(Name node is in safe mode.)
회사에 정전이 일어났다. hadoop 개발 장비가 모두 꺼졌다.. 재부팅을 하고 hadoop namenode 를 구동하니 아래와 같은 에러 발생…
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
2013-01-03 08:30:29,803 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://namenode:9000/data1/hadoop/filesystem/mapreduce/system org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /data1/hadoop/filesystem/mapreduce/system. Name node is in safe mode. The ratio of reported blocks 0.0000 has not reached the threshold 0.9990. Safe mode will be turned off automatically. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.deleteInternal(FSNamesystem.java:1992) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete(FSNamesystem.java:1972) at org.apache.hadoop.hdfs.server.namenode.NameNode.delete(NameNode.java:792) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382) at org.apache.hadoop.ipc.Client.call(Client.java:1066) at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225) at $Proxy5.delete(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59) at $Proxy5.delete(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.delete(DFSClient.java:828) at org.apache.hadoop.hdfs.DistributedFileSystem.delete(DistributedFileSystem.java:234) at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2410) at org.apache.hadoop.mapred.JobTracker.</init><init>(JobTracker.java:2192) at org.apache.hadoop.mapred.JobTracker.</init><init>(JobTracker.java:2186) at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300) at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:291) at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:4978) |
Hadoop이 정상적인 종료를 하지 않았을 때, 에러가 나는 것으로 보인다. 비정상적인 종료시 hadoop 은 safe 모드로 이동하는데. 종료시 아래와 같은 … Continue reading
하둡 파일 시스템과 MR 아키텍처
참고 : http://socurites.com/129 원문 : http://www.hadooper.blogspot.kr/2010/11/platform-base-hdfs-mr.html
Apache Hadoop Ecosystem 소개
Apache Hadoop Ecosystem은 HDFS를 비롯하여 여러 오픈소스 프로젝트로 구성되어 있다. 대표적인 프로젝트는 다음과 같다. <Big Data Analysis> * HDFS: Hadoop Distributed Filesystem (http://wiki.apache.org/hadoop/HDFS) <- 사용중 * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) <- 사용중 * HCatalog: 테이블 관리 … Continue reading
주목! 9가지 오픈소스 빅 데이터 기술
주목! 9가지 오픈소스 빅 데이터 기술 갈수록 많은 기업들이 더 많은 데이터를 축적하며 경쟁력 향상을 꾀하고 있다. 그리고 이와 같은 빅 데이터 열풍의 중심에는 오픈소스 기술이 자리 잡고 있다. 여기 독자 여러분이 주목해야 할 아홉 개의 오픈소스 빅 데이터 … Continue reading
Posted in Bigdata/Hadoop, Scrap
Tagged Cascading, Cassandra, CouchDB, ElasticSearch, HBase, MongoDB, R, Scribe, 빅데이터, 오픈소스, 하둡
Leave a comment
Hadoop 설치
1 Hadoop 설치 설치 위치 : /service/workspace (각자 환경에 맞게 구성)
|
1 2 3 4 |
]$ wget http://apache.tt.co.kr/hadoop/common/hadoop-1.0.0/hadoop-1.0.0.tar.gz ]$ tar xvzf hadoop-1.0.0.tar.gz ]$ ln -s hadoop-1.0.0 hadoop ]$ cd /service/workspace/hadoop |
2 Hadoop 설정 2.1 core-site.xml 설정
|
1 2 3 4 5 6 7 |
]$ vi conf/core-site.xml ... <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> ... |
2.2 hadoop-env.sh에 JAVA_HOME 설정
|
1 2 3 4 |
]$ vi conf/hadoop-env.sh ... export JAVA_HOME=/path/jdk ... |
2.3 hdfs-site.xml 설정
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
]$ vi conf/hdfs-site.xml ... <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/service/workspace/hadoop_name</value> </property> <property> <name>dfs.data.dir</name> <value>/service/workspace/hadoop_data</value> </property> ... |
* 참고 : dfs.name.dir와 dfs.data.dir 는 서버를 구동하기 전에 미리 생성해야함(자동으로 … Continue reading