Hadoop 설치

 

hadoop-logo

1 Hadoop 설치
설치 위치 : /service/workspace (각자 환경에 맞게 구성)

]$ wget http://apache.tt.co.kr/hadoop/common/hadoop-1.0.0/hadoop-1.0.0.tar.gz
]$ tar xvzf hadoop-1.0.0.tar.gz
]$ ln -s hadoop-1.0.0 hadoop
]$ cd /service/workspace/hadoop

2 Hadoop 설정

2.1 core-site.xml 설정

]$ vi conf/core-site.xml
...
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
...

2.2 hadoop-env.sh에 JAVA_HOME 설정

]$ vi conf/hadoop-env.sh
...
export JAVA_HOME=/path/jdk
...

2.3 hdfs-site.xml 설정

]$ vi conf/hdfs-site.xml
...
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.name.dir</name>
                <value>/service/workspace/hadoop_name</value>
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/service/workspace/hadoop_data</value>
        </property>
...

* 참고 : dfs.name.dir와 dfs.data.dir 는 서버를 구동하기 전에 미리 생성해야함(자동으로 생성되지 않음.)

2.4 mapred-site.xml 설정

]$ vi conf/mapred-site.xml
...
        <property>
                <name>mapred.job.tracker</name>
                <value>hdfs://localhost:9001</value>
        </property>
...

2.5 masters, slaves 확인

]$ cat conf/masters conf/slaves
localhost
localhost

* localhost 으로 설정되어 있는지 확인

3 Hadoop 파일 시스템 포멧

]$ ./bin/hadoop namenode -format

4 Hadoop 구동 (순서대로)

]$ ./bin/hadoop-daemon.sh start namenode
]$ ./bin/hadoop-daemon.sh start datanode
]$ ./bin/hadoop-daemon.sh start jobtracker
]$ ./bin/hadoop-daemon.sh start tasktracker

5 Hadoop 확인
* NameNode 확인 : http://localhost:50070/dfshealth.jsp
* Jobtracker 확인 : http://localhost:50030/jobtracker.jsp

hadoop 설치 끝!

 

This entry was posted in Bigdata/Hadoop and tagged , . Bookmark the permalink.

댓글 남기기