설치 하기 전에 python 버전을 확인.
|
1 2 |
[root@test install]# python -V Python 2.4.3 |
MySQL-python 을 사용하려고 하는데, MySQL-python 은 2.4-2.7버전을 지원. http://sourceforge.net/projects/mysql-python/ 의 아래부분 참고. * Python versions 2.4-2.7; Python 3 support coming soon. 필요한 라이브러리를 설치.
|
1 |
[root@test install]# yum install gcc mysql-devel python-devel |
SetupTools 설치. SetupTools는 Python으로 만든 프로그램을 자동으로 다운로드하고 설치하는 … Continue reading
apache hcatalog 설치 홈페이지 : http://incubator.apache.org/hcatalog/ 설치환경 : Ubuntu 64bit hadoop-1.0.0, hive-0.8.1, mysql 5.1.63, zookeeper-3.3.4, hcatalog-0.4.0, hbase-0.92.1 hcatalog 설치
|
1 2 3 4 5 6 7 8 |
$ wget http://mirror.apache-kr.org/incubator/hcatalog/hcatalog-0.4.0-incubating/hcatalog-src-0.4.0-incubating.tar.gz $ tar xvzf hcatalog-src-0.4.0-incubating.tar.gz $ cd hcatalog-src-0.4.0-incubating $ ant -Dhcatalog.version=0.4.0 tar $ cp /home/hcatalog/hcatalog-src-0.4.0-incubating/build/hcatalog-0.4.0.tar.gz /home/hcatalog/ $ cd /home/hcatalog/ $ tar xvzf hcatalog-0.4.0.tar.gz $ ln -s hcatalog-0.4.0/ hcatalog |
hive는 이미 설치되어 있으므로 생략 한다. hcatalog를 서버로 구동하기 위한 스크립트 실행했더니 아래와 같은 사용법이 나왔다.
|
1 2 3 4 5 6 7 8 |
$ ./share/hcatalog/scripts/hcat_server_install.sh Usage: ./share/hcatalog/scripts/hcat_server_install.sh -r root -d dbroot -h hadoop_home -p server_port root is the directory where you like to install the HCatalog server /usr/local/hcat is suggested. dbroot is the directory where your mysql connector jar is located. hadoop_home is the directory of your Hadoop installation. server_port is the listening port of the HCatalog server All paths must be absolute |
입력 파라미터는 … Continue reading
R 스터디 내용 정리 1. R 설치 – 홈페이지 둘러보기 (http://www.r-project.org/) – CRAN -> Korean -> Download R for MacOS X -> 설치 2. Rstudio 설치 – 홈페이지 둘러보기 (http://rstudio.org/) – Download RStudio -> 설치 3. 구동 및 실행 … Continue reading
목표 : 모든 서버의 SYSLOG를 로그 서버로 쏘게 하고, 로그서버에서는 HOST-yyyymmdd.log 를 만들어 관리하도록 설정. Syslog-NG(Syslog New Generation)는 보다 향상된 필터링 및 포워딩 기능 외에 메시지 무결성과 암호화 기능을 추가하여 syslog의 유연성을 증가시켰으며, TCP와 UDP 프로토콜을 통한 원격 Logging을 … Continue reading
파이썬 스터디를 시작했다.. Google Code 에 좋은 Code University 가 있더라.. http://code.google.com/intl/ko-KR/edu/ Programming Languages 에서 Google’s Python Class 부터 시작하기로 했다. 먼저 Python Set Up 부터.. http://www.python.org/download/ 에 가면 각종 버전별로 다운로드 받을 수 있다. 자신의 OS 에 맞게 … Continue reading
1. Flume 설치
|
1 2 3 4 |
]$ wget https://github.com/downloads/cloudera/flume/flume-distribution-0.9.4-bin.tar.gz ]$ tar xvzf flume-distribution-0.9.4-bin.tar.gz ]$ ln -s flume-distribution-0.9.4 flume ]$ cd /service/workspace/flume |
2 Flume 설정 2.1 flume-site.xml 설정
|
1 2 3 4 5 6 7 8 |
]$ vi conf/flume-site.xml ... flume.master.servers localhost This is the address for the config servers status server (http) ... |
2.2 flume-env.sh 설정
|
1 2 3 4 5 6 |
]$ vi bin/flume-env.sh ... export FLUME_HOME=/service/workspace/flume export FLUME_PID_DIR=/service/workspace/flume/pid export FLUME_LOG_DIR=/service/workspace/flume/logs ... |
2.3 logs 디렉토리 생성
|
1 |
]$ mkdir logs |
3 Flume 구동
|
1 |
]$ ./bin/flume-daemon.sh start node -n agent_name |
4 Flume 확인 http://localhost:35871/flumemaster.jsp * Flume Master 에서 agent_name으로 올라오는 정보가 있는지 확인 설치 끝! … Continue reading
1 Hive 설치 설치 위치 : /service/workspace (각자 환경에 맞게 구성)
|
1 2 3 4 |
]$ wget http://mirror.apache-kr.org/hive/hive-0.8.1/hive-0.8.1.tar.gz ]$ tar xvzf hive-0.8.1.tar.gz ]$ ln -s hive-0.8.1 hive ]$ cd /service/workspace/hive |
2 Hive 설정 2.1 hive-site.xml 설정
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
]$ vi conf/hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>dbuser</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>dbpass</value> </property> </configuration> |
* 먼저 Mysql 접속 계정이 있어야 함(mysql 설치는 별도로) * 원래는 hive-default.xml.template 파일을 복사해서 사용해야 하지만 mysql접속정보만 설정하기 위해서 따로 … Continue reading
1 Zookeeper 설치 설치 위치 : /service/workspace (각자 환경에 맞게 구성)
|
1 2 3 4 |
]$ wget http://ftp.daum.net/apache/zookeeper/zookeeper-3.3.4/zookeeper-3.3.4.tar.gz ]$ tar xvzf zookeeper-3.3.4.tar.gz ]$ ln -s zookeeper-3.3.4 zookeeper ]$ cd /service/workspace/zookeeper |
2 Zookeeper 설정 2.1 zoo.cfg 설정
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
]$ cp conf/zoo_sample.cfg conf/zoo.cfg ]$ vi conf/zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. dataDir=/service/workspace/zookeeper_data # the port at which the clients will connect clientPort=2181 |
* 참고 : dataDir 는 서버를 구동하기 전에 미리 생성해야함(자동으로 생성되지 않음.) 3 Zookeeper 구동
|
1 |
]$ ./bin/zkServer.sh start |
4 Zookeeper 확인
|
1 |
]$ ./bin/zkCli.sh |
1 Hadoop 설치 설치 위치 : /service/workspace (각자 환경에 맞게 구성)
|
1 2 3 4 |
]$ wget http://apache.tt.co.kr/hadoop/common/hadoop-1.0.0/hadoop-1.0.0.tar.gz ]$ tar xvzf hadoop-1.0.0.tar.gz ]$ ln -s hadoop-1.0.0 hadoop ]$ cd /service/workspace/hadoop |
2 Hadoop 설정 2.1 core-site.xml 설정
|
1 2 3 4 5 6 7 |
]$ vi conf/core-site.xml ... <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> ... |
2.2 hadoop-env.sh에 JAVA_HOME 설정
|
1 2 3 4 |
]$ vi conf/hadoop-env.sh ... export JAVA_HOME=/path/jdk ... |
2.3 hdfs-site.xml 설정
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
]$ vi conf/hdfs-site.xml ... <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/service/workspace/hadoop_name</value> </property> <property> <name>dfs.data.dir</name> <value>/service/workspace/hadoop_data</value> </property> ... |
* 참고 : dfs.name.dir와 dfs.data.dir 는 서버를 구동하기 전에 미리 생성해야함(자동으로 … Continue reading
우분투에 원격 데스트톱 연결(xrdp) 1. 설치.
|
1 |
$ sudo apt-get install xrdp |
2. 설정 설치된 홈 폴더의 .xsession 파일에 다음 줄을 추가
|
1 2 |
$ sudo vi ~/.xsession gnome-session --session=ubuntu-2d |
3. 접속 윈도우의 원격 데스크탑 연결을 열어 접속. 정상으로 RDP 연결이 되었습니다. 참고 : http://mcchae.egloos.com/10807413