하둡 파일 시스템과 MR 아키텍처
참고 : http://socurites.com/129 원문 : http://www.hadooper.blogspot.kr/2010/11/platform-base-hdfs-mr.html
Author Archives: apollo89
python mysql 연동
설치 하기 전에 python 버전을 확인.
|
1 2 |
[root@test install]# python -V Python 2.4.3 |
MySQL-python 을 사용하려고 하는데, MySQL-python 은 2.4-2.7버전을 지원. http://sourceforge.net/projects/mysql-python/ 의 아래부분 참고. * Python versions 2.4-2.7; Python 3 support coming soon. 필요한 라이브러리를 설치.
|
1 |
[root@test install]# yum install gcc mysql-devel python-devel |
SetupTools 설치. SetupTools는 Python으로 만든 프로그램을 자동으로 다운로드하고 설치하는 … Continue reading
python 개발환경 설정
1. python 설치 http://www.python.org/ 다운로드 > 릴리즈 > Python 2.5.6 > 2.5.4 다운로드(http://www.python.org/download/releases/2.5.4/) 2. eclipse 설치 http://eclipse.org/ 다운로드 > Eclipse Classic 4.2 다운로드 pydev plugin 설치 : http://pydev.org/updates svn plugin 설치 : http://subclipse.tigris.org/update_1.8.x/ Python 인터프린터 설정 : 이클립스메뉴 > … Continue reading
apache hcatalog 설치와 삽질기..
apache hcatalog 설치 홈페이지 : http://incubator.apache.org/hcatalog/ 설치환경 : Ubuntu 64bit hadoop-1.0.0, hive-0.8.1, mysql 5.1.63, zookeeper-3.3.4, hcatalog-0.4.0, hbase-0.92.1 hcatalog 설치
|
1 2 3 4 5 6 7 8 |
$ wget http://mirror.apache-kr.org/incubator/hcatalog/hcatalog-0.4.0-incubating/hcatalog-src-0.4.0-incubating.tar.gz $ tar xvzf hcatalog-src-0.4.0-incubating.tar.gz $ cd hcatalog-src-0.4.0-incubating $ ant -Dhcatalog.version=0.4.0 tar $ cp /home/hcatalog/hcatalog-src-0.4.0-incubating/build/hcatalog-0.4.0.tar.gz /home/hcatalog/ $ cd /home/hcatalog/ $ tar xvzf hcatalog-0.4.0.tar.gz $ ln -s hcatalog-0.4.0/ hcatalog |
hive는 이미 설치되어 있으므로 생략 한다. hcatalog를 서버로 구동하기 위한 스크립트 실행했더니 아래와 같은 사용법이 나왔다.
|
1 2 3 4 5 6 7 8 |
$ ./share/hcatalog/scripts/hcat_server_install.sh Usage: ./share/hcatalog/scripts/hcat_server_install.sh -r root -d dbroot -h hadoop_home -p server_port root is the directory where you like to install the HCatalog server /usr/local/hcat is suggested. dbroot is the directory where your mysql connector jar is located. hadoop_home is the directory of your Hadoop installation. server_port is the listening port of the HCatalog server All paths must be absolute |
입력 파라미터는 … Continue reading
Apache Hadoop Ecosystem 소개
Apache Hadoop Ecosystem은 HDFS를 비롯하여 여러 오픈소스 프로젝트로 구성되어 있다. 대표적인 프로젝트는 다음과 같다. <Big Data Analysis> * HDFS: Hadoop Distributed Filesystem (http://wiki.apache.org/hadoop/HDFS) <- 사용중 * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) <- 사용중 * HCatalog: 테이블 관리 … Continue reading
R 스터디 내용 정리
R 스터디 내용 정리 1. R 설치 – 홈페이지 둘러보기 (http://www.r-project.org/) – CRAN -> Korean -> Download R for MacOS X -> 설치 2. Rstudio 설치 – 홈페이지 둘러보기 (http://rstudio.org/) – Download RStudio -> 설치 3. 구동 및 실행 … Continue reading
리더쉽
1. 보스와 코치 보스 코치 – 말을 많이 한다 – 이야기한다 – 방향을 결정한다 – 추정한다 – 통제하려한다 – 명령한다 – 부하를 움직인다 – 결과물을 원시한다 – 잘못을 따진다 – 거리를유지한다 – 많이 듣는다 – 물어본다 – 잘못된결정을 막는다 … Continue reading
redmine 의 roadmap 에 담당자 정보와 상태 정보가 보이도록 수정
redmine의 roadmap 으로 sprint review 를 하는데 담당자 정보가 안보여서 자꾸 헤메서 redmine 의 roadmap 에 담당자 정보 보이도록 수정했다.
|
1 2 3 4 5 6 7 8 9 10 11 12 |
vi {redmine}/app/views/versions/index.html.erb ... <table class="list related-issues"> <caption><%= l(:label_related_issues) %></caption> <% issues.each do |issue| -%> <tr class="hascontextmenu"> <td class="checkbox"><%= check_box_tag 'ids[]', issue.id %></td> <td><%= link_to_issue(issue, :project => (@project != issue.project)) %></td> </tr> <% end -%> </table> ... |
위의 소스에서 23 번 줄의 issue.assigned_to 의 부분을 추가
|
1 2 3 4 5 6 7 8 9 |
18 <table class="list related-issues"> <caption><%= l(:label_related_issues) %></caption> <% issues.each do |issue| -%> <tr class="hascontextmenu"> <td class="checkbox"><%= check_box_tag 'ids[]', issue.id %></td> <td><%= link_to_issue(issue, :project => (@project != issue.project)) %> - <%=issue.assigned_to%> [<%=issue.status%>]</td> </tr> <% end -%> </table> |
보기 좋구나!ㅋㅋ 참고로 redmine-1.3.1-1 이다.
Posted in Util/Tools
Tagged issue.assigned_to, roadmap, SCM/ITS, sprint review, 담당자 정보
Leave a comment
syslog, logger, logrotate, logwatch
로그 레벨 debug > info > notice > warn > error > crit > alert > emerg emerg 긴급 – 시스템이 쓸모없어졌음 “Child cannot open lock file. Exiting” alert 즉시 행동을 취해야 하는 경우. “getpwuid: couldn’t determine user name … Continue reading
주목! 9가지 오픈소스 빅 데이터 기술
주목! 9가지 오픈소스 빅 데이터 기술 갈수록 많은 기업들이 더 많은 데이터를 축적하며 경쟁력 향상을 꾀하고 있다. 그리고 이와 같은 빅 데이터 열풍의 중심에는 오픈소스 기술이 자리 잡고 있다. 여기 독자 여러분이 주목해야 할 아홉 개의 오픈소스 빅 데이터 … Continue reading
Posted in Bigdata/Hadoop, Scrap
Tagged Cascading, Cassandra, CouchDB, ElasticSearch, HBase, MongoDB, R, Scribe, 빅데이터, 오픈소스, 하둡
Leave a comment