하둡 파일 시스템과 MR 아키텍처
참고 : http://socurites.com/129 원문 : http://www.hadooper.blogspot.kr/2010/11/platform-base-hdfs-mr.html
읽어보기 →Apollo89 · Author
apollo89
아폴로89 입니다.
783 articles
python mysql 연동
설치 하기 전에 python 버전을 확인.[root@test install]# python -V Python 2.4.3 MySQL-python 을 사용하려고 하는데, MySQL-python 은 2.4-2.7버전을 지원. http://sourceforge.net/projects/mysql-python/ 의 아래부분 참고. * Python versions 2.4-2.7; Python 3 support coming soon. 필요한 라이브러리를 설치.[root@test install]# yum install gcc mysql-devel python-devel…
읽어보기 →python 개발환경 설정
1. python 설치 http://www.python.org/ 다운로드 > 릴리즈 > Python 2.5.6 > 2.5.4 다운로드(http://www.python.org/download/releases/2.5.4/) 2. eclipse 설치 http://eclipse.org/ 다운로드 > Eclipse Classic 4.2 다운로드 pydev plugin 설치 : http://pydev.org/updates svn plugin 설치 : http://subclipse.tigris.org/update_1.8.x/ Python 인터프린터 설정 : 이클립스메뉴 > Window >…
읽어보기 →apache hcatalog 설치와 삽질기..
apache hcatalog 설치 홈페이지 : http://incubator.apache.org/hcatalog/ 설치환경 : Ubuntu 64bit hadoop-1.0.0, hive-0.8.1, mysql 5.1.63, zookeeper-3.3.4, hcatalog-0.4.0, hbase-0.92.1 hcatalog 설치 $ wget http://mirror.apache-kr.org/incubator/hcatalog/hcatalog-0.4.0-incubating/hcatalog-src-0.4.0-incubating.tar.gz $ tar xvzf hcatalog-src-0.4.0-incubating.tar.gz $ cd hcatalog-src-0.4.0-incubating $ ant -Dhcatalog.version=0.4.0 tar $ cp /home/hcatalog/hcatalog-src-0.4.0-incubating/build/hcatalog-0.4.0.tar.gz /home/hcatalog/ $ cd /home/hcatalog/ $…
읽어보기 →Apache Hadoop Ecosystem 소개
Apache Hadoop Ecosystem은 HDFS를 비롯하여 여러 오픈소스 프로젝트로 구성되어 있다. 대표적인 프로젝트는 다음과 같다. <Big Data Analysis> * HDFS: Hadoop Distributed Filesystem (http://wiki.apache.org/hadoop/HDFS) <- 사용중 * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) <- 사용중 * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) *…
읽어보기 →R 스터디 내용 정리
R 스터디 내용 정리 1. R 설치 - 홈페이지 둘러보기 (http://www.r-project.org/) - CRAN -> Korean -> Download R for MacOS X -> 설치 2. Rstudio 설치 - 홈페이지 둘러보기 (http://rstudio.org/) - Download RStudio -> 설치 3. 구동 및 실행 - KRUG…
읽어보기 →리더쉽
1. 보스와 코치 보스 코치 - 말을 많이 한다 - 이야기한다 - 방향을 결정한다 - 추정한다 - 통제하려한다 - 명령한다 - 부하를 움직인다 - 결과물을 원시한다 - 잘못을 따진다 - 거리를유지한다 - 많이 듣는다 - 물어본다 - 잘못된결정을 막는다 - 조사한다…
읽어보기 →redmine 의 roadmap 에 담당자 정보와 상태 정보가 보이도록 수정
redmine의 roadmap 으로 sprint review 를 하는데 담당자 정보가 안보여서 자꾸 헤메서 redmine 의 roadmap 에 담당자 정보 보이도록 수정했다. vi {redmine}/app/views/versions/index.html.erb ... <table class="list related-issues"> <caption><%= l(:label_related_issues) %></caption> <% issues.each do |issue| -%> <tr class="hascontextmenu"> <td class="checkbox"><%= check_box_tag 'ids[]', issue.id…
읽어보기 →syslog, logger, logrotate, logwatch
로그 레벨 debug > info > notice > warn > error > crit > alert > emerg emerg 긴급 - 시스템이 쓸모없어졌음 "Child cannot open lock file. Exiting" alert 즉시 행동을 취해야 하는 경우. "getpwuid: couldn't determine user name from uid"…
읽어보기 →주목! 9가지 오픈소스 빅 데이터 기술
주목! 9가지 오픈소스 빅 데이터 기술 갈수록 많은 기업들이 더 많은 데이터를 축적하며 경쟁력 향상을 꾀하고 있다. 그리고 이와 같은 빅 데이터 열풍의 중심에는 오픈소스 기술이 자리 잡고 있다. 여기 독자 여러분이 주목해야 할 아홉 개의 오픈소스 빅 데이터 기술을 소개한다.…
읽어보기 →어떻게 참된 그리스도인이 될것인가
[구매하기] 어떻게 참된 그리스도인이 될것인가 급변하는 문화와 사회 속에서 그리스도인들이 어떻게 신실하게 살수있을까? 세계화 - 무엇이 세계를 하나로 만들고 있는가? 시장의 확산(값싼 노동력을 위한 제조공장의 이동) 근대화 - 서양의 근대 문화 사상이 전세계로 확산 -> 세계화의 결과 세속화 - 교회에 속했던…
읽어보기 →Syslog-NG 설치 및 설정
목표 : 모든 서버의 SYSLOG를 로그 서버로 쏘게 하고, 로그서버에서는 HOST-yyyymmdd.log 를 만들어 관리하도록 설정. Syslog-NG(Syslog New Generation)는 보다 향상된 필터링 및 포워딩 기능 외에 메시지 무결성과 암호화 기능을 추가하여 syslog의 유연성을 증가시켰으며, TCP와 UDP 프로토콜을 통한 원격 Logging을 지원합니다. 안정성에…
읽어보기 →