apache hcatalog 설치 홈페이지 : http://incubator.apache.org/hcatalog/ 설치환경 : Ubuntu 64bit hadoop-1.0.0, hive-0.8.1, mysql 5.1.63, zookeeper-3.3.4, hcatalog-0.4.0, hbase-0.92.1 hcatalog 설치 $ wget http://mirror.apache-kr.org/incubator/hcatalog/hcatalog-0.4.0-incubating/hcatalog-src-0.4.0-incubating.tar.gz $ tar xvzf hcatalog-src-0.4.0-incubating.tar.gz $ cd hcatalog-src-0.4.0-incubating $ ant -Dhcatalog.version=0.4.0 tar $ cp /home/hcatalog/hcatalog-src-0.4.0-incubating/build/hcatalog-0.4.0.tar.gz /home/hcatalog/ $ cd /home/hcatalog/ $…
읽어보기 →
Apache Hadoop Ecosystem은 HDFS를 비롯하여 여러 오픈소스 프로젝트로 구성되어 있다. 대표적인 프로젝트는 다음과 같다. <Big Data Analysis> * HDFS: Hadoop Distributed Filesystem (http://wiki.apache.org/hadoop/HDFS) <- 사용중 * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) <- 사용중 * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) *…
읽어보기 →
주목! 9가지 오픈소스 빅 데이터 기술 갈수록 많은 기업들이 더 많은 데이터를 축적하며 경쟁력 향상을 꾀하고 있다. 그리고 이와 같은 빅 데이터 열풍의 중심에는 오픈소스 기술이 자리 잡고 있다. 여기 독자 여러분이 주목해야 할 아홉 개의 오픈소스 빅 데이터 기술을 소개한다.…
읽어보기 →
1 Hive 설치 설치 위치 : /service/workspace (각자 환경에 맞게 구성) ]$ wget http://mirror.apache-kr.org/hive/hive-0.8.1/hive-0.8.1.tar.gz ]$ tar xvzf hive-0.8.1.tar.gz ]$ ln -s hive-0.8.1 hive ]$ cd /service/workspace/hive 2 Hive 설정 2.1 hive-site.xml 설정 ]$ vi conf/hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration>…
읽어보기 →
php 버전에서 Non thread safe와 thread safe 두종류의 차이 VC6 : Apache 용 VC9 : IIS 용 [Thread Safe 와 Non Thread Safe] 우선 윈도우용 PHP는 항상 Thread Safe 버전으로 나왔었습니다. 이유는 윈도우가 멀티쓰레드 방식인데 PHP 는 멀티프로세스 방식으로 개발 되었기…
읽어보기 →
Apache MPM 방식 Prefork / Worker Prefork는 일반적으로 Single CPU 또는 Dual CPU에서 성능이 좋고 Worker는 일반적으로 멀티 CPU 시스템에서 성능이 좋다. Prefork <IfModule mpm_prefork_module> StartServers 5 MinSpareServers 5 MaxSpareServers 10 MaxClients 150 MaxRequestsPerChild 0 </IfModule> Worker StartServers 2 MaxClients 150…
읽어보기 →
Tomcat vhost 설정시 특정 IP 만 허용 여러개의 도메인을 tomcat의 vhost 를 사용해서 쓰고있는데.. 특정도메인 www.xxx.com은 xxx.xxx.xxx.* 만 접근할수있도록 설정해야 할일이 생겼다.. 찾아봤더니 아래와 같이 설정하면 된다.. ]$ vi %tomcat%/conf/Catalina/www.xxx.com/ROOT.xml ... <Context crossContext="true" docBase="/user/xxx/" path="" reloadable="true" privileged="true" antiResourceLocking="false" antiJARLocking="false"> <!-- Link…
읽어보기 →
현재 CI 툴로 CruiseControl을 사용한지 거의 2년이 넘어간다.. 지난번에 아시는분이 알려준 Hudson 이란 툴도 꽤 좋다고 해서 사용해 볼까했는데.. 이번에 자바 프로젝트 필수 유틸리티 라는 책을 읽으면서 TeamCity라는 툴도 알게 되었다. 그래서 이 3개의 툴중에 어느 것이 더 좋을지 비교해보기 위해…
읽어보기 →
지난번에 CentOS5.2 + apache2.2.11 + php5.2.9 + Zend3.3.3 + Mysql5.0.45 설치 했었다.. 이제 정말 내가 하고싶었던...(그래서서버의 OS 재설치까지했던..) php와 jsp를 같이 쓰기 위해서는 apache2.2와 Tomcat6을 연동해야 한다. 순서는 아래와 같다. 1. apache2.2의 vhost 설정. 2. tomcat6 설치 3. Tomcat Connectors 설치…
읽어보기 →
자 우선 APM(apache+php+mysql) 부터 구성해놓고 Tomcat 까지 붙어보려고 검색을 해봤더니.. 아주 잘 설명된 블로그가 있어서 따라해봤다. http://plzu.tistory.com/57 내용을 보니 아마 어머어마한 내공의 소유자 인듯 하다.. 우선 내용대로 따라가보면서 진행해 보았다. mysql의 rpm버전에 소스컴파일버전보다 낮다고 하는데..(출처가 있었음 좋았을텐데..ㅋ) 일단 따라 mysql 설치…
읽어보기 →
웹 성능 향상 개발 방법 1. Make fewer HTTP requests - 사용자 응답시간의 80%는 프론트앤드단에서 발생한다. 많은 시간을 페이지의 컴포넌트(이미지, css, script, flash등)를 다운받는데 쓰인다는 얘기다. 위의 컴포넌트는 각각의 http request를 유발시켜서 페이지를 느리게 한다. - Image Maps - 이미지 맵은…
읽어보기 →
톰켓 로그 날자별로 쌓기(catalina.out) 운영중인 톰켓의 로그가 2G에 육박했다. 더이상 로그를 검색하기도 열어보기조차 버겁다. 그래서 톰켓의 catalina.out 로그를 날자별로 분리해서 쌓기로 했다. 먼저 cronolog 가 필요하다. 설치되어 있는지 확인한다. 만일 없다면 설치 해야 한다. 홈페이지는 http://cronolog.org/ 이며 글을 쓰고 있는 시점에 최신…
읽어보기 →