ubuntu linux 에서 Volatility 설치 1. 필요 라이브러리 설치 $ sudo apt-get update $ sudo apt-get install build-essential subversion pcregrep libpcre++-dev python-dev sqlite3 libsqlite3-dev -y proxy 환경일 경우 apt-get를 아래와 같이 설정한다. $ cat /etc/apt/apt.conf Acquire::http::proxy “http://xxx.xxx.xxx.xxx:8080/”; Acquire::https::proxy “https://xxx.xxx.xxx.xxx:8080/”; 또는 … Continue reading
서버를 모니터링 해야 할 일이 생겨 좋은 도구를 찾다가 발견했다. MUNIN ( http://munin-monitoring.org/ ) 설치를 해보자.. ]# yum -y install munin munin-node Loaded plugins: fastestmirror, security Loading mirror speeds from cached hostfile * base: centos.tt.co.kr * extras: centos.tt.co.kr * … Continue reading
어제의 oozie 설치 삽질기 에 많은 분의 조언을 주셨다.. sstrato.kong 님께서 제일 먼저 3.3.0사용하시라고 조언을.. 3.0.1(https://github.com/yahoo/oozie) 버전이 최신인줄 알고 받았더니.. 알고보니 3.3.1(https://github.com/apache/oozie)이 최신..OTL 그루터의 김형준 수석님께서도 깨알같은 조언을.. oozie-site.xml 설정에서 조금 이상한게 mysql 드라이버 설정 및 서버 설정을 oozie.service.JPAService.jdbc.driver, … Continue reading
workflow 를 시스템에 적용해보기 위해 Hadoop WMS(Workflow Management System) 에 대해서 알아보고 있다. 우선 검토한 시스템은 Oozie 와 Azkaban, Cascading, Hamake 를 조사해봤다. 이번에는 실제로 oozie 를 설치해보려고 시도했지만 실패.. 혹시 원인을 아시는 분은 알려주세요..ㅠㅠ oozie 를 설치하기 위해 … Continue reading
데이터 중심(data-driven)의 WorkFlow를 설정할 수 있는 Utillity 특징 – 경량 유틸리티 – 복잡한 설치 필요 없음 – 데이터 흐름 프로그래밍 모델 기반(DAG) – 쉬운 학습 곡선. – 아마존 Elastic MapReduce 지원 – MapReduce 작업뿐만 아니라 PIG Latin scripts를 실행 … Continue reading
요즘 Workflow에 관련해서 자료를 조사하고 있는데.. 간단한거라 영어 공부도 해볼겸 번역해 보았습니다. 발번역이라 엉망인데 많은 조언 부탁드립니다. 원문 : http://code.google.com/p/hamake/#Introduction //====================================================================== HAMAKE Introduction Most non-trivial data processing scenarios with Hadoop typically require more than one MapReduce job. Usually such … Continue reading
구글 drive api 사용기 python 구글 drive api 홈페이지 : https://developers.google.com/drive/ 죄측 메뉴 Quickstart > python : https://developers.google.com/drive/quickstart-python 비디오 https://developers.google.com/drive/quickstart-python#optional_view_a_quickstart_video 1단계 : Enable the Drive API 1. Create an API project in the Google APIs Console. 2. Select the Services … Continue reading
svn 리파지토리를 웹으로 봐야 하는 일이 생겼다. 그래서 리파지토리 뷰를 위해 websvn 을 설치해보았다. 1. WebSVN 다운로드 – http://websvn.tigris.org 2. WebSVN 압축 해제 $ tar zxvf websvn-2.3.3.tar.gz $ mv websvn-2.3.3 /var/www $ cd /var/www $ ln -s ./websvn-2.3.3 websvn … Continue reading
nexus 설치 및 설정 URL : http://www.sonatype.org/nexus/go Download Nexus 2.3.0 설치 및 서비스 포트 변경 ]$ wget http://www.sonatype.org/downloads/nexus-2.3.0-04-bundle.tar.gz ]$ tar xvzf nexus-2.3.0-04-bundle.tar.gz ]$ cd nexus-2.3.0-04 ]$ vi conf/nexus.properties … # Jetty section application-port=8090 application-host=0.0.0.0 nexus-webapp=${bundleBasedir}/nexus nexus-webapp-context-path=/nexus … ]$ ./bin/nexus … Continue reading
mysql replication 구성 1. mysql rpm 설치 mysql 홈페이지에서 최신버전 다운로드 http://www.mysql.com/downloads/mysql/ MySQL Community Server 5.5.20 – Linux – Generic 우리가 필요한 Client Utilities와 MySQL Server를 받는다. (MySQL-client-5.5.20-1.linux2.6.x86_64.rpm, MySQL-server-5.5.20-1.linux2.6.x86_64.rpm) Master에 Mysql rpm으로 설치 Master]# rpm -ivh MySQL-server-5.5.20-1.linux2.6.x86_64.rpm Preparing… ########################################### … Continue reading
