데이터 중심(data-driven)의 WorkFlow를 설정할 수 있는 Utillity 특징 – 경량 유틸리티 – 복잡한 설치 필요 없음 – 데이터 흐름 프로그래밍 모델 기반(DAG) – 쉬운 학습 곡선. – 아마존 Elastic MapReduce 지원 – MapReduce 작업뿐만 아니라 PIG Latin scripts를 실행 … Continue reading
Hamake 소개에 이어 Cascading, Oozie, Azkaban와 비교 원문 : http://code.google.com/p/hamake/wiki/HamakeComparisonWithOtherWorkflowEngines //====================================================================== The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be … Continue reading
요즘 Workflow에 관련해서 자료를 조사하고 있는데.. 간단한거라 영어 공부도 해볼겸 번역해 보았습니다. 발번역이라 엉망인데 많은 조언 부탁드립니다. 원문 : http://code.google.com/p/hamake/#Introduction //====================================================================== HAMAKE Introduction Most non-trivial data processing scenarios with Hadoop typically require more than one MapReduce job. Usually such … Continue reading
맨날 볼 때 마다 헷갈리는 http header 정보와 status code 를 정리 HTTP Header Field Accept 클라이언트측이 Content-Type으로 받는 데이터의 종류. MIME사양의 데이터 타입으로 표현된 것이다. text/html, application/xhtml+xml, */*: (MIME타입) HTML(HTML5), XHTML Accept-Charset 클라이언트측이 받은 문자 코드 세트 Accept-Encoding … Continue reading
[구매하기] 만들면서 배우는 기계 학습 1장 기계 학습이란 1.1 기계 학습의 역사 기계 학습 : 컴퓨터나 로봇처럼 생물이 아닌것이 하는 학습 학습 : 어떤 과정으로 내부상태를 변화시키는 행동 주어진 조건을 일반화 하거나 구체적인 사례에서 법칙을 끄집어내 내부상태를 변경하는 학습 … Continue reading
Hadoop 의 HA 구성 때문에 Avatar Node 를 검토하던중에, Cloudera 에서 배포된 CDH4.1에 quorum-based journal node에 대해서 알게 되었다. http://touk.pl/blog/en/2012/10/30/hadoop-ha-setup/ https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs https://ccp.cloudera.com/download/attachments/21438336/CDH4_High_Availability_Guide_4.1.pdf?version=3&modificationDate=1349301318000 영문으로 보기가 벅차서 누가 번역하지 않았을까 해서 찾아보니 역시!! http://charsyam.wordpress.com/2012/11/02/%EB%B0%9C-%EB%B2%88%EC%97%AD-quorum-based-journaling-in-cdh4-1/ 그리도 이미 설치해보신 분들도 있다. http://geekdani.wordpress.com/2012/12/22/hadoop-2-0-journal-node-%EC%84%A4%EC%B9%98/ … Continue reading
구글 drive api 사용기 python 구글 drive api 홈페이지 : https://developers.google.com/drive/ 죄측 메뉴 Quickstart > python : https://developers.google.com/drive/quickstart-python 비디오 https://developers.google.com/drive/quickstart-python#optional_view_a_quickstart_video 1단계 : Enable the Drive API 1. Create an API project in the Google APIs Console. 2. Select the Services … Continue reading
svn 리파지토리를 웹으로 봐야 하는 일이 생겼다. 그래서 리파지토리 뷰를 위해 websvn 을 설치해보았다. 1. WebSVN 다운로드 – http://websvn.tigris.org 2. WebSVN 압축 해제 $ tar zxvf websvn-2.3.3.tar.gz $ mv websvn-2.3.3 /var/www $ cd /var/www $ ln -s ./websvn-2.3.3 websvn … Continue reading
블로그 이전을 하면서 기존링크를 새로운 blog로 연결시키기위해 좋은 방법이 없을까 고민하다가 .htaccess을 사용하기로 했다. 간단하게 htaccess의 사용법을 정리하면.. RewriteEngine On -> Rewrite 모듈 호출 RewriteCond %{REQUEST_FILENAME} -f RewriteRule ^(abc\.php) cba.php [L] -> RewriteCond 조건이 맞으면 RewriteRule을 적용한다는 의미 즉, … Continue reading
nexus 설치 및 설정 URL : http://www.sonatype.org/nexus/go Download Nexus 2.3.0 설치 및 서비스 포트 변경 ]$ wget http://www.sonatype.org/downloads/nexus-2.3.0-04-bundle.tar.gz ]$ tar xvzf nexus-2.3.0-04-bundle.tar.gz ]$ cd nexus-2.3.0-04 ]$ vi conf/nexus.properties … # Jetty section application-port=8090 application-host=0.0.0.0 nexus-webapp=${bundleBasedir}/nexus nexus-webapp-context-path=/nexus … ]$ ./bin/nexus … Continue reading
