Oozie vs Azkaban
Oozie vs Azkaban – Oozie는 실패의 지점에서 다시 시작하지만, azkaban는하지 않는다. – Oozie는 흐름을 DB에 유지, azkaban가 메모리에 유지 – Azkaban은 job을 시작하기전에 실행계획이 고정되지만, Oozie는 노드가 결정 – Azkaban 이벤트 트리거를 지원하지 않습니다 – Azkaban은 간단한 작업 흐름에 … Continue reading
Author Archives: apollo89
BIG DATA 관련 사이트 모음_하둡/연동 Project/Nosql
아따.. 볼게 너무 많네..ㅠㅠ 시간은 없고.. 1.Apache Hadoop Ecosystem # 저장 * HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/) * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) # 어플리케이션 서버 * Thrift: 데이터 직렬화 (http://thrift.apache.org/) … Continue reading
Hamake 특징 및 설치, Examples 실행
데이터 중심(data-driven)의 WorkFlow를 설정할 수 있는 Utillity 특징 – 경량 유틸리티 – 복잡한 설치 필요 없음 – 데이터 흐름 프로그래밍 모델 기반(DAG) – 쉬운 학습 곡선. – 아마존 Elastic MapReduce 지원 – MapReduce 작업뿐만 아니라 PIG Latin scripts를 실행 … Continue reading
Posted in Bigdata/Hadoop, Util/Tools
Tagged data-driven, examples, HAMAKE, Workflow, 설치
Leave a comment
Hamake과 다른 WorkflowEngines 과 비교(Cascading Oozie Azkaban)
Hamake 소개에 이어 Cascading, Oozie, Azkaban와 비교 원문 : http://code.google.com/p/hamake/wiki/HamakeComparisonWithOtherWorkflowEngines //====================================================================== The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be … Continue reading
HAMAKE 소개
요즘 Workflow에 관련해서 자료를 조사하고 있는데.. 간단한거라 영어 공부도 해볼겸 번역해 보았습니다. 발번역이라 엉망인데 많은 조언 부탁드립니다. 원문 : http://code.google.com/p/hamake/#Introduction //====================================================================== HAMAKE Introduction Most non-trivial data processing scenarios with Hadoop typically require more than one MapReduce job. Usually such … Continue reading
거실 벤치 만들기 설계편
거실 벤치 만들기 설계편!! 지난번 거실책상 만든 이후 이번에는 거실 벤치를 만들어보기로 했다. 아내의 요구 사항은 아래와 같다. 1. 거실 책상안으로 쏙 들어갔으면 좋겠다. -> 거실책상이 1800mm 이고 책상다리 사이는 1570mm 정도 되니까… 가로 1500mm 2. 팔걸이가 있었으면 좋겠다. … Continue reading
반창꼬
생명을 살리는 직업 의사.. 그리고 또다른 생명을 살리는 직업 소방관.. 그 두 직업의 만남.. 그리고 사랑.. 영화를 보는 내내 생명의 소중함을 느꼈다.. 사람의 생명은 그 어떤것과도 타협할 수 없고, 살고자 하는 욕망은 그 어떤것 보다 강하다는 것을.. 엄마와 아빠가 … Continue reading
7번방의 선물
아내와 간만에 문화생활을 즐기기로 했다^^ 아내가 고른 영화는 7번방의 선물 ^^ 평점이 무려 9.56(네이버 영화) 대박이다! 지적장애를 아버지가 딸을 사랑하는 진한 부정을 느낄수 있었다.. 대한민국에서는 가난하고 약한 사람들은 정말 살아가기 힘든 나라라는 것을 다시 한번 깨닫게 된다. 돈있고 권력있는 … Continue reading
광해, 왕이 된 남자(2012)
광해, 왕이 된 남자 광해군.. 그냥 폭군이며, 오락가락 미치광이 왕이라는 정도만 알고 있었다. 영화에서 광해는 달랐다..(물론 픽션이지만) 자신의 왕위를 노리는 자들 때문에 분노와 두려움으로 가득찬 왕은 광해는 자신을 닮은 바람막이를 세운다. 그 바람막기 왕이 실제 국정을 하면서 진정한 왕이 … Continue reading
HTTP Header Field 와 Status Code
맨날 볼 때 마다 헷갈리는 http header 정보와 status code 를 정리 HTTP Header Field Accept 클라이언트측이 Content-Type으로 받는 데이터의 종류. MIME사양의 데이터 타입으로 표현된 것이다. text/html, application/xhtml+xml, */*: (MIME타입) HTML(HTML5), XHTML Accept-Charset 클라이언트측이 받은 문자 코드 세트 Accept-Encoding … Continue reading