어제의 oozie 설치 삽질기 에 많은 분의 조언을 주셨다.. sstrato.kong 님께서 제일 먼저 3.3.0사용하시라고 조언을.. 3.0.1(https://github.com/yahoo/oozie) 버전이 최신인줄 알고 받았더니.. 알고보니 3.3.1(https://github.com/apache/oozie)이 최신..OTL 그루터의 김형준 수석님께서도 깨알같은 조언을.. oozie-site.xml 설정에서 조금 이상한게 mysql 드라이버 설정 및 서버 설정을 oozie.service.JPAService.jdbc.driver, … Continue reading
웹로그를 이용한 페이지 연관분석 0. 개요 웹로그의 referer 정보를 이용하여 페이지간의 연결구조를 파악하면, 레이지 링크를 따라움직이지 않고 직접 URL에 접근 또는 임시 페이지 및 취약한 페이지를 찾을수 있다 는 가설을 세우고 접근 1. 웹로그 대상 referer 가 존재하는 웹로그 … Continue reading
workflow 를 시스템에 적용해보기 위해 Hadoop WMS(Workflow Management System) 에 대해서 알아보고 있다. 우선 검토한 시스템은 Oozie 와 Azkaban, Cascading, Hamake 를 조사해봤다. 이번에는 실제로 oozie 를 설치해보려고 시도했지만 실패.. 혹시 원인을 아시는 분은 알려주세요..ㅠㅠ oozie 를 설치하기 위해 … Continue reading
Oozie vs Azkaban – Oozie는 실패의 지점에서 다시 시작하지만, azkaban는하지 않는다. – Oozie는 흐름을 DB에 유지, azkaban가 메모리에 유지 – Azkaban은 job을 시작하기전에 실행계획이 고정되지만, Oozie는 노드가 결정 – Azkaban 이벤트 트리거를 지원하지 않습니다 – Azkaban은 간단한 작업 흐름에 … Continue reading
아따.. 볼게 너무 많네..ㅠㅠ 시간은 없고.. 1.Apache Hadoop Ecosystem # 저장 * HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/) * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) # 어플리케이션 서버 * Thrift: 데이터 직렬화 (http://thrift.apache.org/) … Continue reading
데이터 중심(data-driven)의 WorkFlow를 설정할 수 있는 Utillity 특징 – 경량 유틸리티 – 복잡한 설치 필요 없음 – 데이터 흐름 프로그래밍 모델 기반(DAG) – 쉬운 학습 곡선. – 아마존 Elastic MapReduce 지원 – MapReduce 작업뿐만 아니라 PIG Latin scripts를 실행 … Continue reading
Hamake 소개에 이어 Cascading, Oozie, Azkaban와 비교 원문 : http://code.google.com/p/hamake/wiki/HamakeComparisonWithOtherWorkflowEngines //====================================================================== The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be … Continue reading
요즘 Workflow에 관련해서 자료를 조사하고 있는데.. 간단한거라 영어 공부도 해볼겸 번역해 보았습니다. 발번역이라 엉망인데 많은 조언 부탁드립니다. 원문 : http://code.google.com/p/hamake/#Introduction //====================================================================== HAMAKE Introduction Most non-trivial data processing scenarios with Hadoop typically require more than one MapReduce job. Usually such … Continue reading
거실 벤치 만들기 설계편!! 지난번 거실책상 만든 이후 이번에는 거실 벤치를 만들어보기로 했다. 아내의 요구 사항은 아래와 같다. 1. 거실 책상안으로 쏙 들어갔으면 좋겠다. -> 거실책상이 1800mm 이고 책상다리 사이는 1570mm 정도 되니까… 가로 1500mm 2. 팔걸이가 있었으면 좋겠다. … Continue reading
생명을 살리는 직업 의사.. 그리고 또다른 생명을 살리는 직업 소방관.. 그 두 직업의 만남.. 그리고 사랑.. 영화를 보는 내내 생명의 소중함을 느꼈다.. 사람의 생명은 그 어떤것과도 타협할 수 없고, 살고자 하는 욕망은 그 어떤것 보다 강하다는 것을.. 엄마와 아빠가 … Continue reading
