graceful 한 데이터노드 삭제
사용하는 데이터 노드를 빼고 다른용도로 사용할 일이 생겼다. 기본적으로 하둡은 장애에 강하기 때문에 그냥 데이터 노드를 죽이고 꺼도 알라서 replication 이 일어나기 때문에 문제가 없다. 하지만 더욱 graceful 하게 처리를 하고 싶다면 아래와 같이 하면된다. 1. datanode 대상 수정 … Continue reading
Category Archives: Bigdata/Hadoop
oozie 설치 성공!
어제의 oozie 설치 삽질기 에 많은 분의 조언을 주셨다.. sstrato.kong 님께서 제일 먼저 3.3.0사용하시라고 조언을.. 3.0.1(https://github.com/yahoo/oozie) 버전이 최신인줄 알고 받았더니.. 알고보니 3.3.1(https://github.com/apache/oozie)이 최신..OTL 그루터의 김형준 수석님께서도 깨알같은 조언을.. oozie-site.xml 설정에서 조금 이상한게 mysql 드라이버 설정 및 서버 설정을 oozie.service.JPAService.jdbc.driver, … Continue reading
웹로그를 이용한 페이지 연관분석
웹로그를 이용한 페이지 연관분석 0. 개요 웹로그의 referer 정보를 이용하여 페이지간의 연결구조를 파악하면, 레이지 링크를 따라움직이지 않고 직접 URL에 접근 또는 임시 페이지 및 취약한 페이지를 찾을수 있다 는 가설을 세우고 접근 1. 웹로그 대상 referer 가 존재하는 웹로그 … Continue reading
Posted in Bigdata/Hadoop, Javascript/Html, Python/Ruby/Perl
Tagged d3, map/reduce, 웹로그, 파이썬, 페이지연관분석, 하둡
Leave a comment
oozie 설치 삽질기..
workflow 를 시스템에 적용해보기 위해 Hadoop WMS(Workflow Management System) 에 대해서 알아보고 있다. 우선 검토한 시스템은 Oozie 와 Azkaban, Cascading, Hamake 를 조사해봤다. 이번에는 실제로 oozie 를 설치해보려고 시도했지만 실패.. 혹시 원인을 아시는 분은 알려주세요..ㅠㅠ oozie 를 설치하기 위해 … Continue reading
Oozie vs Azkaban
Oozie vs Azkaban – Oozie는 실패의 지점에서 다시 시작하지만, azkaban는하지 않는다. – Oozie는 흐름을 DB에 유지, azkaban가 메모리에 유지 – Azkaban은 job을 시작하기전에 실행계획이 고정되지만, Oozie는 노드가 결정 – Azkaban 이벤트 트리거를 지원하지 않습니다 – Azkaban은 간단한 작업 흐름에 … Continue reading
BIG DATA 관련 사이트 모음_하둡/연동 Project/Nosql
아따.. 볼게 너무 많네..ㅠㅠ 시간은 없고.. 1.Apache Hadoop Ecosystem # 저장 * HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/) * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) # 어플리케이션 서버 * Thrift: 데이터 직렬화 (http://thrift.apache.org/) … Continue reading
Hamake 특징 및 설치, Examples 실행
데이터 중심(data-driven)의 WorkFlow를 설정할 수 있는 Utillity 특징 – 경량 유틸리티 – 복잡한 설치 필요 없음 – 데이터 흐름 프로그래밍 모델 기반(DAG) – 쉬운 학습 곡선. – 아마존 Elastic MapReduce 지원 – MapReduce 작업뿐만 아니라 PIG Latin scripts를 실행 … Continue reading
Posted in Bigdata/Hadoop, Util/Tools
Tagged data-driven, examples, HAMAKE, Workflow, 설치
Leave a comment
Hamake과 다른 WorkflowEngines 과 비교(Cascading Oozie Azkaban)
Hamake 소개에 이어 Cascading, Oozie, Azkaban와 비교 원문 : http://code.google.com/p/hamake/wiki/HamakeComparisonWithOtherWorkflowEngines //====================================================================== The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be … Continue reading
HAMAKE 소개
요즘 Workflow에 관련해서 자료를 조사하고 있는데.. 간단한거라 영어 공부도 해볼겸 번역해 보았습니다. 발번역이라 엉망인데 많은 조언 부탁드립니다. 원문 : http://code.google.com/p/hamake/#Introduction //====================================================================== HAMAKE Introduction Most non-trivial data processing scenarios with Hadoop typically require more than one MapReduce job. Usually such … Continue reading
만들면서 배우는 기계 학습 – 1장 기계 학습이란
[구매하기] 만들면서 배우는 기계 학습 1장 기계 학습이란 1.1 기계 학습의 역사 기계 학습 : 컴퓨터나 로봇처럼 생물이 아닌것이 하는 학습 학습 : 어떤 과정으로 내부상태를 변화시키는 행동 주어진 조건을 일반화 하거나 구체적인 사례에서 법칙을 끄집어내 내부상태를 변경하는 학습 … Continue reading