L2, L3, L4, L7 스위치
L2, L3, L4, L7 스위치 L2, L3 등은 OSI의 7 레이어 중 어떤 레이어에서 수행되는가에 따라 정의된 분류 L2 Switch (Mac Address) 가장 원초적인 형태의 스위치는 L2 스위치이다. 원래 스위치의 정의에 가장 부합하는 것이 L2 스위치이므로 L2 를 그냥 … Continue reading
Author Archives: apollo89
iOS 6.1 보안결함 lockscreen security flaw
Notice : 해당 자료가 저작권등에 의해서 문제가 있다면 바로 삭제하겠습니다. 연구목적으로 사용하지 않고 악의적인 목적으로 이용할 경우 발생할 수 있는 법적은 책임은 모두 본인에게 있습니다. http://www.youtube.com/watch?v=XyJExEAvUpk 영상에서의 순서를 정리하면.. 1. 밀어서 잠금해제 2. 긴급통화 클릭 3. 전원버튼 눌러서 밀어서 … Continue reading
oozie 설치 성공!
어제의 oozie 설치 삽질기 에 많은 분의 조언을 주셨다.. sstrato.kong 님께서 제일 먼저 3.3.0사용하시라고 조언을.. 3.0.1(https://github.com/yahoo/oozie) 버전이 최신인줄 알고 받았더니.. 알고보니 3.3.1(https://github.com/apache/oozie)이 최신..OTL 그루터의 김형준 수석님께서도 깨알같은 조언을.. oozie-site.xml 설정에서 조금 이상한게 mysql 드라이버 설정 및 서버 설정을 oozie.service.JPAService.jdbc.driver, … Continue reading
웹로그를 이용한 페이지 연관분석
웹로그를 이용한 페이지 연관분석 0. 개요 웹로그의 referer 정보를 이용하여 페이지간의 연결구조를 파악하면, 레이지 링크를 따라움직이지 않고 직접 URL에 접근 또는 임시 페이지 및 취약한 페이지를 찾을수 있다 는 가설을 세우고 접근 1. 웹로그 대상 referer 가 존재하는 웹로그 … Continue reading
Posted in Bigdata/Hadoop, Javascript/Html, Python/Ruby/Perl
Tagged d3, map/reduce, 웹로그, 파이썬, 페이지연관분석, 하둡
Leave a comment
oozie 설치 삽질기..
workflow 를 시스템에 적용해보기 위해 Hadoop WMS(Workflow Management System) 에 대해서 알아보고 있다. 우선 검토한 시스템은 Oozie 와 Azkaban, Cascading, Hamake 를 조사해봤다. 이번에는 실제로 oozie 를 설치해보려고 시도했지만 실패.. 혹시 원인을 아시는 분은 알려주세요..ㅠㅠ oozie 를 설치하기 위해 … Continue reading
Oozie vs Azkaban
Oozie vs Azkaban – Oozie는 실패의 지점에서 다시 시작하지만, azkaban는하지 않는다. – Oozie는 흐름을 DB에 유지, azkaban가 메모리에 유지 – Azkaban은 job을 시작하기전에 실행계획이 고정되지만, Oozie는 노드가 결정 – Azkaban 이벤트 트리거를 지원하지 않습니다 – Azkaban은 간단한 작업 흐름에 … Continue reading
BIG DATA 관련 사이트 모음_하둡/연동 Project/Nosql
아따.. 볼게 너무 많네..ㅠㅠ 시간은 없고.. 1.Apache Hadoop Ecosystem # 저장 * HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/) * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) # 어플리케이션 서버 * Thrift: 데이터 직렬화 (http://thrift.apache.org/) … Continue reading
Hamake 특징 및 설치, Examples 실행
데이터 중심(data-driven)의 WorkFlow를 설정할 수 있는 Utillity 특징 – 경량 유틸리티 – 복잡한 설치 필요 없음 – 데이터 흐름 프로그래밍 모델 기반(DAG) – 쉬운 학습 곡선. – 아마존 Elastic MapReduce 지원 – MapReduce 작업뿐만 아니라 PIG Latin scripts를 실행 … Continue reading
Posted in Bigdata/Hadoop, Util/Tools
Tagged data-driven, examples, HAMAKE, Workflow, 설치
Leave a comment
Hamake과 다른 WorkflowEngines 과 비교(Cascading Oozie Azkaban)
Hamake 소개에 이어 Cascading, Oozie, Azkaban와 비교 원문 : http://code.google.com/p/hamake/wiki/HamakeComparisonWithOtherWorkflowEngines //====================================================================== The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be … Continue reading
HAMAKE 소개
요즘 Workflow에 관련해서 자료를 조사하고 있는데.. 간단한거라 영어 공부도 해볼겸 번역해 보았습니다. 발번역이라 엉망인데 많은 조언 부탁드립니다. 원문 : http://code.google.com/p/hamake/#Introduction //====================================================================== HAMAKE Introduction Most non-trivial data processing scenarios with Hadoop typically require more than one MapReduce job. Usually such … Continue reading
