AI Coding, Development, Security, Network, Automation을 중심으로 실제 구축 과정에서 만난 문제와 해결 방법을 정리합니다.
이 영역에는 쿠팡/토스 파트너스 제휴 링크가 포함되어 있으며, 구매 시 일정액의 수수료를 제공받을 수 있습니다.
최근 작성한 글 10개
어제의 oozie 설치 삽질기 에 많은 분의 조언을 주셨다.. sstrato.kong 님께서 제일 먼저 3.3.0사용하시라고 조언을.. 3.0.1(https://github.com/yahoo/oozie) 버전이 최신인줄 알고 받았더니.. 알고보니 3.3.1(https://github.com/apache/oozie)이 최신..OTL 그루터의 김형준 수석님께서도 깨알같은 조언을.. oozie-site.xml 설정에서 조금 이상한게 mysql 드라이버 설정 및 서버 설정을 oozie.service.JPAService.jdbc.driver, oozie.service.JPAService.jdbc.url 이렇게…
읽어보기 →웹로그를 이용한 페이지 연관분석 0. 개요 웹로그의 referer 정보를 이용하여 페이지간의 연결구조를 파악하면, 레이지 링크를 따라움직이지 않고 직접 URL에 접근 또는 임시 페이지 및 취약한 페이지를 찾을수 있다 는 가설을 세우고 접근 1. 웹로그 대상 referer 가 존재하는 웹로그 2. map…
읽어보기 →workflow 를 시스템에 적용해보기 위해 Hadoop WMS(Workflow Management System) 에 대해서 알아보고 있다. 우선 검토한 시스템은 Oozie 와 Azkaban, Cascading, Hamake 를 조사해봤다. 이번에는 실제로 oozie 를 설치해보려고 시도했지만 실패.. 혹시 원인을 아시는 분은 알려주세요..ㅠㅠ oozie 를 설치하기 위해 시도해본 내용은…
읽어보기 →Oozie vs Azkaban - Oozie는 실패의 지점에서 다시 시작하지만, azkaban는하지 않는다. - Oozie는 흐름을 DB에 유지, azkaban가 메모리에 유지 - Azkaban은 job을 시작하기전에 실행계획이 고정되지만, Oozie는 노드가 결정 - Azkaban 이벤트 트리거를 지원하지 않습니다 - Azkaban은 간단한 작업 흐름에 사용됩니다 참고…
읽어보기 →아따.. 볼게 너무 많네..ㅠㅠ 시간은 없고.. 1.Apache Hadoop Ecosystem # 저장 * HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/) * Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/) * HBase: NoSQL (http://hbase.apache.org/) * HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/) # 어플리케이션 서버 * Thrift: 데이터 직렬화 (http://thrift.apache.org/) * Avro:…
읽어보기 →데이터 중심(data-driven)의 WorkFlow를 설정할 수 있는 Utillity 특징 - 경량 유틸리티 - 복잡한 설치 필요 없음 - 데이터 흐름 프로그래밍 모델 기반(DAG) - 쉬운 학습 곡선. - 아마존 Elastic MapReduce 지원 - MapReduce 작업뿐만 아니라 PIG Latin scripts를 실행 Hamake와 Cascading의…
읽어보기 →Hamake 소개에 이어 Cascading, Oozie, Azkaban와 비교 원문 : http://code.google.com/p/hamake/wiki/HamakeComparisonWithOtherWorkflowEngines //====================================================================== The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be used to…
읽어보기 →요즘 Workflow에 관련해서 자료를 조사하고 있는데.. 간단한거라 영어 공부도 해볼겸 번역해 보았습니다. 발번역이라 엉망인데 많은 조언 부탁드립니다. 원문 : http://code.google.com/p/hamake/#Introduction //====================================================================== HAMAKE Introduction Most non-trivial data processing scenarios with Hadoop typically require more than one MapReduce job. Usually such processing is…
읽어보기 →거실 벤치 만들기 설계편!! 지난번 거실책상 만든 이후 이번에는 거실 벤치를 만들어보기로 했다. 아내의 요구 사항은 아래와 같다. 1. 거실 책상안으로 쏙 들어갔으면 좋겠다. -> 거실책상이 1800mm 이고 책상다리 사이는 1570mm 정도 되니까... 가로 1500mm 2. 팔걸이가 있었으면 좋겠다. -> 거실책상이…
읽어보기 →생명을 살리는 직업 의사.. 그리고 또다른 생명을 살리는 직업 소방관.. 그 두 직업의 만남.. 그리고 사랑.. 영화를 보는 내내 생명의 소중함을 느꼈다.. 사람의 생명은 그 어떤것과도 타협할 수 없고, 살고자 하는 욕망은 그 어떤것 보다 강하다는 것을.. 엄마와 아빠가 물에 빠지면…
읽어보기 →
