BIG DATA 관련 사이트 모음_하둡/연동 Project/Nosql


 

아따.. 볼게 너무 많네..ㅠㅠ

시간은 없고..

1.Apache Hadoop Ecosystem

# 저장
* HDFS: Hadoop Distributed Filesystem (http://hadoop.apache.org/hdfs/)
* Fuse-DFS: Mountable HDFS (http://wiki.apache.org/hadoop/MountableHDFS/)
* HBase: NoSQL (http://hbase.apache.org/)
* HCatalog: 테이블 관리 (http://incubator.apache.org/hcatalog/)

# 어플리케이션 서버
* Thrift: 데이터 직렬화 (http://thrift.apache.org/)
* Avro: 데이터 직렬화 (http://avro.apache.org/)

# 처리/분석
* MapReduce: 데이터 분석 엔진 (http://hadoop.apache.org/mapreduce/)
* Pig: 데이터 분석 언어 (http://pig.apache.org/)
* Hive: 데이터 쿼리 언어 (http://hive.apache.org/)
* Oozie: 워크플로우 관리 (http://incubator.apache.org/oozie/)
* Mahout: 데이터 마이닝 (http://mahout.apache.org/)
* Giraph: 그래프 분석 (http://incubator.apache.org/giraph/)
* Lucene: 검색엔진 (http://lucene.apache.org/core/)
* Hama: 병렬컴퓨팅 (http://incubator.apache.org/hama/)

# 수집
* Chukwa: 로그 수집/분석/출력/모니터링 (http://incubator.apache.org/chukwa/)
* Sqoop: RDBMS 데이터 수집 (http://incubator.apache.org/sqoop/)
* Flume: 이벤트 데이터 수집 (http://incubator.apache.org/flume/)
* Kafka: 데이터 수집 (http://incubator.apache.org/kafka/)
* S4: 이벤트 데이터 처리 (http://incubator.apache.org/s4/)
* Nutch: 웹 검색 (http://nutch.apache.org/)

# 관리
* Zookeeper: 클러스터 관리 (http://zookeeper.apache.org/)
* Ambari: 환경설정, 모니터링 (http://incubator.apache.org/ambari/)
* Whirr: 클러스터 배포 (http://whirr.apache.org/)
* Bigtop: 패키지 개발 (http://incubator.apache.org/bigtop/)

2.하둡연동 오픈소스 프로젝트

# 통계 분석
R (http://www.r-project.org/)

# 검색 엔진
Katta (http://katta.sourceforge.net/)
Elasticsearch (http://www.elasticsearch.org/)

# 캐쉬서버
Redis (http://redis.io/)
Memcached (http://memcached.org/)
Hazelcast (http://www.hazelcast.com/)

# 데이터 수집
Scribe (https://github.com/facebook/scribe/)
Hiho (https://github.com/sonalgoyal/hiho/)
Honu (https://github.com/jboulon/Honu/)
Big Streams (http://code.google.com/p/bigstreams/)

# 데이터 직렬화
Protocol Buffers (http://code.google.com/p/protobuf/)

# 데이터 분석
Cloud MapReduce (http://code.google.com/p/cloudmapreduce/)

# 분석 언어(Python)
Pydoop (http://sourceforge.net/apps/mediawiki/pydoop/)
Dumbo (https://github.com/klbostee/dumbo/)
Hadoopy (https://github.com/bwhite/hadoopy/)
Mrjob (https://github.com/Yelp/mrjob/)
Happy (http://code.google.com/p/happy/)

# 분석 언어(Ruby)
Mrtoolkit (http://code.google.com/p/mrtoolkit/)
Wukong (https://github.com/mrflip/wukong/)

# 쿼리 언어
JAQL (http://code.google.com/p/jaql/)
Cascalog (https://github.com/nathanmarz/cascalog/)

# 데이터 웨어하우스
CloudBase (http://cloudbase.sourceforge.net/)
HadoopDB (http://db.cs.yale.edu/hadoopdb/hadoopdb.html/)

# 워크플로우
Cascading (http://www.cascading.org/)
Azkaban (http://sna-projects.com/azkaban/)
Hamake (http://code.google.com/p/hamake/)

# 이벤트 처리
Esper (http://esper.codehaus.org/)

# 그래프 분석
Golden Orb (http://goldenorbos.org/)

# 웹 서버
Jetty (http://jetty.codehaus.org/jetty/)

# 모니터링
HUE (http://archive.cloudera.com/cdh/3/hue/)
Karmasphere (http://karmasphere.com/)
Ganglia (http://ganglia.sourceforge.net/)

# 병렬컴퓨텅
Disco (http://discoproject.org/)

3.NoSQL

MongoDB (http://www.mongodb.org/)
Cassandra (http://cassandra.apache.org/)
CouchDB (http://couchdb.apache.org/)
HyperTable (http://hypertable.org/)
Voldemort (http://project-voldemort.com/)
Scalaris (http://code.google.com/p/scalaris/)
Riak (http://basho.com/products/riak-overview/)
Neptune (http://dev.naver.com/projects/neptune/)
Cloudata (http://www.cloudata.org/)
ETC (http://en.wikipedia.org/wiki/NoSQL)

참고 : http://www.bicdata.com/bbs/board.php?bo_table=news_article&wr_id=93

 


This entry was posted in Bigdata/Hadoop and tagged , , , , , , , . Bookmark the permalink.

One Response to BIG DATA 관련 사이트 모음_하둡/연동 Project/Nosql

  1. 미스터리 says:

    뜨앗! 볼게 너무많은데 시간이…ㅠ0ㅠ

댓글 남기기