Hadoop大家庭有哪些?Hadoop家族主要成员关系

Common

一组由分布式文件系统和通用I/O的组件与接口(序列化, Java RPC, 持久化数据结构)。

Avro

一种支持高效、跨语言的RPC以及永久化存储数据的序列化系统。

MapReduce

分布式数据处理模型和执行环境，运行于大型的商用机集群。

HDFS

分布式文件系统，运行于大型的商用机集群。

Pig

一种数据流语言和运行环境，用以检索非常大的数据集。 Pig 运行在HDFS 和MapReduceclusters上。

Hive

分布式的，按列存储的数据仓库。 Hive 管理存储在HDFS 的数据，并提供基于SQL的查询语句(运行时候，引擎翻译成MapReduce作业) 以查询数据。

HBase

一个分布式的，按列存储的数据库HBase使用HDFS 作为底层存储，同时支持MapReduce的批量计算和点查询(随机即读取)。

ZooKeeper

一个分布式的高可用性的协调服务。 ZooKeeper提供分布式锁之类的基本服务，用于构建分布式应用。

Sqoop

在数据库和HDFS之间高效数据传输工具。

Oozie

Oozie是Hadoop提供的一个工作流系统。

Hadoop家族主要成员关系