1.概述

计算框架和存储系统之间的桥梁.

2.功能

2.1. 统一命名空间

Alluxio通过挂载功能在不同的存储系统之间实现高效的数据管理 （统一管理不同存储系统）。

1.Alluxio中的挂载

将hdfs目录挂在到Alluxio中，再使用alluxio去操作。

这个特性允许用户挂载不同的存储系统到Alluxio命名空间中并且通过Alluxio命名空间无缝地跨存储系统访问文件。

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /

drwxr-xr-x hadoop hadoop 18 PERSISTED 01-10-2018 13:02:18:321 DIR /default_tests_files

drwxr-xr-x hadoop hadoop 1 PERSISTED 01-18-2018 14:51:18:328 DIR /home

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /

drwxr-xr-x hadoop hadoop 18 PERSISTED 01-10-2018 13:02:18:321 DIR /default_tests_files

drwxr-xr-x hadoop hadoop 1 PERSISTED 01-18-2018 14:51:18:328 DIR /home

#挂载HDFS 目录

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs mount /kyrie-mnt/ hdfs://nameservice1/kyrie

Mounted hdfs://nameservice1/kyrie at /kyrie-mnt

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt

-rw-r--r-- hadoop supergroup 2329875 PERSISTED 02-01-2018 17:29:02:607 0% /kyrie-mnt/a9a.train

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:609 DIR /kyrie-mnt/linearregression

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:611 DIR /kyrie-mnt/log

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:612 DIR /kyrie-mnt/log2

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:614 DIR /kyrie-mnt/model

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:615 DIR /kyrie-mnt/model2

2.加速访问

由于Alluxio利用内存存储数据，它可以加速数据的访问 。

使用load 文件加载到内存。

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt

-rw-r--r-- hadoop supergroup 2329875 PERSISTED 02-01-2018 17:29:02:607 0% /kyrie-mnt/a9a.train

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:609 DIR /kyrie-mnt/linearregression

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:611 DIR /kyrie-mnt/log

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:612 DIR /kyrie-mnt/log2

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:614 DIR /kyrie-mnt/model

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:615 DIR /kyrie-mnt/model2

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs load /kyrie-mnt/a9a.train

/kyrie-mnt/a9a.train loaded

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt

-rw-r--r-- hadoop supergroup 2329875 PERSISTED 02-01-2018 17:29:02:607 100% /kyrie-mnt/a9a.train

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:609 DIR /kyrie-mnt/linearregression

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:611 DIR /kyrie-mnt/log

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:612 DIR /kyrie-mnt/log2

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:614 DIR /kyrie-mnt/model

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:615 DIR /kyrie-mnt/model2

3.架构概述

以内存为中心的设计作为数据访问的中心，Alluxio可以为那些大数据应用提供一个数量级的加速，同时它还提供了通用的数据访问接口。

Alluxio对应用屏蔽了底层存储系统的整合细节，所以任何底层存储系统都可以支撑运行在Alluxio之上的应用和框架。

此外Alluxio可以挂载多种底层存储系统，所以它可以作为统一层为任意数量的不同数据源提供服务。

3.1.alluxio组件

Alluxio的设计使用了单个主Master和多Worker的架构。

Alluxio可以被分为三个部分，Master，Worker和Client。

Master和Worker一起组成了Alluxio的服务端，它们是系统管理员维护和管理的组件。

Client通常是应用程序，如Spark或MapReduce作业，或者Alluxio的命令行用户。 Alluxio用户一般只与Alluxio的Client组件进行交互。

Master部署

主master 和从master。

Alluxio Master有简单和高可用性 两种部署模式。这两种模式都只有一个主Master。

简单模式最多只会有一个从Master，而且这个从Master不会被转换为主Master。

高可用性模式可以有零个或者多个从Master。 当主Master异常的时候，系统会选一个从Master担任新的主Master。

高可用地址：https://www.alluxio.org/docs/master/cn/Running-Alluxio-Fault-Tolerant.html

Worker

Alluxio的Worker负责管理分配给Alluxio的本地资源。这些资源可以是本地内存，SDD或者硬盘，其可以由用户配置。 Alluxio的Worker以块的形式存储数据，并通过读或创建数据块的方式处理来自Client读写数据的请求。但Worker只负责这些数据块上的数据；文件到块的实际映 射只会存储在Master上。

Client

Alluxio的Client为用户提供了一个与Alluxio服务端交互的入口。它为用户暴露了一组文件系统API。Client通过发起与Master 的通信来执行元数据操作，并且通过与Worker通信来读取Alluxio上的数据或者向Alluxio上写数据。存储在底层存储系统上而不是Alluxio上的数据可以直接通过 底层存储客户端访问。

alluxio文章列表：

Alluxio入门

Alluxio 常用shell命令总结

Alluxio上运行spark 配置高可用兼容模式了解下