阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

分布式内存文件系统Alluxio实战

215次阅读
没有评论

共计 7978 个字符，预计需要花费 20 分钟才能阅读完成。

前言

Alluxio 是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在 Alluxio 里的文件。把 Alluxio 是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件，其前身为 Tachyon。

Alluxio 起源于 Alluxio 公司创始人李浩源读博期间在 UC Berkeley AMPLab 实验室的博士课题。自从 Alluxio 的第一个开源版本发布之后，项目发展迅猛。社区贡献者人数已经迅速增加到 200 多个，这 200 多人来自 50 多家公司，其中不乏国际巨头，例如 Barclays，IBM，Intel 等等。另外更多的公司将 Alluxio 部署到了自己的生产环境中。

官方网站：http://www.alluxio.org/

分布式内存文件系统 Alluxio 实战

规划

master 10.64.8.3

slave  10.64.8.3、10.64.8.4、10.64.8.5

一：安装

slave1、slave2、slave3

（1）安装 jdk

$ wget http://download.Oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz
$ tar xf jdk-8u112-linux-x64.tar.gz -C /opt
$ vim /etc/profile
增加
export JAVA_HOME=/opt/jdk1.8.0_112
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
$ source /etc/profile

（2）安装 alluxio

$ cd opt
$ wget http://downloads.alluxio.org/downloads/files/1.3.0/alluxio-1.3.0-bin.tar.gz
$ tar xf alluxio-1.3.0-bin.tar.gz
$ cd alluxio-1.3.0

二：集群配置

  • slave1、slave2、slave3

1：使用 conf/alluxio-env.sh.template 复制一份配置。

$ cp conf/alluxio-env.sh.template conf/alluxio-env.sh
#!/usr/bin/env bash
#alluxio 的安装目录
ALLUXIO_HOME=/opt/alluxio-1.3.0
# Log 目录 (默认: ${ALLUXIO_HOME}/logs).
#ALLUXIO_LOGS_DIR=/var/log/alluxio
# master 的主机名
ALLUXIO_MASTER_HOSTNAME=slave1
# master 节点 ip，将在 V2 版本废弃该配置
# ALLUXIO_MASTER_ADDRESS=10.64.8.3
# worker 节点保存 in-memory 数据的目录 (Default: /mnt/ramdisk).
#ALLUXIO_RAM_FOLDER
# 底层存储系统的地址，默认为本地文件系统 (Default: ${ALLUXIO_HOME}/underFSStorage)
#ALLUXIO_UNDERFS_ADDRESS
# worker 节点的内存设置. (Default: 1GB)
ALLUXIO_WORKER_MEMORY_SIZE= 50GB
# 下面 jmx 的远程调试
# ALLUXIO_JAVA_OPTS
# ALLUXIO_MASTER_JAVA_OPTS
# ALLUXIO_WORKER_JAVA_OPTS
# ALLUXIO_USER_JAVA_OPTS

2：配置 worker 节点

$ vim conf/workers
10.64.8.3
10.64.8.4
10.64.8.5

三：启动

（1）格式化 Alluxio 日志和工作程序存储目录。

  • slave1、slave2、slave3

$ ./bin/alluxio format

（2）启动 master 节点，使用 local 参数同时启动 master 和 worker。

  • slave1

$ ./bin/alluxio-start.sh local

分布式内存文件系统 Alluxio 实战分布式内存文件系统 Alluxio 实战

（3）启动 worker 节点

  • slave2、slave3

$ ./bin/alluxio-start.sh worker

分布式内存文件系统 Alluxio 实战

四：访问

（1）访问的 http://localhost:19999 看到 Alluxio 的 master

分布式内存文件系统 Alluxio 实战

（2）能看到所有 alluxio 中的文件。

分布式内存文件系统 Alluxio 实战

 

（3）worker 里面能看到所有 worker 的状态

分布式内存文件系统 Alluxio 实战

 

（4）访问 http://localhost:30000 看到当前 worker 的信息。

分布式内存文件系统 Alluxio 实战

 

五：使用 alluxio 命令行

（1）查看 aullio，默认使用本地地址端口

$ ./bin/alluxio fs ls alluxio://10.64.8.3:19999/
$ ./bin/alluxio fs ls /

分布式内存文件系统 Alluxio 实战

（2）从本地文件系统 copy 文件到 alluxio

$ ./bin/alluxio fs copyFromLocal /opt/cassandra/conf/ /cassandra
Copied /opt/cassandra to /cassandra

分布式内存文件系统 Alluxio 实战

（3）cat 命令可以输出文件内容

$ ./bin/alluxio fs cat /test.txt

分布式内存文件系统 Alluxio 实战

（4）从 alluxio 拷贝文件到本地

$ ./bin/alluxio fs copyToLocal /602.txt /tmp/602.txt
Copied /602.txt to /tmp/602.txt

分布式内存文件系统 Alluxio 实战

（5）将 alluxio 数据持久化到本地

alluxio 的数据是存在内存中的，默认使用本地的文件系统作为底层的系统，可以将 alluxio 中的数据持久化到本地文件系。路径由 ALLUXIO_UNDERFS_ADDRESS 指定，默认为./underFSStorage/

$ ./bin/alluxio fs persist /cassandra
$ ls ./underFSStorage/
cassandra

（6）常见支持的命令, 与 linux 系统命令用法相同。

./bin/alluxio fs cat
./bin/alluxio fs chmod
./bin/alluxio fs chown
./bin/alluxio fs cp
./bin/alluxio fs mv
./bin/alluxio fs rm
./bin/alluxio fs touch
./bin/alluxio fs mkdir 

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2017-03/142139p2.htm

六：使用 NFS 作为底层文件系统

（1）在 master 上面挂载 nfs

$ /etc/init.d/rpcbind start
$ mount -t nfs -o vers=3,tcp 10.10.10.10:/Vol-01/alluxio /mnt/nfs

（2）修改 alluxio 配置

$ vim ./conf/alluxio-env.sh
#ALLUXIO_UNDERFS_ADDRESS=
改成
ALLUXIO_UNDERFS_ADDRESS=/mnt/nfs

（3）格式化

$ ./bin/alluxio format 

（4）启动

master

$ ./bin/alluxio-start.sh master

worker

$ ./bin/alluxio-start.sh worker 

（5）测试

创建一个文件在 nfs 中

$ echo 11111111111 >>/mnt/nfs/nfstest.txt

查看 alluxio 就能看到这个文件

$./bin/alluxio fs ls /
-rw-r--r--   root    root   12.00B  11-08-2016 17:22:34:477  Not In Memory  /nfstest.txt
$./bin/alluxio fs cat /nfstest.txt
11111111111

七： 使用 HDFS 作为底层文件系统

（1）alluxio 版本

默认的 alluxio-1.3.0-bin.tar.gz 安装包支持 hdfs 2.2.0，使用其他版本的 hdfs 则需要下载对应的 alluxio 安装包。或者利用默认包进行重新编译，步骤如下

1：修改 pom.xml 中的，使用 Hadoop2.2

<hadoop.version>2.2.0</hadoop.version>
修改为
<hadoop.version>2.6.0</hadoop.version>

2：重新编译

$ mvn clean package -DskipTests

编译成功后会在 assembly/target 目录中生成新的 alluxio-assemblies-1.3.0-jar-with-dependencies.jar

（2）alluxio 配置

1：修改 conf/alluxio-env.sh

$ vim conf/alluxio-env.sh
ALLUXIO_UNDERFS_ADDRESS=hdfs://10.64.8.1:8020

（3）格式化

$ ./bin/alluxio format

（4）启动

master

$ ./bin/alluxio-start.sh master

worker

$ ./bin/alluxio-start.sh worker

（5）查看

$ ./bin/alluxio ls  /

发现 hdfs 中的文件都在 alluxio 中。

分布式内存文件系统 Alluxio 实战

分布式内存文件系统 Alluxio 实战

八： 使用 fuse 挂载 alluxio

  • Linux kernel 2.6.9 及以上
  • JDK 1.8 及以上
  • libfuse 2.9.3 及以上 (2.8.3 也能够工作，但会提示一些警告)
  • 需要根据源码包进行重新编译、需要 jdk、maven、libfuse

（1）配置 jdk

$ wget http://download.Oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz
$ tar xf jdk-8u112-linux-x64.tar.gz -C /opt
$ vim /etc/profile
增加
export JAVA_HOME=/opt/jdk1.8.0_112
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
$ source /etc/profile 

（2）配置 maven

$ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
$ tar -zxvf apache-maven-3.0.5-bin.tar.gz
$vim /etc/profile
增加
export MAVEN_HOME=/opt/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin
$ source /etc/profile 

(2)���装 libfuse

$ wget http://mirror.CentOS.org/centos/6/os/x86_64/Packages/fuse-libs-2.8.3-5.el6.x86_64.rpm
$ rpm -ivh fuse-libs-2.8.3-5.el6.x86_64.rpm 

(3) 编译安装

$ git clone git://github.com/alluxio/alluxio.git
$ cd alluxio
$ mvn install -DskipTests      --- 需要 download 文件
若出现 java.lang.OutOfMemoryError: Java heap space，请执行：
$ export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 

(4) 使用 alluxio-fuse

以 hdfs 作为底层存储系统为例，其他存储也是这样。

格式化

$ ./bin/alluxio format

启动

$ ./bin/alluxio-start.sh worker

挂载

$ mkdir -p /data/test
$ ./bin/alluxio-fuse.sh mount /data/test

分布式内存文件系统 Alluxio 实战分布式内存文件系统 Alluxio 实战

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2017-03/142139.htm

前言

Alluxio 是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在 Alluxio 里的文件。把 Alluxio 是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件，其前身为 Tachyon。

Alluxio 起源于 Alluxio 公司创始人李浩源读博期间在 UC Berkeley AMPLab 实验室的博士课题。自从 Alluxio 的第一个开源版本发布之后，项目发展迅猛。社区贡献者人数已经迅速增加到 200 多个，这 200 多人来自 50 多家公司，其中不乏国际巨头，例如 Barclays，IBM，Intel 等等。另外更多的公司将 Alluxio 部署到了自己的生产环境中。

官方网站：http://www.alluxio.org/

分布式内存文件系统 Alluxio 实战

规划

master 10.64.8.3

slave  10.64.8.3、10.64.8.4、10.64.8.5

一：安装

slave1、slave2、slave3

（1）安装 jdk

$ wget http://download.Oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz
$ tar xf jdk-8u112-linux-x64.tar.gz -C /opt
$ vim /etc/profile
增加
export JAVA_HOME=/opt/jdk1.8.0_112
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
$ source /etc/profile

（2）安装 alluxio

$ cd opt
$ wget http://downloads.alluxio.org/downloads/files/1.3.0/alluxio-1.3.0-bin.tar.gz
$ tar xf alluxio-1.3.0-bin.tar.gz
$ cd alluxio-1.3.0

二：集群配置

  • slave1、slave2、slave3

1：使用 conf/alluxio-env.sh.template 复制一份配置。

$ cp conf/alluxio-env.sh.template conf/alluxio-env.sh
#!/usr/bin/env bash
#alluxio 的安装目录
ALLUXIO_HOME=/opt/alluxio-1.3.0
# Log 目录 (默认: ${ALLUXIO_HOME}/logs).
#ALLUXIO_LOGS_DIR=/var/log/alluxio
# master 的主机名
ALLUXIO_MASTER_HOSTNAME=slave1
# master 节点 ip，将在 V2 版本废弃该配置
# ALLUXIO_MASTER_ADDRESS=10.64.8.3
# worker 节点保存 in-memory 数据的目录 (Default: /mnt/ramdisk).
#ALLUXIO_RAM_FOLDER
# 底层存储系统的地址，默认为本地文件系统 (Default: ${ALLUXIO_HOME}/underFSStorage)
#ALLUXIO_UNDERFS_ADDRESS
# worker 节点的内存设置. (Default: 1GB)
ALLUXIO_WORKER_MEMORY_SIZE= 50GB
# 下面 jmx 的远程调试
# ALLUXIO_JAVA_OPTS
# ALLUXIO_MASTER_JAVA_OPTS
# ALLUXIO_WORKER_JAVA_OPTS
# ALLUXIO_USER_JAVA_OPTS

2：配置 worker 节点

$ vim conf/workers
10.64.8.3
10.64.8.4
10.64.8.5

三：启动

（1）格式化 Alluxio 日志和工作程序存储目录。

  • slave1、slave2、slave3

$ ./bin/alluxio format

（2）启动 master 节点，使用 local 参数同时启动 master 和 worker。

  • slave1

$ ./bin/alluxio-start.sh local

分布式内存文件系统 Alluxio 实战分布式内存文件系统 Alluxio 实战

（3）启动 worker 节点

  • slave2、slave3

$ ./bin/alluxio-start.sh worker

分布式内存文件系统 Alluxio 实战

四：访问

（1）访问的 http://localhost:19999 看到 Alluxio 的 master

分布式内存文件系统 Alluxio 实战

（2）能看到所有 alluxio 中的文件。

分布式内存文件系统 Alluxio 实战

 

（3）worker 里面能看到所有 worker 的状态

分布式内存文件系统 Alluxio 实战

 

（4）访问 http://localhost:30000 看到当前 worker 的信息。

分布式内存文件系统 Alluxio 实战

 

五：使用 alluxio 命令行

（1）查看 aullio，默认使用本地地址端口

$ ./bin/alluxio fs ls alluxio://10.64.8.3:19999/
$ ./bin/alluxio fs ls /

分布式内存文件系统 Alluxio 实战

（2）从本地文件系统 copy 文件到 alluxio

$ ./bin/alluxio fs copyFromLocal /opt/cassandra/conf/ /cassandra
Copied /opt/cassandra to /cassandra

分布式内存文件系统 Alluxio 实战

（3）cat 命令可以输出文件内容

$ ./bin/alluxio fs cat /test.txt

分布式内存文件系统 Alluxio 实战

（4）从 alluxio 拷贝文件到本地

$ ./bin/alluxio fs copyToLocal /602.txt /tmp/602.txt
Copied /602.txt to /tmp/602.txt

分布式内存文件系统 Alluxio 实战

（5）将 alluxio 数据持久化到本地

alluxio 的数据是存在内存中的，默认使用本地的文件系统作为底层的系统，可以将 alluxio 中的数据持久化到本地文件系。路径由 ALLUXIO_UNDERFS_ADDRESS 指定，默认为./underFSStorage/

$ ./bin/alluxio fs persist /cassandra
$ ls ./underFSStorage/
cassandra

（6）常见支持的命令, 与 linux 系统命令用法相同。

./bin/alluxio fs cat
./bin/alluxio fs chmod
./bin/alluxio fs chown
./bin/alluxio fs cp
./bin/alluxio fs mv
./bin/alluxio fs rm
./bin/alluxio fs touch
./bin/alluxio fs mkdir 

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2017-03/142139p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
Alluxio Apache Hadoop Linux服务器 Nginx Tomcat 分布式 分布式内存文件系统 分布式内存文件系统Alluxio实战 分布式系统 服务器 集群
发表至： 服务器应用
2022-01-21
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-21发表，共计7978字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
Linux环境下Jenkins简单搭建步骤
在 Apache 上配置 WebDAV 服务器
CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件
Linux下搭建无人执守安装服务器
Kubernetes监控组件metrics-server部署
JMeter接口压测——ServerAgent监控服务端性能指标
Sqoop：容错
pfSense 2.4.0-RC版发布了
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3398118
评论数
4
文章搜索
热门文章
基于开源MaxKB构建大语言模型的本地知识库系统

基于开源MaxKB构建大语言模型的本地知识库系统

基于开源 MaxKB 构建大语言模型的本地知识库系统 什么是 MaxKB MaxKB 是一款基于 LLM（La...
获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能 AI 工具通过 API 和 KEY 调用的方法 前言 随着人工智能技术的飞速发展，AI 工具...
安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件 ChatALL（齐叨）来聚合各大人工智能工具 前言 如果你跟我一样无论遇到什么问题都要询问人工智...
给你的NAS无限可能，安装小晓雅全家桶影音库

给你的NAS无限可能，安装小晓雅全家桶影音库

给你的 NAS 无限可能，安装小晓雅全家桶影音库 家庭存储和娱乐的需求日益增长。无论是高清电影、电视剧，还是音...
Python历史

Python历史

Python 是著名的“龟叔”Guido van Rossum 在 1989 年圣诞节期间，为了打发无聊的圣诞...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
BAT级的DevOps工具链是怎样的？

BAT级的DevOps工具链是怎样的？

1、流水线改变世界 1910 年，福特汽车在引入流水线生产之后，Model-T 的组装时间缩短了 8 倍，从 ...
如何解决Linux主机改名后无法启动MySQL

如何解决Linux主机改名后无法启动MySQL

MySQL 无法重启、无法关闭、无法启动、无法使用，如果是因为修改了主机名，可以这样解决：关闭掉所有 MySQ...
使用w查看系统负载详解

使用w查看系统负载详解

10.1 使用 w 查看系统负载 相信所有的 linux 管理员最常用的命令就是这个 w 了，该命令显示的信息...
Python基础知识学习

Python基础知识学习

Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言。Python 由 Guido van R...
DBA需关注系统的几个基本状态

DBA需关注系统的几个基本状态

DBA 登入后，应该关注系统的几个基本状态，做到心中有数。 虽然现在都在推广自动化运维，不过有些时候还是需要登...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中