010-82449668

EN 中文

新书发布《分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践》

书本基础信息:

页数:396

作者:顾荣 刘嘉承 毛宝龙

定价:99

出版时间:2023-08

出版社:机械工业出版社

分类:计算机与互联网

ISBN:9787111732587

 

创作背景:

大数据给全球带来了重大的发展机遇与挑战。大规模数据资源蕴涵着巨大的社会价值和商业价值,有效地管理这些数据、挖掘数据的深度价值,将为国家治理、社会管理、企业决策和个人生活带来巨大的作用与影响。然而,大规模数据资源在给人们带来新的发展机遇的同时也带来很多新的技术挑战。

大数据处理的第一个基本问题是:如何有效地存储管理海量的大数据。大数据存储管理是进行后续大数据计算分析和提供大数据应用服务的重要基础。分布式存储是目前公认有效的大数据存储管理方法,在大数据系统中处于基础地位,在行业大数据应用中发挥着重要作用。本书将介绍近些年在数据存储和数据编排领域发展得如火如荼的开源系统Alluxio。Alluxio 是全球首个开源分布式虚拟文件系统,最初诞生于加利福尼亚大学伯克利分校的 AMPLab,是目前大数据生态系统中发展很快的开源社区。Alluxio 已在全球数千个企事业单位部署应用,并在超过 5000 个节点的集群上运行。

 

内容摘要:

本书由alluo开源技术专家与领域知名学者撰写,围绕知名开源alluo系统介绍分布式文件系统的特与实际案例,主要内容包括系统入门与使用、内核组件设计实现,同时详细介绍了大型企业应用案例与实践,并附有alluo的开源社区开发者指南。本书为alluo开源社区用户、高校大数据系统课程师生以及潜在企业用户提供了较为完整的技术指南和实用教程,既可作为大数据存储相关课程的专业实用教材,也可作为alluo开源系统的大数据从业者和研究者的重要技术书籍。

 

本书分为基础篇、进阶篇、实战篇,共15章内容,主要内容包括 Alluxio 总体介绍与快速入门、 Alluxio 核心功能服务、Alluxio 与底层存储系统的集成、Alluxio 与上层计算框架的集成、 Alluxio 基本使用与运维操作、Alluxio主节点原理与元数据管理、Alluxio工作节点原理与文件数据管理、Alluxio客户端原理与高级接口、Alluxio底层存储管理与拓展、Alluxio Job Service的工作原理、Alluxio的系统配置优化、Alluxio与云原生环境的集成、Alluxio Hub 系统运维管理平台、Alluxio的应用案例与生产实践、Alluxio的开源社区开发者指南。

 

作者简介:

顾荣

南京大学特聘研究员,博导,Fluid开源项目社区主席,Alluxio开源项目PMC成员。主要研究方向为云计算与大数据系统,发表相关论文60余篇,包括一流会议/期刊USENIX ATC、ICDE、WWW、VLDBJ、TPDS等。主持国家自然科学基金面上项目/青年项目、国家重点研发计划子课题、中国博士后科学基金特别资助项目,以及大型企业创新基金项目等10余项,获江苏省科学技术一等奖、IEEE可扩展计算委员会杰出早期职业学者奖、中国信通院OSCAR尖峰开源人物奖、阿里巴巴优秀学术合作项目奖、华为公司火花奖、腾讯云最具价值专家奖、南京大学青年五四奖章等。

刘嘉承

Alluxio资深开发工程师,Alluxio开源社区PMC成员和Maintainer,Alluxio元数据模块技术负责人之一,在Alluxio的大规模场景优化方面做了大量深入扎实的工作。主导推动了Alluxio核心工程团队和中国社区的合作开发,深度参与了Alluxio全球多个旗舰用户/客户场景中的落地,并为其在大规模安全生产过程中部署使用Alluxio保驾护航。

毛宝龙

腾讯Alluxio开源协同团队负责人,同时也是Alluxio开源社区PMC成员和Maintainer及Apache Ozone社区Committer,是Alluxio开源社区JNI-FUSE、Ozone、CephFS、COSN等多个模块的创建者和维护者,也是高低水位异步缓存清理服务、动态配置更新框架、ratis-shell HA工具研发和集成等功能特性的开发者。他多年持续参与Alluxio、Ozone、HDFS、Ratis 等存储领域开源社区的研发工作,同时也将Alluxio 等开源技术广泛应用在多个知名互联网公司。

 

内容目录:

前言

第1章 Alluxio总体介绍与快速入门

1.1 Alluxio的发展背景与系统概览

1.1.1 Alluxio Master组件

1.1.2 Alluxio Worker组件

1.1.3 Alluxio Job Service组件

1.1.4 数据读写流程

1.2  Alluxio配置部署与程序运行

1.2.1 获取/编译Alluxio系统

1.2.2 单机模式安装部署

1.2.3 集群模式安装部署

1.2.4 Alluxio服务启停操作

第2章 Alluxio的核心功能服务

2.1 文件系统统一命名空间

2.1.1 统一命名空间概览

2.1.2 挂载底层存储系统

2.1.3 与底层存储系统元数据同步

2.1.4 使用示例

2.2 层级存储与数据缓存

2.2.1 存储结构概览

2.2.2 Alluxio层级存储

2.2.3 Alluxio的数据副本管理机制

2.2.4 使用示例

2.3 Alluxio与HDFS/POSIX接口存储系统的集成

2.3.1 HDFS底层存储连接器的基本原理

2.3.2 配置HDFS作为Alluxio的底层存储

2.3.3 配置CephFS作为Alluxio的底层存储

2.3.4 配置NFS作为Alluxio的底层存储

2.4 Alluxio与对象存储系统的集成

2.4.1 对象类型底层存储连接器的基本原理

2.4.2 配置AWS S3作为Alluxio的底层存储

2.4.3 配置阿里云OSS作为Alluxio的底层存储

2.4.4 配置Apache Ozone作为Alluxio的底层存储

2.4.5 配置Swift作为Alluxio的底层存储

2.5 新增底层存储连接模块的集成方法

2.5.1 客户端常见操作与底层存储

    连接器的交互

2.5.2 底层存储连接器的加载机制

2.5.3 底层存储连接器的管理方式

2.5.4 新增底层存储连接器的示例

2.6  Alluxio与大数据计算框架的集成

2.6.1 与Apache Spark并行计算

    框架集成45

2.6.2 与Kubernetes中的Spark并

    行计算框架集成48

2.6.3 与Apache Flink并行计算

    框架集成

2.7  Alluxio与大数据查询系统的集成

2.7.1 与Hive数据仓库集成

2.7.2 与Presto数据仓库集成

2.8  Alluxio与深度学习框架的集成

第3章 Alluxio的基本使用与运维操作

3.1 Alluxio的重要操作命令

3.1.1 管理员操作命令

3.1.2 用户操作命令

3.1.3 常用的编程API

3.1.4 Web界面展示与操作

3.2 Alluxio的挂载点运维

3.3 Alluxio的元数据同步和备份运维

3.3.1 元数据同步的配置

3.3.2 自动/手动生成备份和从备份恢复集群

3.4 Journal日志和高可用运维

3.4.1 UFS Journal模式配置方式

3.4.2 Embedded Journal模式配置方式

3.4.3 自动/手动生成Checkpoint

3.4.4 高可用集群的部署与配置更改

3.4.5 Master节点的添加/移除和Primary Master的切换

3.4.6 客户端配置连接高可用Master

3.5 Alluxio的不同配置方式

3.5.1 Alluxio的配置方式和生效优先级

3.5.2 Alluxio客户端配置方式

3.5.3 Alluxio集群配置方式

3.5.4 查看配置项

3.6 Alluxio的Log日志运维

3.6.1 Log日志位置

3.6.2 改变Log日志等级

3.6.3 Alluxio的集群指标

3.7 Job Service使用和查询运维

3.7.1 用命令行查询作业状态

3.7.2 作业执行Log 日志跟踪

3.8 Alluxio的安全认证与权限控制

3.8.1 安全认证模式

3.8.2  访问权限控制

3.8.3  用户模拟功能

3.8.4 审计日志功能

第4章 Alluxio元数据管理与主节点原理

4.1 Alluxio Master核心功能概览

4.2 Master组件的元数据管理

4.2.1 Master对元数据的管理

4.2.2 文件/数据块元数据示例

4.2.3 元数据存储在堆上—HEAP模式

4.2.4 元数据存储在堆外—ROCKS模式

4.3 Alluxio的统一命名空间和底层存储管理

4.3.1 Alluxio的数据挂载功能

4.3.2 Alluxio的文件生命周期

4.3.3 Alluxio的一致性模型

4.3.4 Alluxio与底层存储的元数据/数据同步

4.4 Journal日志和高可用

4.4.1 Alluxio的元数据状态和重要性质

4.4.2 Alluxio的Journal日志内容

4.4.3 Journal日志的Checkpoint操作

4.4.4 基于底层存储的UFS Journal

 

》》》立即购买《《《

MLPerf基准测试冲出黑马,Alluxio新范式引爆AI存储

为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。

Alluxio在数据索引和模型分发中的核心价值与应用

在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。

南方科技大学分享:大数据技术如何赋能大模型训练及开发

南方科技大学是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年2月14日,教育部等三部委公布第二轮“双一流”建设高校及建设学科名单,南方科技大学及数学学科入选“双一流”建设高校及建设学科名单。