特别鸣谢
本次2.8.0开源版本的发布,特别得到了腾讯技术与事业群Alluxio团队的大力支持。其中,彭飞作为此次发布的重要协作工程师,在发布流程优化、大规模集成验证等方面均有大量实质性贡献。在此我们谨代表Alluxio社区向该团队的持续付出和卓著成绩表示感谢!
我们很高兴地宣布Alluxio 2.8 免费开源社区版和2.8 企业版正式对外发布!
2.8版本重点强化了 S3 API,提供了企业级安全功能,增强了数据迁移功能的可扩展性和可观测性。优化后的S3 API使得Alluxio的安装和部署更为简便。静止数据加密以及策略驱动型数据管理等新功能也进一步增强了Alluxio对企业客户的支持。
Alluxio拥有S3、HDFS和POSIX API, 可灵活选择存储和跨云平台部署。Alluxio可与Spark、Presto, PyTorch和Tensorflow等计算引擎搭配部署。Alluxio支持在AWS, GCP、Azure Cloud、阿里云、腾讯云等各类云平台上部署,也可以用于私有云或公有云的Kubernetes上。
Alluxio 2.8 社区版和企业版的亮点
社区版的亮点
优化S3 API,支持元数据标签
S3 API已成为本地和云上对象存储的标准接口。通过S3 API,数据驱动型应用的终端用户和管理员可以快速部署Alluxio,无需通过定制化的驱动,也不需要任何额外的配置。
新版本通过新增元数据标签功能,优化了对S3 API的支持。元数据操作可以通过新增的S3对象和bucket标签的API来实现。通过在header中指定参数化查询的字符串,您可以在上传的对象上添加用户定义的标签。有关支持的标签详细操作信息,请点击链接参阅Alluxio S3 文档
增强机器学习训练负载的稳定性和可扩展性
FUSE2 是 FUSE 客户端目前的默认配置。Alluxio 2.8 版本将新增对 FUSE3的支持 ,能更好地支持未来对性能和可扩展性的优化。未来FUSE3将逐步取代FUSE2。
现在,您还可以通过 Alluxio CLI 或配置属性来挂载 FUSE,新版优化了 FUSE 卸载(unmount) 机制,避免FUSE残留在主机上未卸载的情况(有关FUSE 卸载,详情请点击参阅文档 )
企业版亮点
企业级安全重大更新:数据加密和AssumeRole的授权凭证(delegated token)
Alluxio 2.8企业版新增服务器端数据加密功能,实现了数据安全和数据管理,便于企业对需要满足合规性和监管要求的敏感应用数据实现加密传输和存储。该新功能和SSL共同支持服务器端加密,确保数据安全。启用加密功能后,存储在Alluxio worker上的数据在写入磁盘时加密,在读取和发送到客户端和UFS之前进行解密。
Alluxio 2.8企业版提供多个加密区,每个加密区都映射到一个Alluxio URI上。用户可通过文件系统中的映射路径,明确命名空间中的加密区。密钥可以存储在 Hashicorp Vault 中。点击查看文档了解如何使用静止数据加密以及Alluxio支持的加密算法。Alluxio 2.8企业版同时增加了一个新的底层存储访问凭证框架。Worker向master发送请求,获取临时访问凭证, 而不是把凭证存储在每个worker上。对于AWS S3,用户可以通过配置worker,从master获取唯一的 AssumeRole 凭证来访问 S3 对象。想了解更多有关 S3 的 AssumeRole 功能, 请点击查看文档
异构数据迁移功能提升
对于使用不同服务商、跨云或跨区域存储数据的企业而言,数据迁移往往成为重大挑战。新版本进一步提升数据迁移功能,避免企业被供应商锁定,让企业能够灵活选择任何数据存储。
Alluxio 2.8企业版增强了策略驱动型数据管理的易用性,该功能能够实现异构存储系统之间的数据访问和移动,并有效降低成本。企业可以利用Alluxio进行基于策略的数据迁移或手动的数据迁移,在无需进行修改应用的情况下,灵活地选择最适合其需求的存储系统。
Alluxio 2.8版本还增强了策略驱动型数据管理的可观测性,使用户能够在数据迁移作业失败时进行故障排查。用户可通过新CLI和指标获得策略引擎状态的报告,包括策略执行状态和操作状态等,数据迁移的详情一目了然,点击查看文档对新CLI进行详细了解。