近日,全球领先的高性能数据访问平台提供商 Alluxio 宣布推出 Alluxio Enterprise AI 的最新增强版本3.2, 新版本立即可用。3.2 版体现了 Alluxio 数据平台在充分利用GPU资源、提升I/O性能以及提供与HPC (高性能计算)存储相媲美的端到端性能方面的实力。 此外,还引入了全新的 Python 接口和更全面的缓存管理功能。这些功能可帮助企业充分利用其 AI 基础架构,确保最佳性能、高成本效益、灵活性和可管理性。
目前,AI 负载面临着诸多挑战,其中就包括数据访问速度与 GPU 计算速度之间的不匹配问题,导致 Ray、PyTorch 和 TensorFlow 等框架的数据加载速度较慢,继而导致 GPU 利用率不足。Alluxio Enterprise AI 3.2 可增强 I/O 性能并实现 97%以上的 GPU 利用率,因此能有效地应对这一挑战。此外,尽管HPC存储能提供良好的性能,但需要高昂的基础设施投入。Alluxio Enterprise AI 3.2 可利用现有数据湖,在无需额外HPC存储的情况下提供与之相当的性能。最后,管理计算和存储之间的复杂集成具有挑战性,Alluxio 新版本通过支持 POSIX、S3 和 Python 的 Python 式文件系统接口,大大简化了这一过程,不同团队都能轻松采用。
“Alluxio 的愿景是为所有数据驱动型应用,包括最前沿的 AI 应用提供数据服务,” Alluxio 的创始人兼 CEO 李浩源表示:“通过推出最新的 Enterprise AI 产品,我们在帮助企业充分利用数据和 AI 设施方面又迈出了重要一步。Alluxio 致力于提供前沿的解决方案来应对 AI 领域日新月异的挑战,确保我们的客户始终占领先机并充分挖掘数据的真正价值。”
Alluxio Enterprise AI 包含以下重要功能:
- 随时随地利用 GPU资源, 实现高速访问和敏捷性 – 企业利用 Alluxio Enterprise AI 3.2可随时随地利用可用 GPU资源运行 AI 工作负载,是混合云和多云环境下的理想选择。Alluxio 智能缓存和数据管理功能使数据更靠近 GPU,即使数据在远端也能确保GPU的高效利用。统一命名空间简化了跨存储系统的数据访问,允许各类分布式环境下的 AI 负载无缝运行,确保 AI 平台可扩展且不受数据位置限制。
- 性能与HPC存储相当 – MLPerf 基准测试显示,Alluxio Enterprise AI 3.2 可利用现有数据湖资源,提供与HPC存储相当的性能。在BERT和3D U-Net等测试中,Alluxio在各类 A100 GPU配置上均能提供与HPC 存储相当的模型训练性能,这也证明 Alluxio 在实际生产环境中,无需额外的HPC存储设施即可满足可扩展性和效率需求。
- 更高的I/O性能和97%以上的GPU利用率 – Alluxio Enterprise AI 3.2增强了I/O性能,单个客户端上可实现高达10GB/s的吞吐量和200K IOPS,并可扩展至数百个客户端。该性能表现使得单个节点上的 8 个 A100 GPU 达到完全饱和,在大语言模型训练的基准测试中实现超过 97% 的 GPU 利用率。新的 checkpoint 读/写支持优化训练推荐引擎和大语言模型,从而避免 GPU 资源的闲置。
- 适用于 Python 应用的新文件系统 API – 3.2 版引入了 Alluxio Python FileSystem API(FSSpec 实现),可与 Python 应用进行无缝集成。这一功能增强了 Alluxio 在 Python 生态系统中的互操作性,允许 Ray 等框架轻松访问本地和远端存储系统。
- 高级缓存管理,提升效率和控制 – 3.2 版提供了高级缓存管理功能,帮助管理员实现对数据的精准控制。新的 RESTful API 有助于进行无缝的缓存管理,而智能缓存过滤器(cache filter)则通过选择性地缓存热数据优化了磁盘的使用。缓存释放( cache free ) 命令提供了细粒度的控制,可提升缓存效率,降低成本,并增强数据管理的灵活性。
“最新发布的Alluxio Enterprise AI 版本对我们的客户而言是一项重大突破,可提供无与伦比的性能、灵活性和易用性,” Alluxio产品总监Adit Madan表示:“通过实现与HPC存储相当的性能,并使得GPU在任何地方都能得到利用,我们不仅解决了当前的挑战,还为下一代创新的 AI 工作负载提供了未来保障。随着 Alluxio Python FileSystem API的推出,数据科学家和 AI 工程师们将能够专注于构建tuo’p的训练模型,而不必担心数据访问瓶颈或资源限制。”
“我们在Alluxio上成功部署了安全高效的数据湖架构。这一战略举措显著提升了计算引擎的性能,简化了数据工程的工作流,让数据处理和分析更加无缝和高效,” 吉利(沃尔沃汽车的母公司)汽车数据架构师胡志诚说道:“我们很荣幸能与 Alluxio 合作,共同打造行业领先的数据和 AI 平台,持续推动数据驱动型智能应用的发展。”
立即下载 Alluxio Enterprise AI 3.2版:https://www.alluxio.com.cn/product/download/