近日，全球领先的高性能数据访问平台提供商 Alluxio 宣布推出 Alluxio Enterprise AI 的最新增强版本3.2， 新版本立即可用。3.2 版体现了 Alluxio 数据平台在充分利用GPU资源、提升I/O性能以及提供与HPC (高性能计算）存储相媲美的端到端性能方面的实力。 此外，还引入了全新的 Python 接口和更全面的缓存管理功能。这些功能可帮助企业充分利用其 AI 基础架构，确保最佳性能、高成本效益、灵活性和可管理性。
目前，AI 负载面临着诸多挑战，其中就包括数据访问速度与 GPU 计算速度之间的不匹配问题，导致 Ray、PyTorch 和 TensorFlow 等框架的数据加载速度较慢，继而导致 GPU 利用率不足。Alluxio Enterprise AI 3.2 可增强 I/O 性能并实现 97%以上的 GPU 利用率，因此能有效地应对这一挑战。此外，尽管HPC存储能提供良好的性能，但需要高昂的基础设施投入。Alluxio Enterprise AI 3.2 可利用现有数据湖，在无需额外HPC存储的情况下提供与之相当的性能。最后，管理计算和存储之间的复杂集成具有挑战性，Alluxio 新版本通过支持 POSIX、S3 和 Python 的 Python 式文件系统接口，大大简化了这一过程，不同团队都能轻松采用。
“Alluxio 的愿景是为所有数据驱动型应用，包括最前沿的 AI 应用提供数据服务，” Alluxio 的创始人兼 CEO 李浩源表示：“通过推出最新的 Enterprise AI 产品，我们在帮助企业充分利用数据和 AI 设施方面又迈出了重要一步。Alluxio 致力于提供前沿的解决方案来应对 AI 领域日新月异的挑战，确保我们的客户始终占领先机并充分挖掘数据的真正价值。”
Alluxio Enterprise AI 包含以下重要功能：
- 随时随地利用 GPU资源， 实现高速访问和敏捷性 – 企业利用 Alluxio Enterprise AI 3.2可随时随地利用可用 GPU资源运行 AI 工作负载，是混合云和多云环境下的理想选择。Alluxio 智能缓存和数据管理功能使数据更靠近 GPU，即使数据在远端也能确保GPU的高效利用。统一命名空间简化了跨存储系统的数据访问，允许各类分布式环境下的 AI 负载无缝运行，确保 AI 平台可扩展且不受数据位置限制。
- 性能与HPC存储相当 – MLPerf 基准测试显示，Alluxio Enterprise AI 3.2 可利用现有数据湖资源，提供与HPC存储相当的性能。在BERT和3D U-Net等测试中，Alluxio在各类 A100 GPU配置上均能提供与HPC 存储相当的模型训练性能，这也证明 Alluxio 在实际生产环境中，无需额外的HPC存储设施即可满足可扩展性和效率需求。
- 更高的I/O性能和97%以上的GPU利用率 – Alluxio Enterprise AI 3.2增强了I/O性能，单个客户端上可实现高达10GB/s的吞吐量和200K IOPS，并可扩展至数百个客户端。该性能表现使得单个节点上的 8 个 A100 GPU 达到完全饱和，在大语言模型训练的基准测试中实现超过 97% 的 GPU 利用率。新的 checkpoint 读/写支持优化训练推荐引擎和大语言模型，从而避免 GPU 资源的闲置。
- 适用于 Python 应用的新文件系统 API – 3.2 版引入了 Alluxio Python FileSystem API（FSSpec 实现），可与 Python 应用进行无缝集成。这一功能增强了 Alluxio 在 Python 生态系统中的互操作性，允许 Ray 等框架轻松访问本地和远端存储系统。
- 高级缓存管理，提升效率和控制 – 3.2 版提供了高级缓存管理功能，帮助管理员实现对数据的精准控制。新的 RESTful API 有助于进行无缝的缓存管理，而智能缓存过滤器（cache filter）则通过选择性地缓存热数据优化了磁盘的使用。缓存释放( cache free ) 命令提供了细粒度的控制，可提升缓存效率，降低成本，并增强数据管理的灵活性。
“最新发布的Alluxio Enterprise AI 版本对我们的客户而言是一项重大突破，可提供无与伦比的性能、灵活性和易用性，” Alluxio产品总监Adit Madan表示：“通过实现与HPC存储相当的性能，并使得GPU在任何地方都能得到利用，我们不仅解决了当前的挑战，还为下一代创新的 AI 工作负载提供了未来保障。随着 Alluxio Python FileSystem API的推出，数据科学家和 AI 工程师们将能够专注于构建tuo’p的训练模型，而不必担心数据访问瓶颈或资源限制。”
“我们在Alluxio上成功部署了安全高效的数据湖架构。这一战略举措显著提升了计算引擎的性能，简化了数据工程的工作流，让数据处理和分析更加无缝和高效，” 吉利（沃尔沃汽车的母公司）汽车数据架构师胡志诚说道：“我们很荣幸能与 Alluxio 合作，共同打造行业领先的数据和 AI 平台，持续推动数据驱动型智能应用的发展。”
立即下载 Alluxio Enterprise AI 3.2版：https://www.alluxio.com.cn/product/download/
