在AI模型训练尤其是大模型领域，存储系统的性能和稳定性直接决定了模型训练、推理、部署任务的效率和成本。随着全球AI行业的爆发带来的数据规模的快速增长，如何高效管理和利用这些数据成为AI模型训练中的一大挑战。
在AI模型训练与推理过程中，数据的高效读写是确保计算效率的关键。然而，随着数据集的急剧增长，存储系统往往无法满足对高速数据传输的需求，导致读写性能不足，尤其是在需要频繁读取和写入的场景中，影响整体训练进度。
随着AI模型的复杂度和数据规模的不断增加，存储系统需要具备高度的扩展能力。多模态模型和大模型任务通常涉及多类型数据存储，如何在跨多种存储平台和系统间灵活扩展并保持高效的访问成为主要挑战。
在大规模模型训练中，数据的连续高负荷读写对存储系统的稳定性提出了严峻挑战。系统中断或性能波动会严重影响AI训练的连贯性，进而延长开发周期。因此，保证存储系统在高压力下的持续稳定性至关重要。
AI模型开发者不仅需要高效的数据访问，还期望存储系统具备简便的操作接口和支持多种数据访问API的能力。复杂的操作和难以配置的系统会降低开发效率，增加运维负担。
在AI模型训练场景中，如何在保证高效数据访问的同时控制存储和运维成本是长期面临的挑战。存储资源和计算资源的过度使用，尤其是GPU的低利用率，都会显著增加总体成本，降低ROI。
Alluxio Enterprise AI的最新3.3版本，通过一系列的产品升级、创新和优化，专为解决AI模型训练场景存储难题提供了有力的支持。以下是Alluxio Enterprise AI的五大核心亮点以及它们如何应对AI模型训练场景中的关键挑战。
Alluxio Enterprise AI大幅提升了读吞吐和IOPS性能。在大模型训练中，GPU服务器能够在10秒内加载完100GB的Checkpoint，实现单客户端10GB/s的加载吞吐。此外，Alluxio通过优化Checkpoint写入过程，将数据先写入本地再异步上传到慢速持久层，显著减少了GPU的闲置时间，从而提高了资源利用率。
在Alluxio 3.3中，模型训练方面：利用专为 AI 工作负载定制的高性能低延迟的分布式缓存，在数据湖之上可实现高达 20 倍的 I/O 性能。Alluxio 可在训练工作流程的各个阶段提高读取数据集到写入模型的 IO 性能，从而消除 GPU 因I/O缓慢造成的性能瓶颈。模型服务方面：与直接从对象存储提供模型服务相比，通过Alluxio从离线训练集群向离线和在线推理节点提供模型上线的速度最高可达对象存储的 10 倍以上。Alluxio完全分布式的缓存架构可轻松扩展到为数千个推理节点提供服务，让你无需担心模型更新的高延迟。
Alluxio Enterprise AI使用的是新的DORA架构，从根本上使得Alluxio更易于支持大规模场景的使用。DORA，即去中心化对象存储库架构（Decentralized Object Repository Architecture），是 Alluxio 产品的新一代架构。DORA 作为分布式缓存系统，具有低延迟、高吞吐量、节省成本等特点，旨在为 AI 工作负载提供高性能数据访问层。DORA 利用分散式存储和元数据管理来提供更高的性能和可用性，以及可插入的数据安全和治理，从而实现更高的可扩展性和对大规模数据访问的高效管理。从数据规模上看，Alluxio Enterprise AI的最新版本可以支持百亿规模的数据量，因此充分支持模型训练中的大规模和可扩展性的需求。
Alluxio向上兼容Tensorflow, Pytorch、Ray等AI计算框架，以及Spark, Presto, Hive等大数据引擎，向下适配市场上主流的存储和云厂商（例如S3, Dell EMC ECS, MinIO，以及云厂商AWS, Azure, GCP, 火山引擎等）。因此，无需更换或者增加硬件供应商，可以继续在现有的硬件和系统架构上增加Alluxio，即插即用，不会增加硬件或者系统的支出。
使用 Kubernetes 在 GPU 集群上快速部署 Alluxio，并将Alluxio与存储集群连接。无需迁移数据，即可以开启高性能的训练作业，并最大限度地缩短机器学习平台在不同云和本地集群上的生产时间。
值得一提的是，Alluxio Enterprise AI引入了全新的Python API，使得基于FSSpec的Python应用程序（如Ray）可以无缝连接各种后端存储系统，无需部署Alluxio FUSE即可直接使用Alluxio的高性能缓存服务，提升数据访问的IO性能。此外，新的zero-copy S3接口不仅降低了内存开销和处理延时，还显著提升了数据访问性能，增强了系统的灵活性与兼容性。
Alluxio 在系统升级和稳定性管理方面做出了重要改进，通过集群的滚动升级能力，实现了无停机时间的平滑升级。Alluxio Operator不仅提供了一键部署的便捷性，还具备多种运维功能，如CSI故障转移机制，自动恢复错误的FUSE pod，确保应用层任务的持续运行。在缓存管理方面，Alluxio发布了功能丰富的缓存生命周期管理工具集，使缓存空间管理更加高效，降低了整体缓存成本。
Alluxio Enterprise AI专门针对AI模型训练场景中的多样化工作负载进行了优化，支持多租户架构和隔离，确保在高负载情况下，各任务依然能够获得稳定的存储性能。同时，针对性地优化了对小文件和随机I/O操作的处理，使其能够更好地适应复杂的AI工作负载。
Alluxio Enterprise AI的自动化扩展功能使得系统可以根据需求灵活扩展，同时引入了新的成本优化策略，通过智能的数据分层和资源调度，用户能够在保持高性能的同时，显著降低存储成本，满足AI环境中对高性价比的需求。
使用Alluxio之后，通常可以通过利用本地或者云上的SSD/NVMe盘的闲置资源进行数据缓存，GPU使用率在现有客户中都得到了大幅的提升，可以从30%~50%提升到90%+
在当前的技术环境下，搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息，进行模型训练和推理。这一过程需要强大的数据分发能力，尤其是在多个服务器同时拉取同一份数据时，更是考验基础设施的性能。
南方科技大学是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年2月14日，教育部等三部委公布第二轮“双一流”建设高校及建设学科名单，南方科技大学及数学学科入选“双一流”建设高校及建设学科名单。
Shopee是东南亚领航电商平台，覆盖新加坡、马来西亚、菲律宾、泰国、越南、巴西等十余个市场，同时在中国深圳、上海和香港设立跨境业务办公室。2023年Shopee总订单量达82亿，2024年第二季度总订单量同比增长40%，增势强劲。
