Alluxio位于计算和存储之间,为企业提供统一的视图,
使其能够轻松地跨多个基础架构环境管理数据和AI工作负载。
Alluxio靠近存储,拥有数据平台上各个数据处理阶段工作负载的统一视图。
这是我们可以利用的优势。
而靠近计算是 Alluxio 数据平台智能的关键所在,能了解计算引擎上的应用程序想要达成的目标。
充分利用这一独特的位置优势,是我们与市场上众多产品的区别所在。
Alluxio 提供分布式缓存,因此AI引擎可以通过访问高性能 Alluxio 缓存, 而非缓慢的数据湖存储来读写数据。其智能缓存策略针对AI工作负载的 I/O 模式量身定制,可为整个AI工作流提供高吞吐量和低延迟。
Alluxio 可快速按需加载数据,而非将训练数据复制到本地存储。这消除了数据加载对模型训练速度造成的瓶颈。通过高性能的按需数据访问,可消除数据副本并提高性能。
Alluxio 可将 GPU 利用率提高至高达90%,使得数据与 GPU 周期同步,并加速模型训练和模型服务。Alluxio 还能使标准化存储实现与专用存储同样的高性能,从而节约成本。
通过Alluxio,您可以将任一计算引擎连接到位于任何位置、任何环境中的任何存储。
无论您的数据位于何处,Alluxio都能统一数据访问,无需将数据移动到单一数据湖或单一云上。
通过使数据更接近计算,Alluxio的数据缓存功能加快了大规模分析和AI工作负载的速度。通过消除副本和最大限度地减少数据移动,Alluxio降低了延迟,节省了带宽和流量成本。
通过Alluxio,您的数据应用程序可以轻松地移植到任何环境中。
Alluxio通过统一的命名空间对数据技术栈进行标准化,跨各类存储系统提供统一的访问模式。应用开发人员无需再考虑数据存储的位置,可以解耦计算和存储,而无需重写应用程序。
有了Alluxio后,您可按成本效益最高的方式部署计算,数据平台将实现真正的多云自由。
Alluxio可帮助节省高达70%的数据基础设施TCO,包括降低网络流量成本和S3 API成本,允许弹性计算,并节省平台运营成本。
通过减少跨网络的数据移动量,云流量成本得以减半,数据基础设施成本变得更加可预测。您不仅可以了解成本产生于哪里,而且还能极大的减少成本。
作为唯一一个能真正实现存算分离的解决方案,Alluxio能让您的数据基础设施具有前瞻性,轻松地适配您的需求和技术栈的发展。
Alluxio 社区版为我们带来了混合云下 AI 存储的通用解决方案,让我们能够在短时间内从自研组件无缝切换到 Alluxio 高性能缓存上,支持我们实现跨云训练;其次,在更加核心的场景下,Alluxio 企业版为我们带来了更高的稳定性,更好的性能,更便捷的运维,更是支持了我们内部千卡大模型的训练稳定高效运行。
—— 赵兵,知乎数据平台开发工程师