010-82449668

EN 中文

Alluxio 携手火山引擎 TOS,为 AI 业务数据存储与访问提速

近日,Alluxio 数据平台与火山引擎对象存储 TOS 实现集成。
结合 Alluxio 的数据加速能力以及火山引擎对象存储 TOS 的海量、低成本特性,双方将共同为用户提供经济高效的存储及 AI 加速解决方案,通过快速访问、高可用性、高容错性以及灵活的数据管理等功能和特性,使用户在 AI 业务场景中,大幅降低 GPU 的等待时间,让用户以更加卓越的体验,应对不断增长的数据需求。
火山引擎对象存储 TOS 是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。通过网络,用户可以在任何应用、任何时间、任何地点管理和访问 TOS 上的数据。TOS 具备以下四大优势:
  • 超10EB 级海量规模:对象存储 TOS 部署规模超过10EB 级,每日新增对象数量过亿,集群规模业界前列;
  • 超高性价比:支持按需使用、按量付费,无需提前购买存储空间;支持智能分层存储类型,能够根据访问对象的频率,自动转换对象的访问层级,降低存储成本;
  • 高可靠:99.9999999999%(12个9)的数据持久性保障,通过分布式架构,对数据进行多设备冗余存储,实现数据安全可靠地存储与管理;
  • 更安全:提供丰富的权限控制机制,完备的服务端加密机制,满足数据合规要求。
 
在 AI 大模型的推动下,AI 数据上云体量呈指数级增长,存储计算分离逐渐成了大数据处理的重要趋势。Alluxio 将与对象存储 TOS 携手为用户构建经济高效的存算分离解决方案,使用户可以更高效、更灵活、更低成本地存储和访问数据,实现高性能数据分析:
  • 数据访问灵活高效,开发与应用更便捷:用户可通过多种方式的接口,灵活高效访问 TOS 存储的数据,极大地简化数据开发处理;
高性能数据访问,快速响应 AI 业务需求:Alluxio 挂载 TOS 后,用户可以获得更高的数据访问效率和读写性能;
实现97% GPU 利用率,加速 AI 工作负载:Alluxio 帮助需要大量数据的 GPU 实现高吞吐和低延迟,使训练集群能够在高性能分布式缓存中持续、高效地获取数据,确保 GPU 在计算过程中几乎无等待时间;
更经济的数据管理策略,成本大幅降低:TOS 通过对冷热数据的分层存储管理,将活跃度较低的数据迁移至成本更低的存储层,保持高频访问数据在高性能存储层,以此优化存储资源的利用效率,大幅降低网络传输流量和 API 调用成本。
 
Alluxio 首席解决方案架构师傅正佳表示:“Alluxio 与火山引擎的合作令人激动万分,为新一代 AI 数据平台的构建提供了一套既创新,又极具技术含量的解决方案。它打破了数据规模、高性能 I/O 和成本之间的‘三角不可能’,不论训练集群在公有云、私有云或是混合云的方式部署,都能够使数据访问性能、成本节省、数据管理三个方面得到全面提升。”
 
火山引擎数据湖生态存储负责人林宇表示:“火山引擎一直致力于为客户提供灵活、高效、易用的 AI 及大数据领域解决方案。此次火山引擎与 Alluxio 的技术合作,充分发挥了双方在计算存储连接能力、海量数据的存储访问和管理能力以及数据加速方案上的优势,共同助力企业客户有效挖掘数据价值,快速构筑其 AI 及数据分析领域的各项服务能力。”
 
未来,火山引擎对象存储 TOS 将支持分层命名空间等更多功能,支持企业用户零成本接入,通过对象及文件语义的完全互通,在实现真正的“一份数据多种访问”的同时,支持目录级的重命名及移动等操作。与此同时,双方将继续在 AI 领域开展深度合作,进一步提升数据处理效率与性能,满足企业在“ AI +大数据”场景下对数据存储和访问体验的需求,帮助企业深挖数据潜在价值,实现 AI 应用高效落地。

MLPerf基准测试冲出黑马,Alluxio新范式引爆AI存储

为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。

Alluxio在数据索引和模型分发中的核心价值与应用

在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。

南方科技大学分享:大数据技术如何赋能大模型训练及开发

南方科技大学是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年2月14日,教育部等三部委公布第二轮“双一流”建设高校及建设学科名单,南方科技大学及数学学科入选“双一流”建设高校及建设学科名单。