010-82449668

EN 中文

Alluxio与NetApp StorageGRID实现集成

近日,全球首创的开源数据编排软件开发商Alluxio宣布与NetApp StorageGRID完成集成。Alluxio数据编排平台简化了各类数据驱动型应用的数据访问,而NetApp StorageGRID作为软件定义的可扩展的分布式数据对象存储,具有安全保护和灾备功能。两者的组合解决方案可帮助企业加速迁移上云,从而优化企业的资源投入,更好地打造超大规模现代数据平台。

 

大型企业拥有大量具有复杂依赖关系的数据驱动型应用,以及跨私有云、公有云、混合云或多云等多个区域的数据平台。Alluxio与NetApp StorageGRID的合作方案解决了此类平台的两个关键问题:
  • 数据存储和跨区域的数据访问。
  • 该方案能提供满足需求变化所需的敏捷性,避免业务部门间的数据孤岛,降低存储成本,并最大限度地提高性能,因此能够应用于各行各业的多个场景。

“NetApp StorageGRID可确保为我们部分大客户的跨区域分析和 AI 解决方案提供可靠的存储,”Alluxio产品总监 Adit Madan 表示。 “该联合解决方案将有助于数据平台团队实施混合云和多云架构的战略,为过载的分析基础设施提供资源管理能力,并能让他们的现代化数据平台能够处理更多的分析和机器学习作业。”

“随着混合云和多云部署环境下的应用程序和工作负载越来越多,企业针对业务关键数据的管理也日趋复杂。” NetApp对象存储总经理 Duncan Moore 表示, “这些企业需要简易、强大和可靠的解决方案来满足其需求。与Alluxio集成后,NetApp StorageGRID 可更快速地应用于新的工作负载和架构,并为本地对象存储上的分析工作负载提供企业级数据管理方案。”

为了实现负载均衡或高可用,企业里的数据往往会分布在不同的地理区域,形成孤岛。该联合方案将给使用 Presto、Spark、PyTorch 和 Tensorflow 等引擎的数据平台带来巨大益处,可满足所有数据存储和管理需求。联合方案的主要亮点包括:

  • 统一命名空间,打破数据孤岛该方案提供跨区域数据的统一视图,实现应用程序间的灵活数据互操作。
  • 透明的数据分层。通过统一的数据管理界面,对冷热数据进行应用无感知的分级存储(包括昂贵和低价的存储设备)管理。
  • 跨区域数据缓存。该方案最大限度地提高了跨区域计算的数据可用性,同时优化了存储空间利用率。

NetApp StorageGRID 与 Alluxio 数据编排平台的集成开箱即用

NetApp在8月发布的2023财年第一季度财报中提到,NetApp与Alluxio的携手已成为重要的的合作动能,将帮助更多客户满足构建现代化数据架构的需求。

 

相关资源

MLPerf基准测试冲出黑马,Alluxio新范式引爆AI存储

为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。

Alluxio在数据索引和模型分发中的核心价值与应用

在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。

南方科技大学分享:大数据技术如何赋能大模型训练及开发

南方科技大学是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年2月14日,教育部等三部委公布第二轮“双一流”建设高校及建设学科名单,南方科技大学及数学学科入选“双一流”建设高校及建设学科名单。