为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。
在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。
随着AI/ML学习架构从早期的预生产架构向着可扩展架构发展,数据访问始终是瓶颈。仅靠添加更快的存储硬件或中心化NAS/NFS无法完全消除性能不达标以及影响系统操作的管理问题。
下一代解决方案显著加速端到端 ML工作流 – 模型训练提速高达20倍,模型服务提速高达10倍 , GPU 利用率实现2-4 倍提升
Alluxio 2.9版本的主要新增功能包括带租户隔离的横向扩展、Kubernetes上简化管理运维的 以及强化S3 API的安全性。
英特尔公布 AI 百佳创新激励计划第七期创新团队名单,Alluxio凭借在AI模型训练优化方面高效的数据平台架构,成为17家AI智慧创新型入选企业之一。
NetApp® StorageGRID®作为全球已大规模部署的可靠对象存储,与Alluxio数据编排平台实现相互兼容,共同支持各类数据驱动型应用程序。
近日,全球首创的开源数据编排软件开发商 Alluxio 宣布斩获 2022 年首届 IEEE 开源软件服务奖。
增强S3 API,企业级安全功能重大更新,提高数据迁移易用性、成本更低。
全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.8版本,新版本立即可用。
为了帮助大家在我们社区玩得开心同时玩有所得,我们特意制定了【开源社区贡献积分奖励计划】,丰厚奖品等着你!
Alluxio 凭借全球首创的超大规模分布式数据编排平台,并作为现代数据平台基础设施不可或缺的关键组成,荣登 2021 “科创中国”开源创新榜!