010-82449668

EN 中文

《Presto查询加速宝典》

Presto是非常流行的在多个数据源上运行大规模交互式分析查询的计算引擎。Presto的定位是SQL-on-Everything,可以用来查询在任何位置的分散数据源。从现有的实践来看,虽然Presto具有处理海量数据的能力,但其在跨工作流的数据访问方面优化不足。

为了应对诸多挑战,我们提出了一个创新架构,搭配部署Presto和Alluxio。Presto和Alluxio的协同工作可实现统一、强大、高性能、低延迟和低成本的分析架构。该架构不仅有利于分析,还有利于数据工作流各阶段的工作,包括数据导入、分析和建模。同时支持跨本地、公有云、混合云和多云环境中的多个存储系统进行快速 SQL 查询。

全球众多公司已经利用Alluxio来升级其当前的Presto平台,包括Meta(Facebook)、TikTok、沃尔玛、腾讯、Shopee、Uber、金山云等,他们把Alluxio 集成到Presto技术栈中,实现了很多益处。

为了帮助大家更好借鉴Presto+Alluxio实践经验,赋能企业数据处理,我们整理了技术专辑《Presto查询加速宝典》,其中收录了典型应用案例、白皮书和技术文章,内容涵盖了实际场景中的优化实践经验。

欢迎立即点击下载。

Alluxio 联手 Solidigm 推出针对 AI 工作负载的高级缓存解决方案

“Solidigm 和 Alluxio 联合推出了高效的分布式 AI 缓存方案。通过将 Solidigm 的 D5-P5336 用作读缓存,D7-PS1010 用于 checkpoint 写入,并搭配 Alluxio 的低操作开销解决方案,我们帮助客户实现了大规模 AI 场景下成本和性能的最佳平衡。优化后的方案充分利用了Solidigm D7-PS1010 Gen5 TLC SSD 的写入带宽和 D5-P5336 Gen4 QLC SSD 的读取带宽,同时将 TLC 和 QLC SSD 的写放大系数保持在 1.02。

MLPerf基准测试冲出黑马,Alluxio新范式引爆AI存储

为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。

Alluxio在数据索引和模型分发中的核心价值与应用

在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。