![](https://www.alluxio.com.cn/wp-content/uploads/2024/08/BILIBILI.png)
Alluxio 与 Spark 是来自加州大学伯克利分校 AMP 实验室的姊妹项目。为了提升性能和简化数据管理,许多企业如中国联通、BOSS直聘、WeRide文远知行、去哪儿等将Alluxio 与 Spark 部署在一起。
随着我们在Iceberg的一些改造,元数据文件也逐渐增大。同时为了降低新增索引文件的读取开销以及Hadoop集群抖动等因素对文件读取的影响,我们引入了Alluxio。
通过这篇文章,我们希望可以对经济化数据存储策略做一个初步探索,首先我们将具象化两个关键特性,然后通过几组实验对技术可行性进行一个讨论。
Shuttle 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文中详细介绍了Shuttle的架构和设计理念。
人工智能(AI)和机器学习工作负载依赖大型数据集,并且对数据吞吐量有较高的要求,两者都可以通过优化数
Raft是一套基于多副本状态机(Replicated State Machine)实现高可用(HA)和容错的算法。本文介绍了Alluxio的日志系统如何从Zookeeper演进到内置Raft算法来实现高可用(HA)的过程。
介绍如何解决金融场景落地腾讯 Alluxio (DOP=Data Orchestration Platform 数据编排平台过程中遇到的各种问题。
增强S3 API,企业级安全功能重大更新,提高数据迁移易用性、成本更低。
全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.8版本,新版本立即可用。
了解像BOSS直聘、知名对冲基金等成功案例,基于解决方案应用的性能基准测试和成本节约测算,以及关于新手的部署引导。
为了帮助大家在我们社区玩得开心同时玩有所得,我们特意制定了【开源社区贡献积分奖励计划】,丰厚奖品等着你!
本文将介绍 Raptor 的历史,以及为什么 Meta 最终替换了它,转而采用基于本地缓存的新架构 RaptorX。