主要从技术的角度,对跨地域的数据联邦,或者说总公司和分公司不同数据域的互联互通进行讨论,研究相关技术可行性与分享整个研究过程。
随着我们在Iceberg的一些改造,元数据文件也逐渐增大。同时为了降低新增索引文件的读取开销以及Hadoop集群抖动等因素对文件读取的影响,我们引入了Alluxio。
Shuttle 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文中详细介绍了Shuttle的架构和设计理念。
介绍如何解决金融场景落地腾讯 Alluxio (DOP=Data Orchestration Platform 数据编排平台过程中遇到的各种问题。
本文将介绍 Raptor 的历史,以及为什么 Meta 最终替换了它,转而采用基于本地缓存的新架构 RaptorX。
金山云团队在交互查询场景下对presto与Alluxio相结合进行了测试,并总结了一些Presto搭配Alluxio使用的建议。
分享内容包括bilibili机器学习架构介绍, 引入数据缓存层的意义,数据缓存层的创新 – severless fuse,以及数据缓存的降本增效实例。
分享专家: 吕冬冬 云知声超算平台架构师, 负责大规模分布式机器学习平台架构设计与功能研发,负责深
介绍唯品会离线体系架构结合Alluxio,根据数据冷热分析进行自动缓存加速,提升ETL/OLAP场景下的数据访问速度,同时保障所有数据的业务一致性。
介绍借助Alluxio的内存缓存技术,解决兴业银行的数据技术体系中所遇到的如跨机房数据加载,数据计算加速,和统一数据访问管理等方面的应用案例。
本文首先介绍 Alluxio Master 的线程池结构,基于线程池分析结果提出 Alluxio 吞吐量调优方案。
我们提出Shadow cache:用于追踪工作集大小和缓存命中率的轻量级Alluxio组件。