010-82449668

EN 中文

Alluxio 统一命名空间解决方案

将不同存储系统中的数据抽象成统一的命名空间,使用户可以像访问本地文件系统一样来操作数据

趋势与挑战

* 多存储系统集成: AI和大数据生态系统中常常涉及多个存储系统,例如HDFS、S3等,每个系统都有自己的命名空间和接口。这样的多样性导致了数据管理和访问的复杂性。
* 数据访问性能: 在AI和大数据场景中,数据的访问性能通常是一个关键问题。传统的存储系统可能存在访问延迟较高的问题。
* 数据共享和协作: 多个应用或用户可能需要共享和访问同一份数据,但是不同的存储系统之间可能存在数据格式和接口的不一致性,导致数据共享和协作变得复杂。
* 系统灵活性和扩展性: 在AI和大数据场景中,数据的存储位置和类型可能会发生变化,因此系统需要具有一定的灵活性和扩展性。

统一命名空间解决方案

让应用实现对任意数据孤岛的访问

Alluxio 提供了统一命名空间,通过使用相同的命名空间和接口与不同的存储系统进行交互,大大简化了大规模数据管理。与本地工作站允许应用程序使用相同接口访问不同设备(如硬盘或 USB 驱动器)的方式类似,Alluxio 允许分布式应用程序使用相同接口访问不同类型的分布式存储系统(如 S3 或 HDFS)。

Alluxio 的统一命名空间不仅仅是一个接口,它还是一套适配器,可以使用相同的接口访问许多流行的存储系统。此外,凭借 Alluxio 分布式缓存的能力,还能带来显著的数据访问性能优势。与个人电脑将不同的本地路径映射到不同的设备类似,Alluxio 也将不同的 Alluxio 路径映射到不同的底层存储系统。映射是动态的,Alluxio 提供了一个 API,用于创建和删除这些映射,并在 Alluxio 中透明地浮现底层存储系统中的对象。

方案优势

使您的应用程序面向未来

应用程序可以使用相同的命名空间和接口与现有的和新的不同存储系统通信; 应用程序与新存储系统之间的无缝集成可加快创新速度

支持新的工作负载
将应用程序或存储系统与 Alluxio 集成只需一次性工作,应用程序即可访问多种不同类型的存储系统,存储系统也可由多种不同类型的应用程序访问
国家超级计算济南中心
【济南超算】超算互联网统一存储平台技术研究
国家超级计算济南中心(简称“济南超算”)由国家科技部批准成立,创建于2011年,是从事智能计算和信息处理技术研究及计算服务的综合性研究中心,也是我国首台完全采用自主处理器研制千万亿次超级计算机“神威蓝光”的诞生地。
查看更多 →
平安壹钱包
【平安壹钱包】大数据架构重构实践
平安壹钱包隶属于中国平安保险(集团)股份有限公司旗下支付机构,是国内专业的多场景支付解决方案服务提供商,移动支付交易规模位居行业第三。
查看更多 →
华能
【华能】央企大数据平台架构发展趋势与应用场景
中国华能集团有限公司(简称中国华能)是经国务院批准成立的国有重要骨干企业,创立于1985年。目前,公司拥有57家二级单位、480余家三级企业,5家上市公司(分别为华能国际、内蒙华电、新能泰山、华能水电、长城证券)。
查看更多 →

资料下载

《Alluxio 应用场景概览》
《用于数据分析的“零拷贝混合云” ——战略、架构和基准测试报告》
【案例研究】Expedia 集团 | 实现统一跨区域云上数据访问