网站首页 alluxio

• 

  在AWS环境下基于EMR、Alluxio和S3构建高效数据分析流水线

  一、目的如今，由于以AWS为代表的公有云的可扩展性，弹性和成本效益，许多公司正在将它们的数据分析流水线从本地数据仓库迁移到AWS等公共云上。但是，这个过程绝不仅仅是简单地将数据从HDFS移至S3，然后将ApacheHadoop的程序运行...

  2024-09-12 wxchong 开源技术 8 ℃ 0 评论
• 

  Kubernetes, Alluxio 以及解耦的数据分析技术栈

  摘要：首先是要闻——Alluxio现在支持K8sHelmcharts啦！K8s是Alluxio的一种经过认证的运行环境了。现在，重点是——Alluxio为K8s中的解耦式的数据分析技术栈带回了数据本地性。怎么做到的？继续读下去吧：）在过...

  2024-09-12 wxchong 开源技术 9 ℃ 0 评论
• 

  基于Grafana仪表盘的Alluxio指标可视化

  概述生产环境指标监控对于运维分布式系统非常重要。Alluxio使用Codahale指标库（见文末链接1）收集I/O吞吐量、RPC吞吐量和资源使用的指标。Alluxio指标可在其webUI（见文末链接2）中显示，还能通过REST端点获取，也...

  2024-09-12 wxchong 开源技术 8 ℃ 0 评论
• 

  基于HashiCorp Nomad构建运行Alluxio经验总结

  这一篇由NaveenKT撰写的客座博客，并带有原始博客资源。我最近为一个客户做了关于评估Nomad的PoC工作。由于存在一些约束限制了客户环境潜在的能力，因此我在个人工作站上整合了一些“便捷”的东西，来弄清楚Alluxio与Nomad完...

  2024-09-12 wxchong 开源技术 9 ℃ 0 评论
• 

  新版Alluxio提升了GPU利用率和AI/ML应用程序的数据管理性能

  Alluxio推出了用于AI任务的数据管理平台的新版本，可以更好地利用高性能GPU系统，帮助企业和组织增强其数据密集型AI工作负载。AlluxioEnterpriseAI数据编排平台的新版本使得使用基于GPU的系统来...

  2024-09-12 wxchong 开源技术 8 ℃ 0 评论
• 

  Alluxio 2.0到来!数据简仓、数据编排、加速创新

  在纽约举行的AWS峰会上，我们非常激动地宣布，Alluxio2.0即将发布，这是自Alluxio项目自创建以来最重大的发布版本。几个月前，我们发布了Alluxio2.0预览版（见文末链接1）——其中包含了一些功能。现在发布的Alluxi...

  2024-09-12 wxchong 开源技术 8 ℃ 0 评论
• 

  阿里云 E-MapReduce 全面支持 Alluxio

  导读：阿里云E-MapReduce全面支持Alluxio，Alluxio作为大数据领域存储层解决方案，将大幅提升EMR产品服务能力。Alluxio可以对数据源进行性能优化和缓存加速，让计算层和存储层能够轻装上阵，独立优化，又能保持密切依赖...

  2024-09-12 wxchong 开源技术 8 ℃ 0 评论
• 

  Alluxio入门（电工识图入门）

  1.概述计算框架和存储系统之间的桥梁.2.功能2.1.统一命名空间Alluxio通过挂载功能在不同的存储系统之间实现高效的数据管理（统一管理不同存储系统）。1.Alluxio中的挂载将hdfs目录挂在到Alluxio中，再使用allux...

  2024-09-12 wxchong 开源技术 11 ℃ 0 评论