谷歌弃用MapReduce!力推新云分析工具

| 责编：王迪

在Google，MapReduce有着非常广泛的应用，包括分布排序，Web访问日志分析、反向构建索引和机器学习等。Nutch项目开发，正是以MapReduce的项目为依据，开发出后来大名鼎鼎的Hadoop。

Hadoop架构示意图（来自cnblog）

可惜风云变幻，时光荏苒，现在谷歌宣布要弃用MapReduce，转而投向更有前景的云分析平台。

mapreduce平行编程设计架构流程图（图片来自Google）

实际上，MapReduce虽然被称为谷歌三宝之一。谷歌内部对这款产品并不是很满意。在2010年就传出消息说，谷歌正在构建新型网络内容索引系统来替代MapReduce。从2009年开始，Google就已经启动了代号为“Colossus”的研发计划，主要内容围绕新的分布式文件系统——Caffeine进行研发。

麻省理工学院的数据库专家Mike Stonebraker认为，MapReduce的计算方法对于实时计算来说是很不合适的，是过时的。

在旧金山举行的Google I/O大会上，谷歌发布了Cloud Dataflow以替代MapReduce。谷歌高级副总裁Holzele指出，一旦数据到达几个PB级别，MapReduce处理起来并不是那么得心应手。

Google I/O大会展示的Cloud Dataflow幻灯片（图：oschina.net）

在大会上，谷歌力推Cloud Dataflow新平台，认为该系统比起同规模任何系统，其运行速度更快。

Cloud Dataflow能创建数据管道，在批处理和流处理模式下摄取、转变和分析数据。相比MapReduce可以降低运营开销，更容易的从数据中获取到可行的见解。同样，谷歌将会为开发人员提供其云服务平台，而没有类似此前MapReduce平台上的一些限制。

“Cloud Dataflow是谷歌十几年技术研发的成果，提供完全自动优化的部署、管理和拓展服务。”Holzele继续说道。

在大会上，Holzele也宣示了一些其他云服务平台取得的成果。

Cloud Save

Cloud Save是一种API，允许应用程序在云里或其他地方保存单个用户的数据，并使用它而不需要提供任何服务器端代码。 借助谷歌平台即服务提供的App Engine，用户可以通过计算引擎的特性构建自己的应用程序。

Cloud Debugging

部署在云中的许多服务器软件上的漏洞可以被Cloud Debugging找到并筛选出来。

Cloud Tracing

Cloud Tracing在不同的项目中调用统计数据，例如服务器数据库延迟的调用，并且提供分析报告。

Cloud Monitoring

Cloud Monitoring是一种智能监控系统，是Stackdriver集成的结果，谷歌于今年5月份刚刚购买了这个项目。提供云基础设施资源的检测功能，对磁盘、虚拟机、谷歌服务的服务项目以及十多个非谷歌开源包进行监测。

笔者在此提醒，Hadoop平台是开源的，但是Cloud Dataflow并不是，任何公司想要使用它都必须要为谷歌的服务付费。

作为谷歌三宝之一的MapReduce，随着数据到达PB级别的实时计算能力不足，全新Cloud Dataflow成为谷歌推出的替代产品，并提供完全自动优化的部署、管理和拓展服务。

王迪