形象理解海量大数据实时系统（大数据形象描述）

需求：满足用户（物联网设备）实时位置，状态监测的灵活查询。时间，位置，号码（物联网设备)(优先级）

评估Greenplum、Kudu、TiDB、MemSql、ES、Redis，Druid 都进入了我们的视野。

对于新的实时系统，主要考虑以下几点：

1、系统既要满足 OLAP 还要满足OLTP 的基本需求，涉及到更新最近位置的数据；

2、新系统要尽量降低业务的使用要求；

3、新系统最好能够与现有的 Hadoop 体系相结合。

TiDB 分布式特性可以很好的平衡热点数据，可以用它作为业务库热点数据的一个备份库，或者直接迁入 TiDB 。

思路:

1、上游信令的数据通过 TiDB 实时写入，下游 OLAP 的业务通过 TiDB / TiSpark 实时分析。

2、从 TiDB 中利用 TiSpark 进行抽取到历史库（ES，MemSql）。

技术架构：

Kafka+Streams+TiDB(Memsql)+Restful(查询)

为了更形象理解实时系统平台，做了如下类比：

实时数据流：一条河渠。

满足条件数据：河流里的鱼（红色的鱼，粉色的鱼）（时间，位置，号码设备标识）

事件处理平台：渔网，地笼，筛网(网洞大小)鱼是主动上网。

实时检索平台：铺渔网。鱼是被动上网。

实时查询形式（restful，SQL接口)，只留最近数据。