E-Card新数据系统确定用spark+kafka+zookeeper+redis+mysql的基本架构,redis+mysql的存储方式是之前一直在用的,这里不存在问题,这里只看spark如何写入redis,进行交互,一直疑惑这样的数据架构是否会遭遇瓶颈,所以必须先把一些相关的概念理清先。

多个TOPIC分布在多个Broker中
每个TOPIC的数据以分区的方式分布在多个Broker中
一个分区同时只能被一个Consumer消费
同一个TOPIC允许被不同的Group重复消费,Group内不允许重复消费
详情:http://spark.apache.org/docs/1.5.0/streaming-kafka-integration.html

后面接着写。^-^