Spark 如何写入Redis/MySQL/Kafka

E-Card新数据系统确定用spark+kafka+zookeeper+redis+mysql的基本架构,redis+mysql的存储方式是之前一直在用的,这里不存在问题,这里只看spark如何写入redis,进行交互,一直疑惑这样的数据架构是否会遭遇瓶颈,所以必须先把一些相关的概念理清先。

多个TOPIC分布在多个Broker中
每个TOPIC的数据以分区的方式分布在多个Broker中
一个分区同时只能被一个Consumer消费
同一个TOPIC允许被不同的Group重复消费,Group内不允许重复消费
详情:http://spark.apache.org/docs/1.5.0/streaming-kafka-integration.html

后面接着写。^-^

Webdis--简单高效的redis代理服务器

最近开发要求部署webdis,话说我是第一次接触这个,不甚了了,整理一下部署笔记。

1、Webdis介绍

Webdis 是一个简单的 Web 服务器,提供了 HTTP 接口来访问 Redis 服务器,使用了 hiredis, jansson, libevent, and http-parser 等软件。使得通过 HTTP 即可直接操作Redis,极高的提升了效率。

项目地址:https://github.com/nicolasff/webdis

官方网站:http://webd.is/

- 阅读剩余部分 -

Redis3.0.6安装

之前的版本是2.4,开发要求3.0以上的,目前最新的stable版是3.0.6,就选这个吧。安装非常简单,做个记录吧。

redis是直接编译到src目录的,所以我们尽量不要在用户家目录编译,否则可能有些用户不能运行,我们选择在/usr/local下操作。

- 阅读剩余部分 -