OpDev.me

不 忘 初 心 ,方 得 始 终 。

分类 Linux运维 下的文章

March 30, 2017

Spark 如何写入Redis/MySQL/Kafka

E-Card新数据系统确定用spark+kafka+zookeeper+redis+mysql的基本架构,redis+mysql的存储方式是之前一直在用的,这里不存在问题,这里只看spark如何写入redis,进行交互,一直疑惑这样的数据架构是否会遭遇瓶颈,所以必须先把一些相关的概念理清先。多个TOPIC分布在多个Broker中每个TOPIC的数据以分区的方式分布在多个Broker中一个分区...
March 16, 2017

XX网阿里云服务器部署

客户的一个项目,部署在阿里云,他们没有详细的需求,so,全程yum安装配置,记录一下。需求:centos 6.8 x64+nginx+php5.6+mysql5.7+redis+phpredis