Spark 如何写入Redis/MySQL/Kafka

E-Card新数据系统确定用spark+kafka+zookeeper+redis+mysql的基本架构,redis+mysql的存储方式是之前一直在用的,这里不存在问题,这里只看spark如何写入redis,进行交互,一直疑惑这样的数据架构是否会遭遇瓶颈,所以必须先把一些相关的概念理清先。

多个TOPIC分布在多个Broker中
每个TOPIC的数据以分区的方式分布在多个Broker中
一个分区同时只能被一个Consumer消费
同一个TOPIC允许被不同的Group重复消费,Group内不允许重复消费
详情:http://spark.apache.org/docs/1.5.0/streaming-kafka-integration.html

后面接着写。^-^

通过管道批量删除-bash: /bin/rm: Argument list too long

上午同事找来,说rm -rf * 执行不了,看了下,搞定了记录。
某台机器磁盘空间告警,检查了一下,定位到/var/spool/,里面有60多万个文件。。。。。
原来是crontab执行失败后投递的邮件,rm -rf * 删除提示:-bash: /bin/rm: Argument list too long
原因是文件数太多,没办法一次删完,好吧,还治不了你!
解决办法,通过管道分组删除:ls | xargs -n 10 rm -rf
10个1组,分批删除,60万+的文件,删了半天。

Sublime Text 3 for mac 汉化

之前在windows下一直用的汉化和谐版的Sublime Text,甚是顺手,换到mac后毫不犹豫的购买了正版,不过官方并没有中文包,用的晕头转向,偶然在一个博客看到有人发了Sublime Text2的汉化包,下载试了一下,竟然完美支持官网最新版3126,转载一下,英文差的朋友有福了!

1、将上面要求下载的sublime_text_3.zip 文件解压,得到的Default.sublime-package 文件。打开sublime text 3,sublime text->preferences->Browse Packages

- 阅读剩余部分 -