此项目不再更新,请移步 https://chengqiangboy.github.io/
在写一个spark streaming应用时,遇到了一个奇怪的bug,7*24小时运行之后程序慢了一个数量级,而且在持续慢。记录解bug的过程。
介绍Spark off_heap的变迁,源码分析Spark2.0中off_heap的实现。以及我的AlluxioBlockManager。
浅入浅出地介绍Flume发展历史,以及flume结构、概念和一些相关原理,没啥干货,算是对Flume的一个大致了解吧。