组成模块 keeper 管理spider,维护数据,决定和是爬取数据的模块 spider 由spider trait与spiderMeate trait联合定义的抽象集合,有特定的模块去实现它,完成在特定的网站上爬取数据的能力 数据存储问题 数据类型 分类 小说 小说章节与内容 存储设计 spider内部自己存储一部分数据,特殊数据,需要对外部暴露的数据,同时,spider应当保证相同的数据,只有一个id keeper做最终的数据关连,管理,以及更新操作