Skip to content

Latest commit

 

History

History
27 lines (13 loc) · 633 Bytes

design.md

File metadata and controls

27 lines (13 loc) · 633 Bytes

组成模块

  1. keeper

    管理spider,维护数据,决定和是爬取数据的模块

  2. spider

    spider traitspiderMeate trait联合定义的抽象集合,有特定的模块去实现它,完成在特定的网站上爬取数据的能力

数据存储问题

  1. 数据类型

    1. 分类

    2. 小说

    3. 小说章节与内容

  2. 存储设计

    spider内部自己存储一部分数据,特殊数据,需要对外部暴露的数据,同时,spider应当保证相同的数据,只有一个id

    keeper做最终的数据关连,管理,以及更新操作