调度

一套运行两年的采集系统，调度与去重上的实际问题

爬虫写完只是开始。任务调度、失败重试、增量去重、代理池健康度，才是长期维护的主要成本。记录两年里改过三版的几个设计。