采集系统的调度与去重、数据管道与存储选型、后端接口与前端界面。偏工程实现与长期维护经验。
爬虫写完只是开始。任务调度、失败重试、增量去重、代理池健康度，才是长期维护的主要成本。记录两年里改过三版的几个设计。