TAG
数据管道
共 4 篇
只用免费数据源能把一个 IP 认到什么程度：9 个源实测，地理位置 5 个 IP 全部对不上
不配任何商业 API key，用 RDAP、Team Cymru、DNSBL、Tor 出口表这些免费源，能定出 IP 的归属、路由、类型和暴露面。但地理位置不行——两个免费地理源对五个知名 IP 给出的城市全部不一致，最远差 3865 公里。
采集与逆向IP 情报风控10 min
同一个 IP 一生只查一次：三级读取、双桶限流，和一道只拦花钱请求的人机验证
按量计费的数据源加上公开的查询入口，等于把账单交给陌生人。这套读取与守门的设计里，最关键的一条是：人机验证只拦会真实产生费用的请求，读库返回的报告一律放行——因为那些报告本身就是站点的流量入口。
工程实践IP 情报工程化9 min
FEEDS 里写错一个字母，另一个完全正确的输出也消失了：item 抓到 3 条，文件 0 个
FEEDS 的校验在遍历循环里 raise NotConfigured，而这会让整个导出扩展被停用——不是跳过那个配错的输出，是全部。配两个输出、其中一个格式名拼错，两个都不会生成。
源码剖析Scrapy工程化6 min
一套运行两年的采集系统，调度与去重上的实际问题
爬虫写完只是开始。任务调度、失败重试、增量去重、代理池健康度，才是长期维护的主要成本。记录两年里改过三版的几个设计。
工程实践工程化数据管道3 min