网虫Spider订阅
SERIES · 5 篇

Scrapy 的静默失效

Scrapy 2.17 里 start_requests() 已经没人调用了：0 个请求、0 个告警、退出码 0Scrapy自定义下载处理器炸了，Scrapy 只报「Unsupported URL scheme」——而且这辈子都不会再试一次Scrapysettings.set() 可能什么都没做：优先级低于现值时静默丢弃，返回值还是 NoneScrapyFEEDS 里写错一个字母，另一个完全正确的输出也消失了：item 抓到 3 条，文件 0 个Scrapyraise NotConfigured 带不带消息，决定了它是一条 WARNING 还是零日志——而管道就是这么没的Scrapy