网虫Spider订阅
ARCHIVE

全部 14 篇

202614 篇
raise NotConfigured 带不带消息,决定了它是一条 WARNING 还是零日志——而管道就是这么没的ScrapyCodex 生成 React 组件:一句「不要引入任何第三方依赖」,把 Portal 砍掉了Codex让 IP 纯净度的每一分都能被读者自己验算:四条判据、四套权重,五个分数手算全对IP 情报五个骗过我的假信号:测试 12 全过、脚本 0 报错、检查 0 命中,然后结论全是反的工程化只用免费数据源能把一个 IP 认到什么程度:9 个源实测,地理位置 5 个 IP 全部对不上IP 情报同一个 IP 一生只查一次:三级读取、双桶限流,和一道只拦花钱请求的人机验证IP 情报自定义下载处理器炸了,Scrapy 只报「Unsupported URL scheme」——而且这辈子都不会再试一次ScrapyFEEDS 里写错一个字母,另一个完全正确的输出也消失了:item 抓到 3 条,文件 0 个Scrapysettings.set() 可能什么都没做:优先级低于现值时静默丢弃,返回值还是 NoneScrapyScrapy 2.17 里 start_requests() 已经没人调用了:0 个请求、0 个告警、退出码 0Scrapy盐值随版本变动怎么办:从静态资源里自动提取JS 逆向从一个 sign 参数入手:还原某电商平台商品详情接口的签名算法JS 逆向一套运行两年的采集系统,调度与去重上的实际问题工程化主流平台接口收紧这一年:几个可观察到的趋势行业