一日一技：Scrapy如何发起假请求？

谢谢乾坤-青南 kingname.info 2025/05/27

在使用Scrapy的时候，我们可以通过在pipelines.py里面定义一些数据处理流程，让爬虫在爬到数据以后，先处理数据再储存。这本来是一个很好的功能，但容易被一些垃圾程序员拿来乱用。 我看到过一些Scrapy爬虫项目，它的代码是这样写的： 1 2 3 4 5 6 7 8 9 10 11 ... def start_requests ( self ): yield scrapy.Request(…