ScrapingHub/Scrapyrt:实时抓取

2020-07-22 00:06:44

允许您轻松地将HTTP API添加到现有的Scrapy项目中。所有Scrapy项目组件(如中间件、管道、扩展)开箱即用。您只需在Scrapy项目目录中运行Scrapyrt,它就会启动HTTP服务器,允许您调度爬行器并获得JSON格式的爬行器输出。

Github中提供了开源支持。请创建问题问题(即。问题";问题";标签)。