一个Facebook爬虫每天向我愚蠢的网站发出700万次请求

我有一个小网站，我用来做一些搜索引擎优化实验。当然，每个帖子都有一些内容和一个Facebook分享按钮。

该网站非常小，只能在单个控制器的PHP应用程序+400kb的SQLite数据库上运行，但可以生成数千个不同的页面。

所有东西都托管在一个便宜的DigitalOcean机器+免费的CloudFlare计划上(连同一大堆其他网站)，以进行一些缓存。其中一个网站发出警报，它开始向我发出停机的警报。

该爬虫每天向该网站发出超过700万个请求(峰值为300req/秒)。

如果有人正在使用爬虫阅读这篇文章，请停止忽略有关爬虫的基本网络礼节。

下一次你可能会在AWS上打人。然后他们可能会让你付账😉。

如果您想与本文分享评论或报告问题，请给我发送电子邮件至[email protected]