Nginx 限制 YandexBot 爬取

Yandex 是俄罗斯的一家网站,也有一个搜索引擎。今天检查站点日志的时候发现在疯狂的爬取。于是顺手用 Nginx 禁了,再加上 robots.txt 规则。

话说 vultr 的日本 vps 速度也不是很快,貌似有点不太稳定,百度站长提交的 sitemap 抓取了好几次都没有成功,略失望,还好是按时计费,不用了就可以 destroy 掉。


上一篇:一不小心,证书过期 下一篇:Could not get lock /var/lib/dpkg/lock

3 条回应:“Nginx 限制 YandexBot 爬取”

  1. 我都懒得管他的抓取了!我现在头疼的是恶意镜像的!

发表评论


*