By Noxxxx from https://www.noxxxx.com/?post_type=post&p=460
欢迎分享与聚合，尊重版权，可以联系授权

Yandex 是俄罗斯的一家网站，也有一个搜索引擎。今天检查站点日志的时候发现在疯狂的爬取。于是顺手用 Nginx 禁了，再加上 robots.txt 规则。

话说 vultr 的日本 vps 速度也不是很快，貌似有点不太稳定，百度站长提交的 sitemap 抓取了好几次都没有成功，略失望，还好是按时计费，不用了就可以 destroy 掉。

location / {
if ($http_user_agent ~* "YandexBot")
{
return 403;
}