據說是個人寫的蜘蛛程式,指向的是 http://www.yunyun.com/spider.html,yunyun.com 目前不能訪問,建議遮蔽之。
不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。
User-agent: YYSpider
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "YYSpider") {
return 403;
}
百度蜘蛛
必應蜘蛛
一淘蜘蛛
英國MJ12蜘蛛
亞馬遜蜘蛛
Aray蜘蛛
Ads蜘蛛
搜狗蜘蛛
Mail.RU蜘蛛
sp蜘蛛
Ask蜘蛛
俄羅斯蜘蛛