360Spider,它是一個很“勤奮抓爬”的蜘蛛。
不想讓360搜尋抓取,可以選擇robots.txt協議禁止。
User-agent: 360Spider
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "360Spider") {
return 403;
}
360Spider,它是一個很“勤奮抓爬”的蜘蛛。
不想讓360搜尋抓取,可以選擇robots.txt協議禁止。
User-agent: 360Spider
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "360Spider") {
return 403;
}
百度蜘蛛
必應蜘蛛
一淘蜘蛛
英國MJ12蜘蛛
亞馬遜蜘蛛
Aray蜘蛛
Ads蜘蛛
搜狗蜘蛛
Mail.RU蜘蛛
sp蜘蛛
Ask蜘蛛
俄羅斯蜘蛛