360Spider

360Spider,它是一個很“勤奮抓爬”的蜘蛛。

不想讓360搜尋抓取,可以選擇robots.txt協議禁止。

User-agent: 360Spider

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "360Spider") {

 return 403;

}

補充糾錯
上一蜘蛛: Baiduspider
下一蜘蛛: sogou spider