Yahoo Slurp

雅虎中國:http://misc.yahoo.com.cn/help.html

雅虎英文:http://help.yahoo.com/help/us/ysearch/slurp

1)Yahoo!搜尋蜘蛛名稱:Yahoo! Slurp。

2)Yahoo!搜尋引擎廣告蜘蛛:Yahoo!-AdCrawler。 用來抓取Yahoo!搜尋引擎廣告登陸頁網頁

如果某個網站在谷歌網站下沒有很好的收錄,在雅虎下也不會有很好的收錄和爬行。雅虎蜘蛛的數量龐大,但平均的效率不是很高,相應的搜尋結果質量不高。

不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: Yahoo Slurp

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "Yahoo") {

 return 403;

}

補充糾錯
上一蜘蛛: Yisouspider
下一蜘蛛: bingbot