雅虎中國:http://misc.yahoo.com.cn/help.html
雅虎英文:http://help.yahoo.com/help/us/ysearch/slurp
1)Yahoo!搜尋蜘蛛名稱:Yahoo! Slurp。
2)Yahoo!搜尋引擎廣告蜘蛛:Yahoo!-AdCrawler。 用來抓取Yahoo!搜尋引擎廣告登陸頁網頁
如果某個網站在谷歌網站下沒有很好的收錄,在雅虎下也不會有很好的收錄和爬行。雅虎蜘蛛的數量龐大,但平均的效率不是很高,相應的搜尋結果質量不高。
不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。
User-agent: Yahoo Slurp
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "Yahoo") {
return 403;
}