一淘網蜘蛛(EtaoSpider)為一淘網抓取工具。”被各大電子商務購物網站遮蔽。拒絕一淘網抓取其商品資訊及使用者產生的點評內容。被禁止的原因首先應該是它們之間沒有合作互利的關係,還有就是EtaoSpider爬蟲是一個抓取最瘋狂的蜘蛛。統計發現EtaoSpider爬蟲的一天爬行量比“百度蜘蛛:Baiduspider”“360蜘蛛:360Spider”“SOSO蜘蛛:Sosospider”等主流蜘蛛爬蟲多幾倍,並且是遠遠的多。重點是EtaoSpider被抓取只會消耗你的網站資源,它不會給你帶來訪問量,或者其它對你有利用的。
中文成語詞典可用一個詞來形容,這個詞留給大家想吧。
不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。
User-agent: EtaoSpider
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "EtaoSpider") {
return 403;
}