MauiBot 不同於其他爬蟲,這個爬蟲連網站都沒有,UA只顯示一個郵箱:”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是這個看起來是個人爬蟲,竟然遵循robots協議,算得上垃圾爬蟲的一股清流。
好在遵循robots協議,可以用robots.txt協議進行禁止。
協議如下:
User-agent: MauiBot
Disallow: /
MauiBot 不同於其他爬蟲,這個爬蟲連網站都沒有,UA只顯示一個郵箱:”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是這個看起來是個人爬蟲,竟然遵循robots協議,算得上垃圾爬蟲的一股清流。
好在遵循robots協議,可以用robots.txt協議進行禁止。
協議如下:
User-agent: MauiBot
Disallow: /
百度蜘蛛
必應蜘蛛
一淘蜘蛛
英國MJ12蜘蛛
亞馬遜蜘蛛
Aray蜘蛛
Ads蜘蛛
搜狗蜘蛛
Mail.RU蜘蛛
sp蜘蛛
Ask蜘蛛
俄羅斯蜘蛛