MauiBot 不同於其他爬蟲,這個爬蟲連網站都沒有,UA只顯示一個郵箱:”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是這個看起來是個人爬蟲,竟然遵循robots協議,算得上垃圾爬蟲的一股清流。
好在遵循robots協議,可以用robots.txt協議進行禁止。
協議如下:
User-agent: MauiBot
Disallow: /
MauiBot 不同於其他爬蟲,這個爬蟲連網站都沒有,UA只顯示一個郵箱:”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是這個看起來是個人爬蟲,竟然遵循robots協議,算得上垃圾爬蟲的一股清流。
好在遵循robots協議,可以用robots.txt協議進行禁止。
協議如下:
User-agent: MauiBot
Disallow: /
百度蜘蛛
英國MJ12蜘蛛
搜狗蜘蛛
必應蜘蛛
SEMrush蜘蛛
亞馬遜蜘蛛
一淘蜘蛛
Ads蜘蛛
Aray蜘蛛
Seznam蜘蛛
sp蜘蛛
YY蜘蛛