MauiBot

MauiBot 不同於其他爬蟲,這個爬蟲連網站都沒有,UA只顯示一個郵箱:”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是這個看起來是個人爬蟲,竟然遵循robots協議,算得上垃圾爬蟲的一股清流。

好在遵循robots協議,可以用robots.txt協議進行禁止。

協議如下:

User-agent: MauiBot
Disallow: /


補充糾錯
上一蜘蛛: DotBot
下一蜘蛛: SEMrushBot