MegaIndex.ru蜘蛛是一個提供反向連結查詢的網站的蜘蛛，因此它爬網站主要是分析連結，官網：http://MegaIndex.ru，並沒有什麼作用。遵循robots協議。
可以透過robots.txt協議選擇禁止。
User-agent: MegaIndex.ru
Disallow: /
MegaIndex.ru
大家都在看
-
Baiduspider
百度蜘蛛
-
bingbot
必應蜘蛛
-
EtaoSpider
一淘蜘蛛
-
MJ12bot
英國MJ12蜘蛛
-
Amazonbot
亞馬遜蜘蛛
-
AraybOt
Aray蜘蛛
-
AdsBot
Ads蜘蛛
-
sogou spider
搜狗蜘蛛
-
Mail.RU_Bot
Mail.RU蜘蛛
-
spbot
sp蜘蛛
-
Teoma
Ask蜘蛛
-
YandexBot
俄羅斯蜘蛛
分享連結
熱門工具排行榜