Mail.RU_Bot

Mail.RU_Bot是Mail.Ru(俄羅斯最大的網際網路門戶之一)搜尋引擎的網路爬蟲。這個網路爬蟲被用於抓取和索引網頁內容,以支援Mail.Ru搜尋引擎的執行。Mail.Ru_Bot的主要作用是幫助Mail.Ru搜尋引擎發現和收錄新的網頁內容,並在使用者進行搜尋時提供相關的搜尋結果。

不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: Mail.RU_Bot

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "Mail.RU_Bot") {

 return 403;

}


補充糾錯
上一蜘蛛: Coccocbot-web
下一蜘蛛: DigitalPebble