MediavBot

MediavBot是一個網路爬蟲程式,通常被用於抓取網頁內容並建立搜尋引擎的索引。這種爬蟲程式可能由媒體公司、搜尋引擎或其他組織開發和使用。

MediavBot可能被用於抓取特定型別的網頁內容,例如新聞、媒體資訊或其他與媒體相關的內容。它可以自動訪問網站上的頁面,收集其中的資訊,並進行索引以支援後續的檢索和展示。

不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: MediavBot

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "MediavBot") {

 return 403;

}

補充糾錯
上一蜘蛛: Jinquanspider
下一蜘蛛: YunGuanCe