Serpstatbot

Serpstatbot是搜尋引擎最佳化(SEO)和競爭情報平臺Serpstat使用的網路爬蟲程式。Serpstat是一家提供關鍵字研究、網站排名監測、競爭情報等服務的公司,他們的Serpstatbot用於收集和分析網頁資料,以支援其平臺的功能。

Serpstatbot會定期訪問網站,抓取頁面內容、關鍵字資訊、連結結構等資料,並將其用於生成搜尋引擎排名報告、關鍵字分析以及競爭對手情報等功能。這些資料有助於網站管理員和營銷人員瞭解其網站在搜尋引擎中的表現,以及行業競爭情況。

不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: Serpstatbot

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "Serpstatbot") {

 return 403;

}

補充糾錯
上一蜘蛛: CriteoBot
下一蜘蛛: bidswitchbot