exabot

Exabot是Exalead(一個企業級搜尋引擎技術提供商)的網路爬蟲程式。這個爬蟲程式被用於抓取網頁內容,以支援Exalead搜尋引擎和其他相關服務的功能。

Exabot爬蟲會自動訪問網站上的頁面,並收集其中的資訊,例如文字內容、連結結構等。這些資訊隨後會被用於構建搜尋引擎的索引資料庫,以便使用者可以透過Exalead搜尋引擎來查詢相關的網頁和內容。

不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: exabot

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "exabot") {

 return 403;

}

補充糾錯
上一蜘蛛: YunGuanCe
下一蜘蛛: ia_archiver