DOCOMO Sprider

DOCOMO Spider是日本最大的移動運營商之一NTT DoCoMo的網路爬蟲程式。這個網路爬蟲主要用於抓取和索引網頁內容,以支援NTT DoCoMo的移動搜尋引擎和其他相關服務。

DOCOMO Spider會定期訪問網站上的頁面,抓取其中的文字內容、連結等資訊,並將這些資訊儲存在資料庫中供搜尋引擎使用。透過這種方式,使用者可以在NTT DoCoMo的移動搜尋引擎上搜尋並訪問相關的網頁內容。

不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: DOCOMO Sprider

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "DOCOMO Sprider") {

 return 403;

}

補充糾錯
上一蜘蛛: Teoma
下一蜘蛛: hubspot