GrapeshotCrawler

GrapeshotCrawler是一個網路爬蟲程式,用於抓取網頁內容並建立索引以支援搜尋引擎或資料分析等應用。這個爬蟲程式通常由Grapeshot這家公司或組織開發和使用。

Grapeshot是一家技術公司,專注於提供內容分類和廣告定位等服務。他們可能開發了GrapeshotCrawler這樣的網路爬蟲程式,用於收集網際網路上的內容資料以支援其服務和產品的執行。


不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: GrapeshotCrawler

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "GrapeshotCrawler") {

 return 403;

}

補充糾錯
上一蜘蛛: BUbiNG
下一蜘蛛: Jinquanspider