DigitalPebble

DigitalPebble是一個開源的網路爬蟲框架，用於構建和執行各種型別的網路爬蟲程式。它提供了豐富的功能和靈活的配置選項，可以用於抓取網頁內容、資料探勘、資訊檢索等任務。

DigitalPebble框架基於Java程式語言開發，支援多執行緒處理、分散式計算、外掛擴充套件等特性。使用者可以根據自己的需求定製和配置網路爬蟲程式，以適應不同的抓取任務和資料處理需求。

不過對於國內網站來說不會帶來什麼流量，可以選擇robots.txt協議禁止。

User-agent: DigitalPebble

Disallow: /

如果還是禁止不了，可以選擇nginx規則禁止訪問，如下：

if ($http_user_agent ~* "DigitalPebble") {

 return 403;

}