Deusu

DeuSu 是我的個人專案。它是一個擁有獨立索引的搜尋引擎。建立搜尋索引,超過十億個網頁要爬。DeuSu機器人軟體用來做這個。

目前的(幾乎)所有請求DeuSu機器人來自ip地址85.93.91.84和130.180.122.35。唯一的例外是一些非常小的測試,我不使用這兩種伺服器,但實際上我用我的電腦在家裡。

不過對於國內網站來說不會帶來什麼流量，可以選擇robots.txt協議禁止。

User-agent: Deusu

Disallow: /

如果還是禁止不了，可以選擇nginx規則禁止訪問，如下：

if ($http_user_agent ~* "Deusu") {

 return 403;

}