twiceler

Twiceler是一個網路爬蟲程式，曾經被用於收集和索引網頁內容以支援搜尋引擎。Twiceler爬蟲由Cuil（一家曾經存在的搜尋引擎公司）開發和使用。

Twiceler爬蟲主要用於抓取網頁內容，並將這些內容儲存在搜尋引擎的資料庫中，以提供搜尋結果。它遵循網路爬蟲的基本原則，即透過訪問網頁並抓取其中的資訊來建立搜尋引擎的索引。

不過對於國內網站來說不會帶來什麼流量，可以選擇robots.txt協議禁止。

User-agent: twiceler

Disallow: /

如果還是禁止不了，可以選擇nginx規則禁止訪問，如下：

if ($http_user_agent ~* "twiceler") {

 return 403;

}