Teoma

Teoma是一個曾經存在的網路搜尋引擎,後來被Ask Jeeves(現在的Ask.com)收購。Teoma搜尋引擎使用了一種叫做“主題目錄”(Subject-Specific Popularity)的演算法,該演算法透過分析網頁之間的相關性來提供搜尋結果。

Teoma的網路爬蟲程式會抓取網際網路上的網頁內容,並根據其主題和相關性進行索引。這種演算法的特點是更加註重網頁的內容和主題之間的關聯性,而不僅僅是頁面的連結結構。

不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。

User-agent: Teoma

Disallow: /

如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:

if ($http_user_agent ~* "Teoma") {

 return 403;

}

補充糾錯
上一蜘蛛: ia_archiver
下一蜘蛛: DOCOMO Sprider