Teoma是一個曾經存在的網路搜尋引擎,後來被Ask Jeeves(現在的Ask.com)收購。Teoma搜尋引擎使用了一種叫做“主題目錄”(Subject-Specific Popularity)的演算法,該演算法透過分析網頁之間的相關性來提供搜尋結果。
Teoma的網路爬蟲程式會抓取網際網路上的網頁內容,並根據其主題和相關性進行索引。這種演算法的特點是更加註重網頁的內容和主題之間的關聯性,而不僅僅是頁面的連結結構。
不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。
User-agent: Teoma
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "Teoma") {
return 403;
}