CriteoBot是由數字營銷公司Criteo開發的網路爬蟲程式。Criteo是一家專注於個性化廣告的公司,他們的CriteoBot用於收集網站上的商品資訊和使用者行為資料,以便為其個性化廣告和推薦系統提供支援。
CriteoBot會定期訪問參與其廣告網路的網站,並抓取商品頁面的資訊、價格、描述以及使用者瀏覽和購買行為等資料。這些資料將被用於Criteo的廣告投放和推薦系統,幫助最佳化廣告展示以及增強使用者體驗。
不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。
User-agent: CriteoBot
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "CriteoBot") {
return 403;
}