ia_archiver是Internet Archive(網際網路檔案館)的網路爬蟲程式。Internet Archive 是一個非營利性組織,致力於建立網際網路的數字檔案館,儲存歷史上重要的網頁內容、多媒體資料等資訊,並使其對公眾開放。
ia_archiver爬蟲被用於抓取網頁內容,並將這些內容存檔在Internet Archive的資料庫中,以便長期儲存和檢索。這有助於保留網際網路上的重要資訊,使其對後人、研究人員和其他使用者可見。
不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。
User-agent: ia_archiver
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "ia_archiver") {
return 403;
}