MSNBot-Academic是微軟公司的網路爬蟲,用於收集和索引學術文獻和研究內容。它是專門針對學術領域的搜尋引擎蜘蛛,用於幫助使用者在學術研究中查詢相關資訊。 MSNBot-Academic會定期訪問學術網站和資料庫,收錄其中的學術論文、期刊文章等內容,並透過微軟的學術搜尋引擎展示給使用者。
不過對於國內網站來說不會帶來什麼流量,可以選擇robots.txt協議禁止。
User-agent: MSNBot-Academic
Disallow: /
如果還是禁止不了,可以選擇nginx規則禁止訪問,如下:
if ($http_user_agent ~* "MSNBot-Academic") {
return 403;
}