Rogerbot 是 Moz Pro Campaign 網站稽核的 Moz 爬蟲。它與 Dotbot 不同，Dotbot 是為連結索引提供支援的網路爬蟲。Rogerbot 訪問您網站的程式碼以將報告傳送回您的 Moz Pro Campaign。這可以幫助您瞭解您的網站並教您如何解決可能影響您的排名的問題。Rogerbot 為您的站點抓取報告、按需抓取、頁面最佳化報告和頁面評分器提供資料。
透過 Robots.txt 阻止 Rogerbot 抓取您的網站
如果您厭倦了 rogerbot 抓取您的網站，您可以透過在 robots.txt 檔案中的 disallow 指令後新增斜槓 ("/") 來阻止抓取工具。那就是說：“Rogerbot，您無法訪問這些頁面中的任何一個，該站點上的所有頁面都不適合您，請遠離，夥計。”使用您的 robots.txt 檔案阻止 rogerbot 如下所示：
User-agent: rogerbot
Disallow: /
注意表示站點根目錄的斜線。新增此程式碼將阻止 rogerbot 抓取您的網站所有頁面。
您還可以從站點的某些部分（例如子資料夾）中排除 rogerbot。下面是阻止 rogerbot 抓取您某個目錄的所有頁面：
User-agent: rogerbot
Disallow: */manage/*
熱門工具排行榜