全部工具生成結果
robots.txt 生成
按爬蟲、允許路徑和禁止路徑生成 robots.txt。
等待處理
輸入與結果說明
robots.txt 控制爬蟲擷取，不是存取權限控制，也不能保證網址不被收錄。阻止擷取可能讓搜尋引擎看不到頁面上的 noindex；私人內容應使用身分驗證保護。
按爬蟲、允許路徑和禁止路徑生成 robots.txt。
robots.txt 控制爬蟲擷取，不是存取權限控制，也不能保證網址不被收錄。阻止擷取可能讓搜尋引擎看不到頁面上的 noindex；私人內容應使用身分驗證保護。