全部工具生成结果
robots.txt 生成
按爬虫、允许路径和禁止路径生成 robots.txt。
等待处理
输入与结果说明
robots.txt 控制爬虫抓取，不是访问权限控制，也不能保证网址不被收录。阻止抓取可能使搜索引擎看不到页面上的 noindex；私密内容应使用身份验证保护。
按爬虫、允许路径和禁止路径生成 robots.txt。
robots.txt 控制爬虫抓取，不是访问权限控制，也不能保证网址不被收录。阻止抓取可能使搜索引擎看不到页面上的 noindex；私密内容应使用身份验证保护。