如题
<>第一部分:
User-agent:
Disallow:/wp-/
Disallow:/readme.html
Disallow:/wp-login.php
Disallow:/wp-register.php
Disallow:/trackack/
Allow:/wp-/-ajax.php
Allow:*.js
Allow:*.S
Disallow:/wp-content/cache/Disallow:*/feed/
Disallow:/*?s=
Disallow:/search/
Disallow:*?ver=*
<>解释:
User-agent:-这行后面应该有一个值，但这里是空的。通常，它指定了适用的搜索引擎爬虫。空值意味着以下规则适用于所有爬虫。
Disallow:/wp-/-禁止爬虫访问/wp-/目录及其子目录。
Disallow:/readme.html-禁止爬虫访问readme.html文件。
Disallow:/wp-login.php-禁止爬虫访问WordPress登录页面。
Disallow:/wp-register.php-禁止爬虫访问WordPress注册页面。
Disallow:/trackack/-禁止爬虫访问trackack功能相关页面。
Allow:/wp-/-ajax.php-允许爬虫访问-ajax.php文件。
Allow:*.js-允许爬虫访问所有JaScript文件。
Allow:*.S-允许爬虫访问所有S文件。
Disallow:/wp-content/cache/-禁止爬虫访问缓存目录。
Disallow:*/feed/-禁止爬虫访问所有feed页面(GSC报告中的feed索引是啥)。
Disallow:/*?s=-禁止爬虫访问搜索结果页面。
Disallow:/search/-禁止爬虫访问搜索页面。
Disallow:*?ver=*-禁止爬虫访问包含版本参数的L。
这些设置主要是为了保护的敏感区域，如后台、登录页面等，同时允许爬虫访问一些必要的资源文件（如JS和S）。
<>第二部分:
