robots文件-百度robots生成

是那家爬虫爬行显示404，如果是百度，你注册百度站长，将你的网址放置在检测是否抓取异常

如果正常抓取无异常就没有问题

应该是文件吧

是搜索引擎中访问网站的时候要查看的第一个文件。文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被访问的部分，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人有的叫搜索蜘蛛或者爬虫访问一个站点时，它会首先检查该站点根目录下是否存在，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。

文件限制抓取网络的搜索引擎爬虫对您的网站的访问。这些搜索引擎爬虫是自动的，它们在访问任意网站的网页之前，都会查看是否存在阻止它们访问特定网页的文件。虽然某些搜索引擎爬虫可能会以不同的方式解释文件中的指令，但所有正规的搜索引擎爬虫都会遵循这些指令。然而，不是强制执行的，一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此，我们建议对机密信息采用密码保护。

只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要文件甚至连空的文件也不需要。

为了能使用文件，您必须要有对您网站的根目录的访问权限如果您不能确定是否有该权限，请与您的网络托管商核实。如果您没有对网站的根目录的访问权限，可以使用元标记来限制访问。

其实这是因为搜索引擎用的抓取程序为了保护网站数据隐私而共同遵守一个叫做协议的东东，网站管理者可以通过告诉搜索引擎某些内容不允许其进行收集。。。出现这种情况说明你的搜索引擎室是负责任的搜索引擎，不想某种叫做360的东西从来都不管协议，自己想要搜就会搜索。。。不过也难怪了，连盗取用户文件的事情都能做，还有什么不敢做呢。。。

以上，希望可以帮到你

登陆百度站长平台没账号的就要注册哦这里就不介绍了添加网站如果您是第一次进入就要添加网站比如第二张图写域名

然后会有一个验证文件要下载您占那个下载验证文件就可以下载了下载之后把文件放到网站的根目录下

当前面步骤操作完成后回到站长平台点验证成功后双击网址

选择左手边的网站分析下的

选择"生成"处然后按自己意愿选择状态也是如果您是允许就选择允许如果是不允许就选择不允许

在路径框里复制刚才的第一步处理的文档的内容粘贴到路径框里格式都是类型的后缀不强烈要求的再点"创建"就会在上面记录一条信息可以把允许与不允许同事记在同一个文件里

这时可以看到下方的"内容"就会出现相关内容如果确认自己所有页面添加完成就点"下载"然后再把该文件上传的根目录下就可以了

步骤阅读

文件可以用手写的但是有些网页太多了手写麻烦而已这可以看各人意愿啦

小编就介绍到这里希望你能成功