robots-网站robots制作

网站地图的制作在seo优化中也是占据很重要一部分的，网站地图制作好了可以更加有利于蜘蛛对我们网站信息的检索与抓取，他会对网页信息进行方向引导，给搜索引擎蜘蛛的爬行提供一个路径，快速准确的抓取网站内容。

我们可以利用小爬虫工具、爱站工具等来生成网站地图。我们首先打开爱站工具包，选择网站地图，然后左侧选择添加网站，将网址输入后选择xml选项，将里面的顶部的所有文件选项勾选之后点击抓爬，完成后生成xml文件，最后将生成之后的sitemap后缀为html、xml、txt的文件上传到网站后台的根目录中即可。这样，只要有用户进入就会抓取了。

robots协议又是什么？该如何书写它呢？robot协议就是给搜索引擎蜘蛛的一个规定，我们利用这个文件来限制搜索引擎的抓取范围，尊重信息提供者意愿并维护其隐私权，保护我们的隐私不被搜索引擎抓取的一份内容。这个有我们自己进行编辑规定。

robots协议的编辑会用到三个标签：1、User-agent: 蜘蛛名称（这里个User-agent 指定搜索引擎蜘蛛名称）2、Disallow: 内容名称（代表要禁止抓取的内容）3、Allow:内容名称（代表允许抓取的内容）。这些标签后书写的就是协议的内容，还会用到3个通配符来编辑："*"表示涵盖所有搜索引擎；"$"表示以某字符串结尾；"/"表示当前目录下的所有内容。当编辑完协议内容后可在最后添加“Sitemap：网站域名/sitemap.xml”，用地图让蜘蛛更快速的抵达我们的网站。

SEO的日常工作比较细致，查看我们网站的日志也是需要关注的。从网站后台空间找到文件管理，然后打开logs文件，将最新的日志文件载到桌面，然后使用光年日志分析系统等工具对其进行分析，可以看到蜘蛛爬行过的记录以及一些问题，需要及时查看并解决掉。

登陆百度站长平台(没账号的就要注册哦,这里就不介绍了),添加网站,如果您是第一次进入,就要添加网站,比如第二张图(写域名)

然后会有一个验证文件要下载,您占那个下载验证文件就可以下载了.下载之后把文件放到网站的根目录下.

当前面步骤操作完成后,回到站长平台点验证,成功后,双击网址

选择左手边的网站分析下的Robots

选择"生成robots.txt"处,然后User-agent按自己意愿选择,状态也是,如果您是允许就选择允许,如果是不允许就选择不允许,

在路径框里复制刚才的第一步处理的urllist.txt文档的内容.粘贴到路径框里,格式都是类型的.后缀不强烈要求的.再点"创建",就会在上面记录一条信息,可以把允许与不允许同事记在同一个文件里,

这时可以看到下方的"robots.txt内容"就会出现相关内容.如果确认自己所有页面添加完成,就点"下载",然后再把该文件上传的根目录下就可以了.

步骤阅读

8

robots.txt文件可以用手写的,但是有些网页太多了,手写麻烦而已,这可以看各人意愿啦.

小编就介绍到这里.希望你能成功.

希望搜索引擎不搜索，使用：

User-agent:*

Disallow:/

User-agent:*

Allow:/用户名/web/view/

sitemap:http://网址/sitemap.xmlrobots.txt是放在/用户名/web/下。http://网址/robots.txt能正常访问就ok，另外你生成xml文件可以放到robots里.