网站seo优化-robots文件使用和设置技巧

做网站seo优化，都知道有robots.txt文件。设置好robots文件后能更好的引导蜘蛛抓取网站内容，经过robots规则的设置，能够让搜索引擎蜘蛛蜘蛛都啊哪些文件可以抓取，哪些文件不能抓取，能更好的提高网站的抓取效率和网站内容优化建设，让网站更加利于的优化，提高网站排名。

什么是robots

Robots可以理解为搜索引擎蜘蛛的爬取协议，可以通过robots文件告诉搜索引擎蜘蛛允许爬取和不被允许的的文件和目录。也就是说搜索引擎蜘蛛会在第一时间查看robots文件，然后在根据文件的内容来访问网站的内容和范围，更好的引导蜘蛛爬取网站。如果没有该文件，则所有的搜索引擎蜘蛛都可以爬取网站上的所有文件。

Robots文件放置位置

Robots.txt文件要放在网站根目录下，通知蜘蛛应该抓取的范围，文件申明好搜索引擎蜘蛛可以爬取的内容和不想被搜索引擎收录的部分，或者指定搜索引擎只收录的部分。

Robots常使用的情况

1. 新站，在网站建设之初就设好robots文件引导蜘蛛爬取。

2. 网站升级，网站改版升级后，会出现的一些错误的链接和文档，在这种情况下可以通过robots设置让蜘蛛不在抓取该错误的页面和目录。

3. 网站存在重复内容，选择其中一个网站内容进行屏蔽。如，网站是动态页面，但是已经做了静态化处理，可以在robots文件禁止蜘蛛抓取动态页面。

4. 网站内容不想被抓取收录展现，但允许内部用户查看的内容。

robots文件写法

Ps：参考陵小宇的robots文件https://www.lingyuyy.com/robots.txt

User-agent: *

Disallow: /abc

Allow: /efg

Sitemap: http://域名/sitemap.xml

1. User-agent定义搜搜引擎的名称，“*”为所有的搜索引擎。如：User-agent: baiduspider(定义百度蜘蛛)

2. Disallow禁止索引和抓取的目录或者地址。如:Disallow: /abc 禁止抓取abc的页面。

3. Allow允许抓取的页面，如果没有设置，默认允许抓取没有被禁止的所有页面。

4. Sitemap为网站地图，可以更好的引导蜘蛛爬取网站地图，抓取所有的页面链接。

User-agent: *

Disallow: /

Allow: .php$

1. 禁止蜘蛛索引网站中的所有动态页面

这里限制的是带“?”访问的网站，如：https://www.lingyuyy.com/index.php?tid=1

User-agent: *

Disallow:/*?*

2. 限制访问某个后缀的网址

这里禁止访问abc目录下的所有php文件

User-agent: *

Disallow:/abc/*.php