seo优化中的robots是啥?关于robots文件涉及的符合介绍

seo优化中的robots是啥?robots会影响seo优化效果吗?我们该如何利用robots大化地优化网站呢?今天，小编就从robots的定义出发，跟大家聊聊robots与seo优化的联系程度。

网站建设哪家好，找创新互联公司！专注于网页设计、网站建设、微信开发、微信平台小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了怀安免费建站欢迎大家使用！

1、seo优化所说的robots是什么?

其实，robots是一个根目录文件，是网站跟搜索引擎爬虫程序之间的一个协议。主要功能是告诉搜索引擎，网站中哪些内容可以抓取，哪些内容不能抓取。

因此，搜索引擎在抓取页面前，首先会检测该网站有无robots文件，如果有蜘蛛就会根据该协议去抓取网页;但若是没有robots文件，就表示蜘蛛可以随意抓取网站的任意页面。

2、robots文件涉及的符号含义

①通配符*：代表所有搜索引擎蜘蛛的名称

②User-agent：用于描述搜索引擎robot的名字

在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

③Disallow：用于描述不希望被访问到的一个URL

这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。

④Allow： 用于描述希望被访问的一组URL

与Disallow项相似，可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。

本文题目：seo优化中的robots是啥?关于robots文件涉及的符合介绍
文章位置：http://mswzjz.cn/article/cispjd.html