网站的robots文件有什么用？

        网站的根目录下总能看到robots文件，你知道robots文件是用来做什么的吗？本篇资讯详细讲讲robots文件那些事儿。

        robots文件是网站与搜索引擎蜘蛛协议，这个文件可以告诉搜索引擎蜘蛛我们的网站欢迎哪些搜索引擎蜘蛛来爬取，搜索引擎蜘蛛可以爬取我们网站的哪些页面等等。
        robots文件是一个纯文本的文件，我们可以在文件里边写下哪些页面是我们同意搜索引擎蜘蛛爬取的，哪些页面是我们不想要搜索引擎爬取的，这个文件也常用于我们网站测试的时候，避免搜索引擎蜘蛛爬取大量无意义的页面。
        你知道我们常常把robots文件放在网站的根目录，便于搜索引擎蜘蛛能够方便的爬取，我们的robots协议文件常用的语法有这些。
        1.user-agent
        User-agent在robots协议文件中可以规定哪些搜索引擎蜘蛛可以爬取我们的网站。我们知道搜索引擎蜘蛛有很多，如百度、360、搜狗、谷歌等等，我们可以选择哪些搜索引擎蜘蛛可以访问我们的网站。当然，一般情况下我们会选择所有的搜索引擎蜘蛛都可以访问我们的网站，即User-agent：*，*表示的是所有的，如果是选择一些搜索引擎访问我们的网站，则可以把同意访问我们的搜索引擎蜘蛛列出来，如只同意百度搜索引擎蜘蛛的写法是User-agent：Baiduspider。搜索引擎的名字可以在我们网站日志中看到，也可以百度出来。
        2.Allow
        表示允许搜索引擎蜘蛛抓取网站的哪些页面或网站哪些目录的页面。这里我们允许哪些页面，我们可以借用通配符$表示以什么结尾的页面，是一个页面集合。例如同意抓取phone目录下的页面，可以写作Allow：/phone/。同意抓取以html结尾的所有页面，可以写作：Allow：html$。
        3.Disallow
        不同意搜索引擎蜘蛛抓取网站的哪些页面或网站哪些目录的页面。例如不同意搜索引擎蜘蛛抓取phone目录下的页面，可以写作Disallow：/phone/。每一行写一个不允许的目录或页面集合，有更多的不同意抓取的目录，可以按行一次依次写下去即可。
        看了上边的内容，想必你已经知道网站的robots文件有什么用了吧。
 

专业营销优化团队，为您订制整合营销解决方案

助力企业制定可执行新营销传播方案，引爆品牌传播力
5000+媒体资源 20000+微博大V 30000+微信自媒体 100+视频网站 500+专业记者、编辑