帮助中心  |  汇款信息  |  我要吐槽  |  在线咨询  |  010-86466600

您好! 请登录 注册

深量建站 - 阿里云建站服务商      快上车:抢先领取中国复工券!

深量建站 - 阿里云建站服务商

搜索

robots文件写法

作者:深量菌 发表时间:2020-02-24 09:27:22

robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候,它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。

 

1、定义搜索引擎

User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。

也就是说User-agent*表示定义所有蜘蛛,User-agentBaiduspider表示定义百度蜘蛛。

2、禁止与允许访问

Disallow: /表示禁止访问,Allow: /表示允许访问。

在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。

3、禁止搜索引擎访问网站中的某几个文件夹,以abc为例,写法分别如下:

Disallow: /a/

Disallow: /b/

Disallow: /c/

4、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下:

Disallow: /a/*.js

5、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:

User-agent: Baiduspider

Disallow:

 

robots.txt文件存放位置


robots文件写法
长按图片保存/分享

京ICP备16060693号-2

京公网安备11010802028442号

© 2016 - 2020 SHNELIANG. All Rights Reserved. 深量公司 版权所有

The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.

京ICP备16060693号-2

京公网安备11010802028442号

© 2016 - 2020 SHNELIANG. All Rights Reserved. 深量公司 版权所有

The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.

深量聚焦为客户提供优质工具、优质服务、优质解决方案

京ICP备16060693号-2

京公网安备11010802028442号

© 2016 - 2020 SHNELIANG. All Rights Reserved. 深量公司 版权所有

The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.

京ICP备16060693号-2

京公网安备11010802028442号

© 2016 - 2020 SHNELIANG. All Rights Reserved. 深量公司 版权所有

The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.