求得/分享资源

  • 您希望求得还是分享呢？

  • 求得资源（我们会尽全力满足） *

  • 分享资源（我们代表其他用户衷心感谢您的分享）

  • 分享附件

    Upload

  • 确认提交

    • Security Code
    Refresh the code
    Cancel
    Confirm

深

量

连

接

2021

图片展示

深量，致敬中国实干派。

SHENLIANG.NET

H5-营销官网，去购买

深量，致敬中国实干派。

SHENLIANG.NET

云速成美站，去购买

深量，致敬中国实干派。

SHENLIANG.NET

H5自助建站，去购买

深量，致敬中国实干派。

SHENLIANG.NET

企业邮箱，去购买

深量，致敬中国实干派。

SHENLIANG.NET

在线培训预提交问题

  • 您使用的产品 *

    select

    • H5-自助建站
    • H5-营销官网
    • 外贸独立站
    • 品牌站群系统
    • 品牌商城系统
    • 品牌小程序
    • 云-速成美站
    • 云-企业官网

  • 您要提交的问题 *

  • 上传问题图片（可选）

  • 您的邮箱 *

  • 确认预提交问题

    • Security Code
    Refresh the code
    Cancel
    Confirm

图片展示

深量，致敬中国实干派。

SHENLIANG.NET

在线表单

  • 一句话需求 *

  • 您的预算 *

    • 2000以下
    • 2000-5000
    • 5000-1万
    • 1万-10万
    • 10万-50万
    • 50万-100万
    • 100万以上

    您的预算 *

  • 详细描述您的需求 *

提交

Security Code
Refresh the code
Cancel
Confirm

立即询盘
  • 返回
  • 询盘
更多

H5自助建站  去试用

外贸独立站  去试用

品牌小程序 去试用

品牌商城系统 去试用

logo

登录开始免费试用

帮助丨速美/云企
搜索

查询丨结果
搜索

Robots.txt

深量官方网站
Time： 2021-04-02

Robots.txt主要针对爬虫技术，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限。本文旨在介绍添加Robots.txt的途径。

背景信息

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点的根目录下是否存在Robots.txt，如果存在，搜索蜘蛛就会按照该文件中的内容来确定访问的范围，如果该文件不存在，搜索蜘蛛能访问网站上所有没有被口令保护的页面。如果用户需要让爬虫访问所有页面，请勿配置此文件。

操作步骤

  1. 进入Robots.txt页面：在网站后台左侧的导航栏中单击网站管理 > Robots.txt。
  2. 添加Robots.txt文件：通过选择上传文件即可完成添加Robot.txt操作。Robots.txt的写法请参见通过robots屏蔽搜索引擎抓取网站内容。


Prev : 页面SEO

Next : 网站地图

Click：
Like | 0
share
Robots.txt
Long by picture save/share

shenliang

产品

项目

在线工具

更多 ↗

帮助

ICP备案

Language
简体中文
繁體中文

京ICP备16060693号  京公网安备11010802028442号

版权所有 © 2016 - 2025 北京深量技术有限公司，保留所有权利。   The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.

Language
简体中文
繁體中文

京ICP备16060693号
京公网安备11010802028442号

版权 © 2016 - 2025 北京深量技术有限公司 
The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.

Service Center
Hi, how can I help you?在线聊天
Hi, how can I help you?售后服务
Hi, how can I help you?投诉建议
Contacts
电话
010-86466600
Qrcode
Qrcode
扫码沟通
Service Center
添加微信好友，详细了解产品
使用企业微信
“扫一扫”加入群聊
复制成功
添加微信好友，详细了解产品
我知道了