求得/分享资源

  • 您希望求得还是分享呢？

  • 求得资源（我们会尽全力满足） *

  • 分享资源（我们代表其他用户衷心感谢您的分享）

  • 分享附件

    Upload

  • 确认提交

    • Security Code
    Refresh the code
    Cancel
    Confirm

深

量

连

接

2021

图片展示

深量，致敬中国实干派。

SHENLIANG.NET

H5-营销官网，去购买

深量，致敬中国实干派。

SHENLIANG.NET

云速成美站，去购买

深量，致敬中国实干派。

SHENLIANG.NET

H5自助建站，去购买

深量，致敬中国实干派。

SHENLIANG.NET

企业邮箱，去购买

深量，致敬中国实干派。

SHENLIANG.NET

在线培训预提交问题

  • 您使用的产品 *

    select

    • H5-自助建站
    • H5-营销官网
    • 外贸独立站
    • 品牌站群系统
    • 品牌商城系统
    • 品牌小程序
    • 云-速成美站
    • 云-企业官网

  • 您要提交的问题 *

  • 上传问题图片（可选）

  • 您的邮箱 *

  • 确认预提交问题

    • Security Code
    Refresh the code
    Cancel
    Confirm

图片展示

深量，致敬中国实干派。

SHENLIANG.NET

在线表单

  • 一句话需求 *

  • 您的预算 *

    • 2000以下
    • 2000-5000
    • 5000-1万
    • 1万-10万
    • 10万-50万
    • 50万-100万
    • 100万以上

    您的预算 *

  • 详细描述您的需求 *

提交

Security Code
Refresh the code
Cancel
Confirm

立即询盘
  • 返回
  • 询盘
更多

H5自助建站  去试用

外贸独立站  去试用

品牌小程序 去试用

品牌商城系统 去试用

logo

登录开始免费试用

帮助丨速美/云企
搜索

查询丨结果
搜索

Robots.txt

深量官方网站
Time： 2021-04-02

Robots.txt主要针对爬虫技术，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限。本文旨在介绍添加Robots.txt的途径。

背景信息

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点的根目录下是否存在Robots.txt，如果存在，搜索蜘蛛就会按照该文件中的内容来确定访问的范围，如果该文件不存在，搜索蜘蛛能访问网站上所有没有被口令保护的页面。如果用户需要让爬虫访问所有页面，请勿配置此文件。

操作步骤

  1. 进入Robots.txt页面：在网站后台左侧的导航栏中单击网站管理 > Robots.txt。
  2. 添加Robots.txt文件：通过选择上传文件即可完成添加Robot.txt操作。Robots.txt的写法请参见通过robots屏蔽搜索引擎抓取网站内容。


Prev : 页面SEO

Next : 网站地图

Click：
Like | 0
share
Robots.txt
Long by picture save/share

shenliang

产品

项目

在线工具

更多 ↗

帮助

ICP备案

Language
简体中文
繁體中文

京ICP备16060693号  京公网安备11010802028442号

版权所有 © 2016 - 2025 北京深量技术有限公司，保留所有权利。   The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.

Language
简体中文
繁體中文

京ICP备16060693号
京公网安备11010802028442号

版权 © 2016 - 2025 北京深量技术有限公司 
The content of this site is protected by relevant laws. Unauthorized use is strictly prohibited.

Service Center
Hi, how can I help you?在线聊天
Hi, how can I help you?售后服务
Hi, how can I help you?投诉建议
Contacts
电话
010-86466600
Qrcode
Qrcode
扫码沟通
Service Center
Add WeChat friend to learn more about the product
Use Enterprise WeChat
"Scan" to join the group chat
Copy success!
Add WeChat friend to learn more about the product
I see.