芜湖网站建设芜湖网站优化、模板建站、微信小程序开发的网站定制服务由芜湖芝麻开门网络科技有限公司为您服务。
建站电话

0553-7552712

Robots.txt文件用法举例说明

标签:芜湖网站制作公司 2021/5/7 

Robots.txt文件正常放于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

 "<field>:<optional space><value><optionalspace>"

Robots.txt文件用法举例说明如下:

robots.jpg

robots1.jpg

阅读本文的人还可以阅读:

什么是百度抓取异常?抓取异常对网站的影响有哪些

robots.txt

Robots.txt 文件应放在哪里?

如何使用Robots避免蜘蛛黑洞?