-

robots.txt文件的作用和使用方法!

人生杂谈

可能有很多人的网页不希望被搜索引擎收录,那么robots协议文件就起到了关键性的作用,robots.txt就是约束搜索引擎,不让搜索引擎收录,那么robots协议还有哪些作用及使用方法呢?

Robots.txt文件写法

如上图所示,第一行代表限制的搜索引擎,这里以*就代表限制所有的搜索引擎,让所有的搜索引擎都不允许收录。

User-agent: *

第二行代表禁止搜索引擎收录的页面,这里是网站后台登录的页面,禁止了所有搜索引擎收录网页后台登录地址,以便导致网页不安全。

Disallow: /wp-admin/

第三行是允许搜索引擎抓取后台的一个php文件,因为禁止了后台的所有文件,又有一个希望搜索引擎抓取,那么就可以这种形式写出来。

Allow: /wp-admin/admin-ajax.php

第四行是告诉搜索引擎网站地图的文件是哪个,通常搜索引擎在抓取一个网页,都会优先抓取robots.txt文件,所以这里放上网站地图,会更方面的让搜索引擎看到你网站有哪些最新链接。从而更方便抓取。

Sitemap: https://www.rnkx.com/wp-sitemap.xml

Robots文件的注意事项

很多人看到robots文件原来作用这么大了以后,都想用robots文件来操作SEO,其实也非常要注意的,因为一旦操作不好。就会容易导致网站不收录。那么robots文件有哪些注意事项呢?

  • robots文件生效相对比较长,也就是说,你现在写了robots文件,有可能明显生效,也有可能一个月以后生效,所以如果你想临时禁止搜索引擎收录爬取,那么最好不要直接禁止了。
  • 搜索引擎其实对txt文件并不友好,但由于法律文件,又不得不遵守robots文件,所以不是特殊情况,不要用robots文件来屏蔽搜索引擎。所以很多人做了伪静态以后,喜欢把动态的URL禁止,或者把图片以及CSS禁止了,其实这是不友好的。

来源:robots.txt文件的作用和使用方法!

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注