【SEO教程】robots.txt协议的作用以及怎么编写问题!
robots.txt 文件首先它是一个简单的文本txt文件,也被称作协议文件,它指定搜索引擎爬虫是否应该或者不应该访问特定的文件夹、子文件夹或者页面,以及关于你的网站的其他信息,该文件作为一个用于网站与爬虫和其他机器人进行交流的一个媒介。当然使用协议文件是绝对必要的: 你可以使用 HTML 或者文字编辑器创建一个 robots.txt 文件,然后把包括禁止搜索引擎爬虫爬取的文件位置的代码写进去放到网站根目录即可。 robots.txt 是如何工作的?原理是什么?