robots.txt 文件首先它是一个简单的文本txt文件，也被称作协议文件，它指定搜索引擎爬虫是否应该或者不应该访问特定的文件夹、子文件夹或者页面，以及关于你的网站的其他信息，该文件作为一个用于网站与爬虫和其他机器人进行交流的一个媒介。当然使用协议文件是绝对必要的: 你可以使用 HTML 或者文字编辑器创建一个 robots.txt 文件，然后把包括禁止搜索引擎爬虫爬取的文件位置的代码写进去放到网站根目录即可。 robots.txt 是如何工作的？原理是什么？
谷歌分析(Google analysis)中有一个强大的内置过滤器功能，有助于防止垃圾邮件、机器人和其他破坏数据完整性的垃圾流量。然而，我经常发现那些不使用这些工具的网站，或者他们使用这些工具的网站，任然出现这些垃圾流量，形式奇形怪状，原因有哪些呢? 为了获得准确的数据，避免浪费你的时间，出现分析错误，今天就简单的说一下如何有效地处理分析中的不同类型的垃圾流量。 谷歌分析中的垃圾信息可以分为两种类型: ghosts and crawlers 1、Ghosts 大多数垃圾邮件都
很多朋友在做高端谷歌SEO的时候会发现很多大站会有Crawl-delay这个属性在robots协议里面，Crawl-delay可能很多做小站的朋友不了解，如果拥有大站的朋友可能用到过、但是超级牛站、比如新浪、我想就不会去考虑这个问题了。Crawl-delay 是Robots.txt中一个设置“蜘蛛”降低抓取频度的参数，而很多大站可能由于被搜索引擎抓取频繁加上用户访问流量过大，导致页面加载慢(就是我们说的有点卡)。 而目前对于也只有YAHOO和谷歌公开代表支持这个参数，具体可以参考：如何控
这段时间闲来无事读了些百度和谷歌的站长优化指南，就在思考一个问题：百度和谷歌的SEO优化到底有什么区别?这个问题是客户或者SEO新手们最常问的热门问题之一，可大部分的时候我们得到的答案就像：百度和谷歌SEO基本没有什么区别;只要专注于内容，做好链接，完善用户体验，排名自然会上去。可是别人会继续追问：“那为什么我的网站在谷歌排名很好，在百度排名很差呢?”“为何百度和谷歌搜索结果上的内容80%以上都不相同?”这些情况不是个例，你很容易被问到这样的问题，作为专业的SEO人来说，你该怎么回答?
