robots.txt协议

据不完全统计，目前互联网流量有42.2%是由网络机器人创造的，其中恶意机器（主要为恶意爬虫）流量占到了21.80%。大概的格局如下所示，这种分布也是合理的，因为网络世界并不是都是真人。但是机器爬虫也分好坏的，就像电影终结者里面，也有善意和恶意的机器大战。那么这些恶意机器爬虫的目的是什么，有很多种，比如个人也可以制造爬虫...