8月16日,360推出360搜索,剑指被百度一枝独大的搜索领域。随后,百度通过强行跳转页面的手段反制360,并摆出了Robots协议,指责360违反了Robots协议,而360反击没有违背该协议。“3B大战”爆发一直持续到现在。
Robots协议的身份
原生Robots协议是网站指导爬虫的善意性提示文件,Robots协议作为一个.TXT文件,为爬虫做出提示,只用“允许”和“不允许”两种语句表示建议抓哪些内容,不建议抓哪些内容,而不是允许哪些搜索引擎抓取,不允许哪些搜索引擎抓取。而且所有的提示性建议都是善意的,对爬虫一视同仁,这种善意的提示一般会被爬虫接受。 此外,目前Robots协议是所有搜索引擎遵守的君子协议。不过根据Robots 协议创始人的声明:“迄今,没有任何法律规定robots协议必须遵守,也没有表明其构成一份网站与用户间的约束协议。”因此,Robots协议并不是一个规范,而只是倡议性的非官方的文件。据悉至今Robots协议仍不属于任何一个标准体,在美国和欧洲也没有法律方面的明确规定,不具有法律约束力。
所以,对3B大战来说,Robots协议是被单方面的曲解和利用了,Robots协议其实很“无辜”。