近几日，京东、苏宁、当当纷纷屏蔽了一淘网蜘蛛的抓取。

　　京东商城CEO发微博称：“一家网站未经我们允许直接抓取我们所有的产品评价，这些产品评价是京东花费了价值过亿的积分激励用户写出来的，你怎么也要打声招呼吧?实在难以相信这是一家整日倡导“新商业文明、诚信”的公司所为，这和鸡鸣狗盗行为有何分别?”

　　一淘网官方微博回应：“您不点名批评，我们帮您，您说的是一淘。此前您说费率过高停用支付宝，我们没说什么，您又说一淘抓取评价信息，作为购物搜索，一淘就是要让互联网透明，给消费者实惠。新文明和诚信，您可以不信但我们信。竞争是市场必然，消费者有更多选择。一淘不会不点名批评，请问您能对消费者说说真实原因么?”

　　这一事件激起了购物搜索网站的讨论，还有相关人士以大众点评网与爱帮网之间的案例为对照。这里，我想谈些不成体系的个人观感。

　　一、一淘网与B2C网站之间的纠纷，与大众点评网案件是不同性质的。

　　在大众点评网，点评内容是网站的核心内容和产品主要体现，爱帮网直接复制援用，构成了实质性的复制使用，即我经常说的“镜像式使用”，这是相当程度上的替代了大众点评网，即不通过大众点评网也能使用大众点评网的主要内容。

　　而B2C网站的核心内容是交易，点评只是附属内容。一淘网的本质是搜索引擎，针对购物网站的垂直搜索引擎，其搜索结果仍是指引用户进入B2C网站。用户不可能在一淘网上使用B2C网站的交易相关的功能，不存在实质性地替代。因此，一淘网与B2C网站之间的纠纷不能和大众点评网案件相类比。

　　二、robots.txt协议的法律效用

　　我注意到，前述三个B2C网站是近几日才对一淘网的搜索蜘蛛在网站robots.txt文件设置了屏蔽。也就是说，在之前，并未在robots.txt中设置对应的屏蔽语句。

　　robots.txt是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。

　　有人说，robots.txt只是一个互联网界约定俗成的规范，并无法律约束力。在我看来，这是错误的理解。robots.txt规范不仅在互联网界已经流行多年，而且占据主流的网站（无论从规模还是数量上）都遵守这一规范，这一规范在事实上维护了互联网的有序。因此，在法律上，这一规范可以构成某种有利于社会秩序的行业习惯。如果恶意破坏或违反这一规范的，我认为可以构成因违反公序良俗的而形成的过错，进而被追究侵权责任。

　　三、购物搜索引擎的合理边界

　　从全球的角度来看，购物搜索并非是新生的互联网产品，在发达国家它们与购物网站可以并行发展和良性互动。从用户的角度来看，购物搜索网站也是用户的需求的实际反映，其本身并不具有什么法律原罪。简单地屏蔽购物搜索引擎的检索并不是明智之举。但是，购物搜索引擎除了作为一个网站必须遵守的通用法律法规以外，基于本身的特点，可能特别需要注意以下几个方面的问题：

　　1、购物搜索引擎网站本身的中立性和公信力问题

　　基于防止出现不正当竞争的行为出现，购物搜索引擎本身的中立性和公信力是极其重要的在普通搜索引擎网站的发展过程中，就已经出现过这样的问题，某些搜索引擎将自己开办的内容性网站长期排名于搜索前列，排挤其它网站，或者以竞价收费方式破坏搜索结果的自然中立性。一淘网之所以引起了B2C网站的高度警惕，很可能是与其背景有关的。一淘网与购物网站淘宝网为同门，很难让人对其长期的公信力不起疑问。

　　2、引用内容的限度

　　作为搜索引擎，适当显现被搜索页面的内容是合理的，这样有利于用户选择进入。但是过度地显现或不合理的使用，很可能构成著作权或其它权益的侵权。虽然说法律对于搜索引擎引用被检索网站页面的内容到何种程度为合理并没有一个精细的标准，但如果涉及到具体司法个案，根据最高人民法院关于民事证据的若干规定的意见，法官仍可根据日常经验进行判断。京东商城称一淘网引用了在京东商城产品页上的所有评价，在我看来，这的确有引用过度的嫌疑。

　　3、遵守robots.txt协议以及B2C商家的明确告知

　　民事活动应当遵循自愿、公平原则。如果B2C商家已经通过robots.txt或其他方式拒绝了购物搜索引擎的抓取和引用，那么购物搜索引擎应当停止抓取和引用。

　　与通用型搜索引擎网站不同的是，购物搜索引擎在内容上不存在太多中国特色的管制因素，购物搜索引擎在我国的发展应当会更为顺利，竞争也会更为充分，暂时不可能出现垄断性的局面。因此，无论是B2C网站还是购物搜索引擎网站，都应谨慎遵守法律、积极地共同协商确定规范以求共同发展，否则，任何一方都可能在自己的同业竞争中被弱化。