历时八年 奇虎vs百度Robots协议不正当竞争案落定 | 附判决
判决摘要
案号：（2017）京民终487号
案由：不正当竞争
合议庭：周波 苏志甫 俞惠斌
书记员：李晓琳
当事人
上诉人（原审被告）：北京百度网讯科技有限公司
上诉人（原审被告）：百度在线网络技术（北京）有限公司
被上诉人（原审原告）：北京奇虎科技有限公司
裁判日期：2020年7月3日
判决结果：驳回上诉，维持原判
涉案法规
民法通则第一百三十四条、反不正当竞争法第二条、第二十条规定、民事诉讼法第一百七十条第一款第（一）项
北京市高级人民法院
民事判决书
（2017）京民终487号
上诉人（原审被告）：北京百度网讯科技有限公司，住所地北京市海淀区上地十街10号百度大厦2层。
法定代表人：梁志祥，总经理。
委托诉讼代理人：崔玲玲，北京百度网讯科技有限公司法务部职员。
委托诉讼代理人：张永宜，北京市大地律师事务所律师。
上诉人（原审被告）百度在线网络技术（北京）有限公司，住所地北京市海淀区。
法定代表人：向海龙，执行董事。
委托诉讼代理人：陈明涛，北京市兰台律师事务所律师。
委托诉讼代理人：张永宜，北京市大地律师事务所律师。
被上诉人（原审原告）：北京奇虎科技有限公司，住所地北京市西城区新街口外大街28号D座112室（德胜园区）。
法定代表人：周鸿祎，法定代表人。
委托诉讼代理人：杨安进，北京市维诗律师事务所律师。
委托诉讼代理人：刘汉川，北京市维诗律师事务所律师。
上诉人北京百度网讯科技有限公司（简称百度网讯公司）、百度在线网络技术（北京）有限公司（简称百度在线公司）因与被上诉人北京奇虎科技有限公司（简称奇虎公司）不正当竞争纠纷一案，不服北京市第一中级人民法院（2013）一中民初字第13657号民事判决，向本院提起上诉。本院受理本案后，依法组成合议庭进行了审理。2017年8月17日, 百度网讯公司的委托代理人崔玲玲、张永宜，百度在线公司的委托代理人陈明涛、张永宜，奇虎公司的的委托代理人杨安进、刘汉川到本院接受了询问。本案现已审理终结。
百度网讯公司和百度在线公司共同上诉请求：撤销一审判决，依法作出改判，由奇虎公司承担本案一、二审全部诉讼费用。事实和理由：一审判决认定事实错误，适用法律错误，应予撤销。一、搜索引擎遵循Robots协议就是遵守行业惯例和公认的商业道德。Robots协议体现了网站与搜索引擎之间的交易自由，网站允许哪些搜索引擎抓取，不允许哪些搜索引擎抓取，在网站与搜索引擎双边市场上，是交易自由的体现；同样，搜索引擎收录哪些网站以及收录网站多少网页，是根据搜索引擎的算法和其带宽能力自行决定的。一审判决以“促进信息共享”为由限制互联网内容提供者自由选择交易对象，有违《中华人民共和国反不正当竞争法》（简称反不正当竞争法）第二条规定的自愿原则。二、一审判决对限制360搜索引擎引擎抓取会导致用户使用百度搜索引擎从而客观上增强百度搜索引擎市场优势地位的认定，缺乏任何事实依据。三、一审判决设定的设置Robots协议限制通用搜索引擎抓取应当具有的合理正当理由，实质上将废止Robots协议。
奇虎公司辩称：一审判决认定事实清楚，适用法律正确，应予维持。
奇虎公司向一审法院起诉请求：1.百度网讯公司、百度在线公司立即停止通过robots.txt对奇虎公司的不正当竞争行为；2.百度网讯公司、百度在线公司在三家全国公开发行的报纸（《法制日报》、《北京晚报》、《中国知识产权报》）及三个门户网站（消除实施涉案不正当竞争行为对奇虎公司造成的不利影响；3.百度网讯公司、百度在线公司连带赔偿奇虎公司经济损失一千万元以及为制止侵权的合理支出五十万元；4.本案诉讼费用由百度网讯公司、百度在线公司承担。
一审法院认定事实：奇虎公司成立于2007年8月13日，主要从事互联网安全及搜索等服务，经营的互联网产品有360安全卫士、360搜索引擎（网址为hao.360.cn及www.so.com）及360浏览器等。360搜索引擎于2012年8月16日上线。
百度网讯公司成立于2001年6月5日，百度在线公司成立于2000年1月18日，两公司共同经营的百度搜索引擎（网址为www.baidu.com）是国内知名的搜索引擎网站，同时还提供互联网内容服务，包括百度文库、百度知道、百度百科等。
robots协议的英文全称为Robots Exclusion Protocol, 直译为机器人排除协议，又可称为爬虫协议、机器人协议，是指网站所有者通过一个置于网站根目录下的文本文件，即robots.txt，告知搜索引擎的网络机器人（或称网络爬虫、网络蜘蛛）哪些网页不应被抓取，哪些网页可以抓取，其本质上是受访网站与搜索引擎之间的一种交互方式。
在互联网发展初期，网络用户为了获取信息，需要直接进入相关网页查找，效率较低。随着互联网的迅猛发展，网络用户面对海量信息已不可能再继续沿用原有的方式获取信息，搜索引擎便应运而生。通过搜索引擎，网络用户能在较短时间内从互联网的海量信息中检索到所需信息，而搜索引擎的工作原理就是使用网络机器人程序自动抓取相关网站内容并建立索引。搜索引擎可分为两大类，即通用搜索引擎和垂直搜索引擎。通用搜索引擎可根据网络用户提供的关键词，将所有网站上的相关信息检索出来提供给网络用户，百度、谷歌及360搜索等均属于通用搜索引擎。垂直搜索引擎指的是专门针对某一领域的专业搜索引擎，其搜索结果仅限于某一领域范围内，一些专业网站如购物网站、视频分享网站等均提供垂直搜索服务。
搜索引擎的出现极大地提高了网络用户获取信息的效率，但同时也产生了新问题：一是网络机器人过快抓取或重复抓取相同的网页内容导致受访网站的服务器过载，影响网站正常运行，降低了抓取的效率；二是一些网络机器人抓取网站管理后台的内部信息、临时性文件、cgi脚本等对网络用户没有使用价值的信息。这些问题表明，需要建立一种受访网站与搜索引擎的网络机器人之间的交互方式，通过这种方式，网站所有者能够提示网络机器人哪些网页内容没有必要抓取，从而引导其抓取对网络用户有用的信息。为解决上述问题，荷兰网络工程师Martijn Koster于1994年初首先提出通过在网站的根目录下设置robots.txt文件的方式来提示搜索引擎的网络机器人抓取的范围。1994年6月30日，一些网络机器人设计者及爱好者在网络机器人邮件组论坛上就Martijn Koster的提议达成一致意见，并形成了一个书面文档《机器人排除标准》（《A Standard for Robot Exclusion》），其中有如下说明：“它不是一个由标准组织备案的官方标准，也不属于任何商业组织。它没有强制执行力，也不能保证所有目前的或未来的网络机器人将使用它。它是网络机器人的设计者们提供给互联网社区的一个通用工具，能够保护服务器免受网络机器人不必要的打扰。”对于如何设置robots.txt文件，《机器人排除标准》也给出了具体的说明，例如：
User-agent:用于说明搜索引擎网络机器人的名字；Disallow:用于说明不希望被抓取的网页或目录；“*”代表所有搜索引擎的网络机器人；“/”代表所有目录；
若某网站希望禁止任何搜索引擎的网络机器人抓取，该网站的robots.txt文件写法如下：
User-agent:*
Disallow:/
若某网站希望禁止任何搜索引擎的网络机器人抓取/cyberworld/map/目录、/tmp/目录及/foo.html文件，该网站的robots.txt文件写法如下：
User-agent:*
Disallow:/cyberworld/map/
Disallow:/tmp/
Disallow:/foo.html
1997年，Martijn Koster向互联网工程任务组（IETF， Internet Engineering Task Force）提交了一份名为《网络机器人控制方法》（《A Method for Web Robots Control》）的互联网草案（Internet-Draft），其中对如何设置robots.txt文件作了进一步的说明。IETF是互联网领域最具权威的国际组织，其主要任务是制定互联网领域的技术规范，绝大多数互联网技术标准均出自IETF。任何人都可以向IETF提交互联网草案，只有被IETF采纳才会成为行业标准或规范，但IETF至今仍未采纳该草案。Martijn Koster在该草案中指出：网站管理者在一些情况下会阻止网络机器人的访问，如网络机器人抓取的信息是不宜公开的、对某些网页的抓取会占用大量的服务器资源及网络机器人的反复抓取等。该草案中还首次提出了“Allow:”语句，用于表示允许抓取的范围，还强调了在语句缺省的情况下，默认值是“允许”，robots.txt文件本身无需用语句说明，默认值就是“允许”抓取。
百度网讯公司和百度在线公司称，其相关网站均通过robots协议设置了访问限制，其robots协议采取的是“白名单”制度，即只有该文件中明确列举的搜索引擎的网络机器人才能抓取百度旗下相关网站的内容，未列举的其他搜索引擎均不能抓取。2012年8月16日，360搜索引擎上线运营，但百度网讯公司和百度在线公司的相关网站的robots协议均未将360搜索引擎列入其“白名单”中。
2012年11月1日，在中国互联网协会的牵头组织下，十二家互联网企业签署了《互联网搜索引擎服务自律公约》（简称《自律公约》）。该公约第七条第一款规定：遵循国际通行的行业惯例与商业规则，遵守机器人协议（robots协议）。第八条规定：互联网所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。
奇虎公司提交的(2013)京方圆内经证字第00364号公证书、(2013)京方圆内经证字第06932号公证书、(2013)京方圆内经证字第11476号公证书及(2015)京方圆内经证字第00228号公证书显示，自2012年8月以来，百度网讯公司、百度在线公司一直在其相关网站的robots协议中排除360搜索引擎。百度网讯公司、百度在线公司对上述事实予以认可，但认为robots协议是国际通行的行业惯例和商业道德，允许和/或限制全部和/或特定搜索引擎抓取是robots协议的应有之义，百度robots协议的“白名单”制度仅允许特定的几家搜索引擎抓取，对除此之外的所有其他搜索引擎均不允许抓取，不存在不正当竞争行为。
奇虎公司提交的(2013)京方圆内经证字第05960号公证书显示，使用360搜索引擎搜索到百度的相关网站后，在点击访问时，会出现访问被阻断并跳转到百度搜索引擎网站的现象。奇虎公司认为百度采取的相关技术措施会导致网络用户在使用360搜索引擎时的用户体验度下降。百度网讯公司、百度在线公司对上述事实予以认可，但认为这是针对奇虎公司不遵守百度robots协议而采取的自力救济措施。
2013年1月28日，一审法院受理百度网讯公司和百度在线公司诉奇虎公司不正当竞争纠纷一案。2014年8月7日，一审法院作出（2013）一中民初字第2668号民事判决（简称第2668号判决）认定：奇虎公司在推出其360搜索引擎伊始没有遵守百度公司网站的robots协议的行为明显不当。在《自律公约》签订之后，百度公司在合理的期限内未明确提出其拒绝修改robots协议的合理理由并书面告知奇虎公司，故在《自律公约》签订之后，百度公司关于奇虎公司行为不当的主张不能成立。该判决现已生效。
2013年10月15日，本院受理奇虎公司诉百度网讯公司、百度在线公司不正当竞争纠纷一案。2016年8月5日，本院作出（2013）高民初字第3755号民事判决（简称第3755号判决），该判决认定：基于互联网领域公平、开放、共享和促进信息自由流动的原则，在百度公司的robots协议已经允许当时国内外主流搜索引擎抓取内容的情况下，百度公司针对360搜索引擎采取的阻断行为，会导致360搜索引擎功能无法完整发挥，造成使用360搜索引擎的网络用户上网体验降低，且百度公司在阻断之后的跳转行为足以诱导或者迫使使用360搜索引擎的网络用户转用百度搜索引擎，从而在客观上实现了增加或维持其百度搜索引擎市场优势并减少360搜索引擎的市场优势或者使其无法正常增长的结果。该案目前尚处于二审程序中。
上述事实，有当事人提交的证据、第2668号判决、第3755号判决及当事人陈述等在案佐证。
一审法院认为：本案的争议焦点为百度网讯公司、百度在线公司通过设置robots协议的方式限制360搜索引擎抓取其相关网页内容是否构成不正当竞争。
本案中，根据已查明的事实，robots协议是一种在互联网领域内由从业者自发形成的行业惯例，指的是网站所有者通过在网站根目录下设置的robots.txt文件提示搜索引擎的网络机器人哪些网页内容不应被抓取，哪些可以抓取。基于以下三点理由，robots协议的初衷是为了提示搜索引擎的网络机器人更有效的抓取对网络用户有用的信息，从而更好的促进信息共享。
首先，从robots协议出现伊始所要解决的问题来看，主要是为了避免搜索引擎的网络机器人大量、重复的抓取导致网站服务器因过载而无法正常运行以及抓取对网络用户没有使用价值的信息。因此，与其说robots协议是对搜索引擎的限制，不如说是一种善意的指引，其目的是为了告知搜索引擎的网络机器人哪些信息没有必要抓取，从而引导其抓取对网络用户有用的信息。其次，robots协议的语法规则也可佐证其初衷是为了促进信息共享，而不是设置信息流动的障碍。根据robots协议的语法规则，在语句缺省的情况下，默认值是“允许”，例如robots.txt文件本身是不需要用“Allow:”语句说明的，其默认值就是“允许”抓取。显然，在robots协议的语法规则中，“允许”抓取是一般情况，“不允许”抓取只是特例，是需要用“Disallow:”语句说明的。而且，当一个网站未设置robots.txt文件或robots.txt文件的内容为空时，则意味着该网站对于所有搜索引擎的网络机器人都是开放的。这也进一步证明网站“允许”抓取是一般情况，在此前提下，网站所有者使用“Disallow:”语句的目的是为了告知网络机器人哪些网页内容没有必要抓取，从而引导其更有效的抓取对网络用户有用的信息。可见，robots协议的初衷并不是限制搜索引擎的网络机器人抓取信息、阻碍互联网信息流动，而是通过善意的指引使搜索引擎的网络机器人能够更有效的抓取对网络用户有用的信息，从而更好的促进信息共享。如果网站通过设置robots协议，实际上造成“不允许”抓取成为一般情况，而“允许”抓取成为特例，则显然与robots协议的初衷背道而驰。
再次，站点地图（Sitemap）的出现也进一步印证了robots协议的初衷是促进信息共享。网站为了便于搜索引擎的网络机器人抓取，通过站点地图告知搜索引擎的网络机器人哪些页面可以抓取，并给出了具体的抓取路径。站点地图可置于robots.txt文件中，二者配合使用能够使网站更好的被搜索引擎检索。如果说站点地图是从正面告知搜索引擎网络用户需要的信息在哪里，robots协议就是从反面提示搜索引擎网络用户不需要的信息在哪里，二者的目的都是为了让搜索引擎的网络机器人能更有效的抓取对网络用户有用的信息。
综上，robots协议作为一种互联网行业惯例，一方面要求搜索引擎的网络机器人遵守受访网站的robots协议，另一方面也要求受访网站设置的robots协议本身应当是合理的，不应违背“促进信息共享”的初衷。
就本案而言，首先，百度网讯公司、百度在线公司通过设置robots协议的方式限制360搜索引擎对其相关网页的抓取与robots协议的初衷背道而驰。如上所述，robots协议的初衷是为了指引搜索引擎的网络机器人更有效的抓取对网络用户有用的信息，从而更好的促进信息共享，而百度网讯公司、百度在线公司的行为会造成网络用户通过360搜索引擎无法得到完整的搜索结果，人为设置了信息流动的障碍。需要强调的是，360搜索引擎属于通用搜索引擎，而通用搜索引擎的网络机器人进入一个对公众开放的网站抓取信息通常并不会损害网站的利益，反而有利于其宣传推广。事实上，目前绝大多数网站对通用搜索引擎持开放、欢迎的态度，因为如果被搜索到，就意味着更多的网页浏览量以及由此而带来的潜在用户。也正是由于这个原因，绝大多数网站非但不会使用robots协议禁止通用搜索引擎抓取，反而希望能够更快的被搜索出来并展示在搜索结果中较为前列的位置，这也促成了搜索引擎竞价排名等商业模式的产生。而百度网讯公司、百度在线公司却在允许国内外主流搜索引擎抓取其网页内容的情况下，限制360搜索引擎抓取，其行为显然有悖于robots协议的初衷。
其次，就我国目前互联网搜索行业的发展现状来看，百度搜索引擎在市场份额上占据绝对优势，而360搜索所占的市场份额较小。在这种情况下，百度网讯公司、百度在线公司通过设置robots协议的方式限制360搜索引擎对其相关网站内容的抓取，会导致网络用户在使用360搜索引擎时无法及时获取所需信息，转而使用百度搜索引擎，这不仅会降低360搜索的用户满意度，损害奇虎公司的合法权益，也会在客观上增强百度搜索引擎的市场优势地位。不难想象，如果国内各主要网站都针对某一特定的搜索引擎以设置robots协议的方式限制其抓取，这一搜索引擎必然无法在市场上立足。事实上，包括互联网工程任务组在内的一些重要的国际组织拒绝采纳robots协议作为行业标准的原因就是考虑到少数行业巨头可能会利用robots协议本身的漏洞而将其作为垄断的工具。因此，百度网讯公司、百度在线公司以设置robots协议的方式限制360搜索引擎抓取的动机难谓正当。
如果把网站比作一个对公众开放的博物馆，robots协议就相当于在博物馆入口处悬挂的提示牌，告知游客哪些区域不对外开放,如：“本馆三楼301-302室正在装修、四楼为办公区，谢绝参观”。提示牌的目的并不是限制游客的正常参观活动，而是通过提示游客哪些区域为非参观区，从而引导游客更有效的参观游览。提示牌的内容对所有游客应一视同仁，如果要禁止某一类人进入参观，则需要有合理、正当的理由，如可基于安全的考虑，禁止无民事行为能力人进入参观。在缺乏合理、正当理由的情况下，禁止某一类人进入一个对公众开放的博物馆参观显然是不合理的。一般而言，通用搜索引擎的网络机器人进入一个对公众开放的网站抓取信息并不会损害网站的利益，反而有利于网站的宣传推广。一旦限制通用搜索引擎抓取信息，都会在一定程度上阻碍互联网信息正常流动，因此，以设置robots协议的方式限制通用搜索引擎的抓取应当具有合理、正当的理由，以下理由属于合理、正当的理由：1.出于保护受访网站的内部信息或敏感信息的需要。由于这些信息属于隐私信息，且对于网络用户而言没有使用价值，故不应被抓取。2.出于维护受访网站正常运行的需要。如果抓取会导致受访网站无法正常运行，则有必要对其进行限制。3.出于保护社会公共利益的需要。如果抓取会损害社会公共利益，则理应对其加以限制。就本案而言，百度网讯公司、百度在线公司限制360搜索引擎抓取的内容不属于其内部信息或敏感信息，也没有证据显示360搜索引擎的抓取会导致相关网站无法正常运行或损害社会公共利益。因此，百度网讯公司、百度在线公司限制360搜索引擎抓取缺乏合理、正当的理由。百度网讯公司、百度在线公司还主张其设置robots协议是针对奇虎公司的侵权行为而采取的自力救济措施，对此，如果网站所有者认为搜索引擎的抓取侵犯了其某项具体的民事权利，应当通过相应的法律途径寻求救济，而不应以限制互联网信息流动的方式进行所谓的自力救济，故百度网讯公司、百度在线公司的主张不能成立。综上，百度网讯公司、百度在线公司的涉案行为不仅损害了奇虎公司的合法权益，也扰乱了公平竞争的市场秩序，并最终将会损害广大网络用户的利益，其行为已构成不正当竞争。
关于赔偿数额，由于奇虎公司未就其因本案被控不正当竞争行为所导致的损失或百度网讯公司、百度在线公司因此而获利的数额进行举证，将根据百度网讯公司、百度在线公司的主观过错程度及不正当竞争行为持续的时间、范围等因素予以酌定。由于百度网讯公司、百度在线公司的不正当竞争行为对360搜索引擎在互联网业内的声誉已产生一定影响，故百度网讯公司、百度在线公司还应承担消除影响的责任。考虑到互联网不正当竞争行为的特点，判令百度网讯公司、百度在线公司在网络上就其不正当竞争行为消除影响已足以弥补奇虎公司所受损害，故对于奇虎公司要求百度网讯公司、百度在线公司在报纸上消除影响的诉讼请求，不再予以支持。
综上，奇虎公司的诉讼理由部分成立，对其相应的诉讼请求予以支持。
一审法院依照《中华人民共和国民法通则》第一百三十四条、反不正当竞争法第二条、第二十条之规定，判决：一、百度网讯公司、百度在线公司立即停止涉案不正当竞争行为；二、百度网讯公司、百度在线公司于判决生效之日起十日内连带赔偿奇虎公司经济损失二十万元；三、百度网讯公司、百度在线公司于判决生效之日起三十日内在三家网站（www.360.cn,www.sina.com,www.sohu.com）首页的显著位置连续十日刊登声明，就其涉案不正当竞争行为为奇虎公司消除影响；四、驳回奇虎公司的其他诉讼请求。
本院二审审理期间，各方当事人未提交新证据。本院对一审法院认定的事实予以确认。
另查，《自律公约》系在工业和信息化部的指导下，由中国互联网协会牵头组织十二家互联网企业于2012年11月1日在北京举行签订，参与企业包括：百度、即刻搜索、盘古搜索、奇虎360、盛大文学、搜狗、腾讯、网易、新浪、宜搜、易查无限、中搜等。奇虎公司主张在百度网讯公司和百度在线公司的百度搜索引擎白名单中仅360搜索、盛大文学、新浪、易查无限未被列入，而后三家公司并无实质性的互联网搜索引擎产品，且百度网讯公司和百度在线公司还将未参加签署《自律公约》的其他搜索引擎服务提供商加入了白名单。百度网讯公司和百度在线公司称其在设置robots协议的白名单时，将参与《自律公约》的十二家互联网企业中的七家企业列入白名单，除奇虎公司所称的未列入企业外， 即刻搜索也未列入；奇虎公司的360搜索当时尚未上线，且360搜索上线后，违规抓取百度百科等网页内容，经通知不予纠正，故未将其列入robots协议白名单。
根据第2668号判决，百度公司在该案中指控奇虎公司的360搜索存在以下不正当竞争行为：1.无视百度公司设置的robots协议，擅自抓取、复制百度网站相关页面并生成网页快照复制件存储于奇虎公司自身服务器中；2.在明确得知百度公司拒绝其抓取百度网站内容后，仍然继续抓取、复制百度网站内容并生成网页快照复制件存储于奇虎公司自身服务器中；3.在网络用户点击360搜索的搜索结果页中来自于百度网站的链接的标题时，直接向网络用户提供其复制存储在自身服务器上的“网页快照”等，上述行为构成不正当竞争。百度公司在该案中表示，在该案争议发生时还未签署《自律公约》，且奇虎公司并未明确要求加入百度公司robots协议的白名单中，故未将其列入白名单；即使奇虎公司要求也应当在其先停止违反robots协议的行为后再考虑是否将其360搜索引擎加入白名单。第2668号判决认定：在《自律公约》签订之前，奇虎公司对百度内容相关网页的抓取构成不正当竞争；在奇虎公司2012年年底停止向网络用户提供百度内容相关网页的网页快照之前，其提供网页快照的行为也同样构成不正当竞争，据此，百度公司在上述时间段内针对奇虎公司的上述违法行为不允许奇虎公司抓取其百度内容相关网页应当属于有正当、合理的理由。但是，在《自律公约》签订之后，即百度公司明确知晓奇虎公司希望抓取其百度内容相关网页但未提出拒绝抓取的合理、正当理由的情况下，奇虎公司的抓取行为并非不正当竞争行为。奇虎公司的搜索引擎直接将百度公司相关网页的链接更换为该网页的网页快照链接的行为明显已经超出了使用网页快照的合理范围，故对于百度公司关于奇虎公司将百度公司网站的搜索结果直接以网页快照的方式向网络用户提供的行为不当的主张予以支持。据此判决：奇虎公司赔偿百度公司经济损失五十万元、合理开支二十万元。
百度公司不服第2668号判决，向本院提起上诉，后又申请撤回上诉，本院于2015年4月7日作出（2014）高民（知）终字第4344号民事裁定，准许百度公司撤回上诉，各方当事人均按第2668号判决执行。此外，第2668号判决指出：“鉴于本案奇虎公司对于百度公司将其网站相关栏目设置的robots协议是否正当已经另行提起诉讼，在对于百度公司违反robots协议的行为是否不当进行充分审理的前提下，对于网站服务商或所有者设置robots协议限制搜索引擎爬虫机器人抓取的合理理由的范围不予评述，留待后续案件中，在双方当事人充分阐明对合理理由的意见后，再行判定。”
根据第3755号判决，奇虎公司在该案中主张网络用户使用360搜索进行搜索并点击搜索结果栏中的百度内容链接时，访问被阻断并跳转到百度搜索引擎网站主页，增加了百度公司网站的访问量；百度公司仅针对360搜索引擎的网络用户实施上述行为，具有明显的歧视性，构成不正当竞争。第3755号判决认定：百度公司针对奇虎公司一家搜索引擎服务提供商，在2013年初至2014年1月底的期间内，阻断360搜索引擎对百度内容相关网页的抓取并跳转至百度搜索引擎主页等行为，损害了奇虎公司和网络用户的利益以及互联网竞争秩序，从而构成不正当竞争，百度公司应当对其涉案行为承当相应的责任。第3755号判决还指出：“由于奇虎公司已经专门针对百度公司robots协议的设置另案提起了诉讼，不属于该案的审理范围，该仅根据奇虎公司在本案中指控的百度公司涉案竞争行为的正当性与否进行审理。”
在二审诉讼中，百度网讯公司和百度在线公司提交了最高人民法院（2017）最高法民终27号民事调解书，显示双方就第2668号判决所涉纠纷达成和解。
以上事实，有当事人陈述、第2668号判决、第3775号判决及（2017）最高法民终27号民事调解书等在案佐证。
本院认为：根据百度网讯公司、百度在线公司的上诉主张，本案二审的争议焦点在于百度网讯公司、百度在线公司通过设置robots协议白名单的方式限制360搜索引擎抓取其相关网页内容是否构成反不正当竞争法第二条规定所指的不正当竞争行为。
反不正当竞争法第二条第一款、第二款规定：“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。本法所称的不正当竞争，是指经营者违反本法规定，损害其他经营者的合法权益，扰乱社会经济秩序的行为。”在网络不正当竞争纠纷中，被告通过信息网络实施反不正当竞争法未作出特别规定的竞争行为，足以损害原告合法权益、扰乱正常的市场经营秩序，违背公平竞争原则，且违反诚实信用原则和公认的商业道德的，可以认定为反不正当竞争法第二条规定的不正当竞争行为。
本案系因百度网讯公司、百度在线公司对robots协议的设置方式导致360搜索引擎无法抓取其相关网页内容所引起的纠纷。因此，本案争议的核心并不在于robots协议本身的效力，而在于百度网讯公司、百度在线公司对robots协议的涉案使用行为是否构成反不正当竞争法第二条规定的不正当竞争行为。由于百度网讯公司、百度在线公司实施的被诉行为属于反不正当竞争法特别条款未予明确规定的行为，本案判断该行为是否构成反不正当竞争法第二条规定所指的不正当竞争行为，应当从该行为的损害后果及其是否具有不正当性两方面进行考量。
一、关于被诉行为的损害后果
根据反不正当竞争法第一条所规定的立法目的，既要“鼓励和保护公平竞争，制止不正当竞争行为”，又要“保护经营者和消费者的合法权益”。在网络不正当竞争纠纷中，判断被诉行为是否属于反不正当竞争法第二条禁止的不正当竞争行为，应当兼顾经营者、消费者、社会公众的利益，在权衡被诉行为对竞争相对方合法权益的损害程度以及对消费者利益和竞争秩序的影响程度等基础上对其损害后果作出综合认定。
本案中，百度在线公司、百度网讯公司对robots协议的设置方式是以白名单的形式区分希望抓取其相关网页内容的搜索引擎，即未能纳入白名单的搜索引擎，将无法抓取其相关网页内容。因百度在线公司、百度网讯公司未将360搜索引擎纳入白名单，导致360搜索引擎无法抓取其相关网页内容。与此同时，相关网站的robots协议允许当时国内外主流搜索引擎抓取其网页内容，对于奇虎公司而言，百度网讯公司、百度在线公司对robots协议的涉案使用行为构成对360搜索引擎采取的有针对性地限制抓取行为。被诉行为的损害后果体现在以下几方面：
首先，被诉行为影响了360搜索引擎的正常运行。奇虎公司的360搜索引擎属于通用搜索引擎，即在正常情况下，可以根据网络用户输入的关键词，将互联网上能够检索的所有相关信息提供给网络用户。百度在线公司、百度网讯公司对robots协议的设置方式导致360搜索引擎无法抓取其相关网站的网页内容，使得360搜索引擎的功能无法正常发挥，从而直接影响360搜索引擎用户的上网体验，进而可能导致360搜索引擎的网络用户流失。
其次，被诉行为损害了相关消费者的利益。由于被诉行为影响了网络用户对其所选择的360搜索引擎的正常使用，在影响网络用户对360搜索引擎使用体验的同时，迫使存在相关信息检索需求的网络用户不得不更换其他搜索引擎，从而影响网络用户自主选择的决定权，增加了选择成本，损害了该类网络用户作为相关消费者的利益。
第三，被诉行为将导致360搜索引擎与百度搜索引擎之间交易机会和竞争优势的“此消彼长”。尽管百度在线公司和百度网讯公司对相关网站robots协议的设置是基于其网站经营者的身份，但二者并非是单纯的网络内容提供者，其还是网络搜索引擎的经营者，且所经营的百度搜索引擎在被诉行为发生时在互联网搜索行业占据优势地位，其与奇虎公司之间存在直接的竞争关系。在互联网环境下，竞争优势的形成与网络用户的访问量和点击率直接相关，在百度在线公司和百度网讯公司相关网站的robots协议允许当时国内外主流搜索引擎抓取其内容的情况下，使得存在相关信息搜索需求的用户放弃使用360搜索引擎，转用包括百度搜索引擎在内的其他搜索引擎，在导致360搜索引擎的交易机会和竞争优势受到削弱的同时，一定程度上增加了百度搜索引擎的交易机会和竞争优势。
第四，被诉行为有违公平竞争原则，扰乱了正常的互联网竞争秩序。市场竞争的本质在于用户资源、商业机会的争夺，但此种争夺应当依靠改善自身商品或服务的质量与品质，从而赢得市场交易机会，而不是不劳而获或者损人肥己。就本案而言，百度在线公司和百度网讯公司作为互联搜索引擎领域的主要经营者，经营者应当本着诚实信用的原则，平等对待其他经营者，才能使相关消费者利益受到平等的尊重。百度在线公司和百度网讯公司对robots协议的利用方式，是将其他经营者区别对待，此种有针对性、歧视性的设置方式，有违公平竞争原则，该行为不仅损害与其存在竞争关系的奇虎公司的利益，也损害了相关消费者的利益。此种行为与互联网发展普遍遵循的开放、平等、协作、分享原则不符，若任由其发展，可能导致同行业经营者的效仿，将使原本遵循互联、互通、共享、开放精神的互联网变成信息相互隔绝、无法自由流动的信息“孤岛”，将有碍互联网功能的正常发挥，对互联网竞争秩序造成破坏，从而有损社会公共利益。
二、关于被诉行为是否具有不正当性
反不正当竞争法作为规制市场竞争行为的法律，注重鼓励商业创新与维护市场公平、自由竞争的平衡；允许商业模式、经营方式以及竞争策略的创新与发展，在一定程度上容忍竞争过程中的“损人利己”。因此，认定被诉行为是否构成不正当竞争行为，不仅要考虑其损害后果，还要审查其是否违反诚实信用原则和公认的商业道德而具有不正当性。
诚实信用原则要求人们在从事民事活动时，遵守诚信、善意的原则，在不损害他人利益和社会利益的前提下，追求自身的利益。在反不正当竞争法的语境下，公认的商业道德是指特定行业的经营者普遍认同的、符合消费者利益和社会公共利益的经营规范和道德准则。在网络不正当竞争纠纷中，对公认的商业道德进行认定时，应当以特定行业普遍认同和接受的经济人伦理标准为尺度，可以综合参考下列内容：信息网络行业的特定行业惯例；行业协会或者自律组织根据行业特点、竞争需求所制定的从业规范或者自律公约；信息网络行业的技术规范；对公认的商业道德进行认定时可以参考的其他内容。根据本案查明的事实，《自律公约》系在中国互联网协会的组织下，由部分会员提出草案，并得到包括本案当事人在内的互联网企业广泛签署的行业自律公约，在某种程度上说明了该自律公约具有正当性并为业内所公认，其相关内容反映了互联网行业市场竞争的实际和正当竞争需求。因此，可以将互联网行业协会组织其会员起草并签署的行业自律公约的相关约定作为认定互联网行业惯常行为标准和公认商业道德的参考依据。
本案中，首先，百度网讯公司、百度在线公司设置的robots协议白名单实质上是通过采取对搜索引擎经营主体区别对待的方式，以限制特定搜索引擎抓取其网页内容，妨碍了信息自由流动。robots协议是互联网领域自发形成的互联网行为秩序之一，是互联网领域的一种协作方式，已经成为搜索引擎企业普遍遵循的行业惯例和商业规则。由于互联网开放、互联互通的特点，尽管互联网企业可以在robots协议中通过技术术语告知搜索引擎的网络机器人其希望或不希望抓取的网页内容，但正如一审判决所指出，robots协议的初衷是为了指引搜索引擎的网络机器人更有效的抓取对网络用户有用的信息，从而更好地促进信息共享，而不应将robots协议作为限制信息流通的工具。《自律公约》第八条约定，互联网所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则。同时，百度网讯公司、百度在线公司以设置robots协议白名单的方式限制可以抓取其网站网页的搜索引擎范围，此种方式不是以网络信息本身是否适合被搜索引擎抓取作为区分标准，而是将搜索引擎的经营主体作为区分标准。并且，此种区分并未采取相同的标准，对奇虎公司而言，具有针对性和歧视性，不仅损害了奇虎公司的利益，也损害了相关消费者的利益。其次，百度网讯公司、百度在线公司未能就其限制360搜索引擎抓取的行为提供合理的正当理由。根据《自律公约》第八条的约定，robots协议对于通用搜索引擎抓取限制的设置应当具有行业公认合理的正当理由，换言之，通过设置robots协议的方式限制通用搜索引擎的抓取，并不是robots协议当然的应有之义，而是应当受到适当的限制。这既是互联网发挥降低信息流动成本、扩大信息扩散范围、拆除信息沟通壁垒、增强信息共享等功能的客观需要，也是《自律公约》第四条约定的互联网搜索引擎企业应当遵循的开放、平等、协作、分享的互联网精神的内在要求。就本案而言，百度网讯公司和百度在线公司在设置robots协议的白名单时，360搜索引擎尚未上线，其未将360搜索引擎列入白名单实属正常，但在360搜索引擎上线尤其是《自律公约》签署后，在百度网讯公司和百度在线公司的robots协议已经允许当时国内外主流搜索引擎抓取其内容的情况下，其明知奇虎公司要求其允许抓取百度相关网站的网页内容，但始终未允许360搜索引擎的抓取。尽管百度网讯公司和百度在线公司作为相关网站的经营者，原则上可以自由决定是否对某一具体的搜索引擎机器人开放网络资源，但基于前述理由，其针对通用搜索引擎所采取的限制抓取措施应当具有合理、正当的理由，而不能针对特定对象，采取具有歧视性的措施。本案中，百度网讯公司和百度在线公司主张其在360搜索引擎上线后，通过robots协议的设置限制360搜索引擎抓取其网页内容的理由是360搜索引擎违规抓取百度百科等网页内容所采取的自力救济，但抓取限制措施本身的正当性与突破限制措施的抓取属于同一问题的正、反方面，难以构成直接的因果关系，尤其是在《自律公约》签订后，各方当事人应恪守相关约定，避免此类丛林法则下的自力救济行为，否则将造成竞争秩序的混乱，不仅有损行业经营者的利益，也不利于网络用户的利益。如果网站经营者认为搜索引擎的抓取行为不当，构成对其合法权益的侵犯，可以通过相应的法律途径寻求救济。事实上，根据第2668号判决的认定，百度网讯公司和百度在线公司已经针对奇虎公司的不当抓取、链接行为提出了诉讼主张并获得支持。因此，百度网讯公司和百度在线公司提出的上述理由不构成限制奇虎公司涉案通用搜索引擎抓取其网页内容的合理、正当理由，故百度网讯公司和百度在线公司的涉案行为不符合《自律公约》的相关约定，违反了诚实信用原则和互联网搜索行业公认的商业道德。
综上所述，百度在线公司、百度网讯公司在缺乏合理、正当理由的情况下，以对网络搜索引擎经营主体区别对待的方式，限制奇虎公司的360搜索引擎抓取其相关网站网页内容，影响该通用搜索引擎的正常运行，损害了奇虎公司的合法权益和相关消费者的利益，妨碍了正常的互联网竞争秩序，违反公平竞争原则，且违反诚实信用原则和公认的商业道德而具有不正当性，不制止不足以维护公平竞争的秩序，故构成反不正当竞争法第二条规定所指的不正当竞争行为。在此基础上，鉴于百度网讯公司、百度在线公司对一审判决关于法律责任的确定未提出异议，本院经审查，对一审判决的相关认定予以确认。
综上所述，百度网讯公司、百度在线公司的上诉请求不能成立，应予驳回；一审判决认定事实清楚，适用法律正确，应予维持。依照《中华人民共和国民事诉讼法》第一百七十条第一款第（一）项之规定，判决如下：
驳回上诉，维持原判。
二审案件受理费四千三百元，由北京百度网讯科技有限公司、百度在线网络技术（北京）有限公司负担（已交纳）
本判决为终审判决。
审 判 长 周 波
审 判 员 苏志甫
审 判 员 俞惠斌
二Ｏ二Ｏ年七月三日
书 记 员 李晓琳
编辑：IvesDuran
来源：北京维诗律师事务所公众号、北京法院审判信息网
（www.pharmaip.cn）
（www.caiips.com）
（www.ipforefront.com）
RECOMMEND
推荐阅读