对其他网络机器人的抓取进行合理限制是网站经营者经营自主权的体现
——北京微梦创科网络技术有限公司与北京字节跳动科技有限公司不正当竞争纠纷案1.随着搜索技术和网络应用的发展，网络机器人的适用场景不断扩展，从通用搜索引擎领域，扩展到非搜索引擎的其他各种场景。搜索引擎是给被搜网站带来流量和利益，而非搜索引擎的网络机器人往往不是给被搜网站带来流量，反而可能带走被搜网站的流量。由于非搜索引擎场景应用的网络机器人，已经不像搜索引擎那样当然地对公众利益，以及互联网的互联、互通、共享、开放的精神产生影响，因此在对这些网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。也就是说，《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。
2.数据日益成为企业重要的生产要素，数据资源的获取与利用是极为重要的一种资源配置。网站经营者对数据的收集、整理等基本都付出了相应的人力、物力、财力和时间等经营成本。robots协议在某种意义上已经成为维系企业核心竞争力，维系市场有序竞争的一种手段。尽管robots协议客观上可能造成对某个或某些经营者的“歧视”，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。
3.对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。北京知识产权法院（2017）京73民初2020号民事判决书
北京高级人民法院（2021）京民终281号民事判决书上诉人(原审被告)：北京微梦创科网络技术有限公司
字节跳动公司认为，微梦创科公司出于恶意限制竞争的不正当目的，在m．weibo．cn网站的robots．txt文件中，仅针对“今日头条”进行限制，阻止“今日头条”的网络机器人(ToutiaoSpider)抓取上述网站中对公众和其他所有网络机器人完全公开并可以自由访问的网站内容，具有限制和妨碍自由竞争的极大主观恶意。一方面导致字节跳动公司无法及时、完整地获取微梦创科公司网站的内容，降低字节跳动公司平台的良好用户体验，严重影响用户对字节跳动公司服务的市场评价，客观上增强微梦创科公司在相应竞争领域的市场优势地位。另一方面，导致字节跳动公司在相应竞争领域处于明显不利的地位，严重损害字节跳动公司合法权益。微梦创科公司的上述行为严重违反了互联网行业公认的商业道德，违反了公平竞争、诚实信用的基本原则，不仅损害了字节跳动公司的合法权益，也严重损害了用户利益，扰乱了互联网行业正常的竞争秩序，构成不正当竞争，应当承担停止侵权、消除影响和赔偿损失等法律责任。
一审法院认为，微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司的网络机器人抓取对公众和其他所有网络机器人完全公开的相关网页内容，导致字节跳动公司的网络机器人无法正常抓取相关网络信息，直接降低了字节跳动公司“今日头条”平台的用户体验，影响了网络用户对字节跳动公司相关网络平台的市场评价，也一定程度上降低了字节跳动公司“今日头条”网络平台的竞争优势，损害了字节跳动公司的合法权益。同时，微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司“今日头条”网络机器人抓取相关网页信息，影响了网络用户对其所选择的“今日头条”客户端的正常使用，且在一定程度上迫使存在相关信息检索需求的网络用户只能通过其他平台获取相关信息，增加了网络用户的选择成本，损害了网络用户的选择权，从而损害了相关网络用户的合法权益。此外，robots协议的设立初衷在于引导网络机器人更有效地抓取对网络用户有用的信息，从而促进信息共享。微梦创科公司作为互联网信息服务经营者，应当坚持诚实信用原则，公平对待其他经营者，但其以在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司抓取对其他经营者公开的相关网络信息，显然违背了公平竞争原则。微梦创科公司的被诉行为造成相关网络用户无法完整地获取相关信息，人为设置了网络信息正常流动的障碍，这与互联网行业普遍遵循的开放、平等、公平、促进信息流动的原则相悖，与网络行业互联互通的基本价值不符，损害了网络市场的竞争秩序。《互联网搜索引擎服务自律公约》是在中国互联网协会组织下，由部分会员提出草案，并得到包括微梦创科公司在内的互联网企业广泛签署的行业自律公约，反映了互联网行业的行业惯例和商业规则，因此，可以将该公约作为认定互联网行业公认商业道德的参考。该公约第八条规定，互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司抓取对公众和其他所有网络机器人完全公开的相关网页内容，本质上按照经营主体来区分网络信息是否可以被抓取，而并非按照信息内容本身区分是否可被抓取，此种针对性的限制措施显然与行业公认的robots协议公平、开放和促进信息自由流动原则不符，与互联网行业普遍遵从的开放、平等、分享、协作的互联网精神相悖，不利于维护公平参与、理性竞争的互联网市场竞争环境。字节跳动公司侵犯他人著作权、肖像权及不正当竞争行为与本案并无直接因果关系。此外，任何企业的自主经营不能违反公平竞争、诚实信用的基本原则，以牺牲其他经营者的合法权益的“自主”会最终破坏整个市场竞争秩序，不应受到法律保护。因此，即使字节跳动公司存在侵犯他人著作权、肖像权及不正当竞争行为，亦不构成微梦创科公司以限制互联网信息流动方式限制字节跳动公司抓取相关网页内容的合法依据。因此，微梦创科公司的相关抗辩意见不构成其采取被诉行为的正当理由。综上，微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司抓取相关网页内容的被诉行为违反了公平竞争、诚实信用原则和互联网行业公认的商业道德。在无证据证明微梦创科公司因被诉行为所获利润，字节跳动公司也未举证证明其损失的情况下，根据微梦创科公司的主观过错程度、涉案不正当竞争行为持续时间及范围、涉案不正当竞争行为本身造成的实际影响等因素综合酌定赔偿数额。就合理支出，因字节跳动公司没有提交相应的委托代理合同或律师费发票，在实际庭审中亦无律师出庭，故仅对翻译费、公证费共计34343元予以支持。微梦创科公司的不正当竞争行为降低了用户对于字节跳动公司“今日头条”平台的评价，客观上对于其在互联网业内的声誉产生了一定影响，字节跳动公司请求微梦创科公司在“新浪微博”网站首页显著位置连续三十天刊登声明消除影响并未超出合理限度，按照合理性和必要性原则，对于字节跳动公司的该项诉讼请求予以支持。综上，依据1993年反不正当竞争法第一条、第二条第一款、第二款、第二十条，《中华人民共和国立法法》第九十三条之规定判决：一、自判决生效之日起，微梦创科公司立即停止涉案不正当竞争行为；二、微梦创科公司在判决生效之日起三日内，在“新浪微博”网站(包括weibo.com、weibo.cn、m.weibo.cn网站)首页显著位置连续三十天刊登声明，消除影响(声明内容需经法院审核，逾期不履行，法院将依据字节跳动公司的请求，在相关媒体上公布判决书主要内容，费用由微梦创科公司负担)；三、微梦创科公司赔偿字节跳动公司经济损失30万元及制止侵权的合理支出34343元。二审法院认为：《中华人民共和国立法法》第九十三条规定，法律、行政法规、地方性法规、自治条例和单行条例、规章不溯及既往，但为了更好地保护公民、法人和其他组织的权利和利益而作的特别规定除外。2017年反不正当竞争法于2018年1月1日施行，并已于2019年4月23日修订，自公布之日施行。本案被诉行为发生在2016年4月15日至2019年7月18日期间，跨越1993年反不正当竞争法、2017年反不正当竞争法和2019年反不正当竞争法施行期间。一审法院受理本案的时间在1993年反不正当竞争法施行期间，而一审判决作出时2019年反不正当竞争法已经施行。根据上述规定，本案被诉行为持续到2019年反不正当竞争法施行期间，故应适用2019年反不正当竞争法。一审判决适用1993年反不正当竞争法有误，二审法院对此予以纠正。鉴于字节跳动公司系依据反不正当竞争法一般条款提出的诉讼主张，故二审法院将根据2019年反不正当竞争法中的一般条款，即2019年反不正当竞争法第二条对本案进行审理。2019年反不正当竞争法第二条规定，经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。根据上述规定认定不正当竞争行为时，不仅要考虑其他经营者的合法权益，还要同时考虑市场竞争秩序和消费者的合法权益。一审判决将《互联网搜索引擎服务自律公约》作为本案中商业道德的参考，并直接引述了该公约第八条的规定，认定被诉行为与互联网行业普遍遵从的开放、平等、分享、协作的互联网精神相悖，进而认定被诉行为具有不正当性。因此，本案首先要分析《互联网搜索引擎服务自律公约》能否作为本案中商业道德的参考。搜索引擎应用场景是将含有符合网络用户希望搜索信息的网页挑出，按照匹配度的高低，将包含这些网页的地址链接、简介等信息的搜索结果依次列出，供网络用户选择访问。用户选择后访问的是被搜索到的网站，而非在搜索引擎服务提供者自己的网站内实现访问。搜索引擎爬虫的功能在于对网络上的超链接进行遍历式抓取，检索网站的信息编制成索引便于其他用户访问，省却了记住域名、网址的麻烦。就搜索引擎的功能而言，其对于公众利益，以及对于互联网互联、互通、共享、开放的精神密切相关。因此，robots协议最初也是针对搜索引擎提出的。robots协议作为一种技术规范，其作用只在于标示该网站是否准许网络机器人访问、准许哪些网络机器人访问，但网络机器人识别该robots协议后，无论是否遵守，robots协议都不会起到强制禁止访问的结果。robots协议已经成为国内外搜索引擎行业普遍遵守的技术规范。网络服务商或网站所有者既可以在robots协议中列明准许或禁止网络机器人抓取的网站内容，也可以列明准许或不准许抓取其网站内容的网络机器人，即通常所说的“白名单”“黑名单”制度。随着搜索技术和网络应用的发展，网络机器人的适用场景不断扩展，从通用搜索引擎领域，扩展到非搜索引擎的其他各种场景。搜索引擎是给被搜网站带来流量和利益，而非搜索引擎的网络机器人往往不是给被搜网站带来流量，反而可能带走被搜网站的流量。由于非搜索引擎场景应用的网络机器人，已经不像搜索引擎那样当然地对公众利益，以及互联网的互联、互通、共享、开放的精神产生影响，因此在对这些网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。也就是说，《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。本案在案证据显示，微梦创科公司限制的“ToutiaoSpider”网络机器人的应用场景并非搜索引擎服务，而是“微头条”等非搜索引擎应用场景。因此，一审判决将《互联网搜索引擎服务自律公约》作为本案中商业道德的参考显有不妥。在判断robots协议对于网络机器人限制行为的正当性时，其核心在于保护网站经营者的自主经营权与维护其他经营者利益、维护消费者利益、维护竞争秩序之间的平衡。因此，对本案被诉行为是否具有正当性，应从以下方面进行分析：首先，虽然robots协议的设置初衷，主要在于防止被抓网站的服务器过载影响网站正常运行，以及防止网络机器人抓取一些管理后台的内部信息、临时性文件、cgi脚本等对网络用户没有使用价值的数据，但随着网络机器人应用场景的不断扩展，在非搜索引擎应用场景下，网络机器人不仅仅是抓取检索网站的信息编制成索引便于其他用户访问，而往往抓取其他网站公开的各种数据，甚至是其他网站中用户生成的数据，直接用于自己的商业行为。在数字经济时代，数据日益成为企业重要的生产要素，数据资源的获取与利用是极为重要的一种资源配置。网站经营者对数据的收集、整理等基本都付出了相应的人力、物力、财力和时间等经营成本。robots协议在某种意义上已经成为维系企业核心竞争力，维系市场有序竞争的一种手段。尽管robots协议客观上可能造成对某个或某些经营者的“歧视”，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。在案证据能够证明，除微梦创科公司外，其他网站的robots协议也存在以主体进行抓取限制的情形，特别是字节跳动公司在其网站上也明示了其他网站可以通过robots协议禁止其抓取的内容。由此可知，包括字节跳动公司在内的互联网企业对于网站经营者通过robots协议来限制其他网络机器人的抓取行为都是认可和遵守的。因此，通过robots协议对网络机器人进行限制并不当然违背互联网行业的商业道德。其次，互联网行业中信息的自由流动应控制在合理范围内，即符合互联网行业的商业道德，否则将不利于鼓励商业投入与创新。对搜索引擎场景下的robots协议进行较为严格的限制，主要是基于搜索引擎的作用就是便于公众搜索，降低搜索成本，符合互联网互联、互通、共享、开放的精神。互联网领域中消费者福利的增加，依赖于数据在更大范围和更深层次的共享利用，而非通过数据爬取对数据进行明显替代性或同质化地利用。在非搜索引擎的应用场景中，特别是在类似本案字节跳动公司的“toutiaospider”网络机器人将抓取后的内容直接“移植”到“微头条”，实现对微博内容实质性替代的应用场景，虽然在一定程度上扩大了消费者对于用户发布内容的获取途径，但并没有实质上增加消费者的消费体验。即使微梦创科公司不允许字节跳动公司的“toutiaospider”网络机器人抓取，消费者通过微梦创科公司的网站也可以获取用户发布的内容，或者通过搜索引擎搜索到用户发布到微博上的内容。因此，被诉行为并未对消费者的利益造成损害。再次，从字节跳动公司自己网站上载明的robots协议内容来看，其明示其他网站经营者可以根据robots协议拒绝其抓取。由此可见，字节跳动公司对于其他网站经营者通过robots协议拒绝其网络机器人抓取是认可的，对结果也是有明确预期的。因此，被诉行为与字节跳动公司的经营意愿并不违背。事实上，字节跳动公司也并没有因为微梦创科公司设置了robots协议的限制而未能抓取到微博内容，而是在抓取后根据是否获得用户的授权来决定删除还是保留。该事实进一步证明，字节跳动公司并没有因为被诉行为受到实际损害。此外，由于微梦创科公司仅对字节跳动公司的“toutiaospider”网络机器人设置了robots协议限制，即其他网络机器人仍然可对微博内容进行抓取，故不会导致出现所谓的信息孤岛现象，进而违背互联网互联、互通、共享、开放的精神，损害到公共利益或竞争秩序。至于微梦创科公司将robots协议的链接放置在微博用户协议中的行为，虽然该行为使该协议内容处于被消费者阅读的可能性中，但作为一般消费者通常不会仔细阅读用户协议，即使点开其中的链接去读取robots协议，作为一般消费者而言，大多也不会理解robots协议中语句的具体内涵。因此，该行为亦不足以给字节跳动公司带来损害。最后，反不正当竞争法不是权益保护法，其对互联网行业的竞争行为进行规制时不应过多考虑静态利益和商业成果，而应立足于竞争手段的正当性和竞争机制的健全性，更应考虑市场竞争的根本目标。对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。根据前述分析，本案被诉行为应被认定为行使企业自主经营权的行为，但这并不意味着对于互联网企业所设置的任何robots协议均能够基于企业自主经营权而当然地认定其具有正当性。综上，被诉行为应属于微梦创科公司企业自主经营权范畴内的正当行为，并不构成不正当竞争行为。一审判决有关被诉行为违反反不正当竞争法一般条款的认定有误，对此予以纠正。在此还要特别指出，2019年反不正当竞争法在第十二条对互联网不正当竞争行为进行了规制，但互联网行业的不正当竞争行为纷繁多样，法律不可能穷尽所有的不正当手段。因此，对于上述法律条款中未明确规定的互联网行业其他非类型化不正当竞争行为，可以依据反不正当竞争法的一般条款予以认定，但对于能够归入上述法律条款所规定的不正当竞争行为，仍应优先适用上述法律条款，且在适用上述法律条款对不正当竞争行为作出规则后，不宜再适用一般条款。综上所述，微梦创科公司的上诉请求成立，予以支持。依照《中华人民共和国民事诉讼法》第一百七十条第一款第二项之规定，判决如下：一、撤销北京知识产权法院(2017)京73民初2020号民事判决；
1、本报告基于研究价值和参考意义而选择编辑了部分案例，但这并不代表本报告赞同法院的观点及其判决结果；2、本报告在对判决书或新闻资讯进行选摘编辑时，有可能存在错讹或误解，所有文责由编辑部承担。