案例评析｜在非搜索引擎服务行业中通过机器人协议限制数据爬取构成不正当竞争么？
本公众号旨在为公益目的 传播知识产权法律知识
讨论知识产权法律案例
导语｜
反不正当竞争法不是权益保护法，其对互联网行业的竞争行为进行规制时不应过多考虑静态利益和商业成果，而应立足于竞争手段的正当性和竞争机制的健全性，更应考虑市场竞争的根本目标。《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。通过robots协议对网络机器人进行限制并不当然违背互联网行业的商业道德。对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。
供稿：赵云虎、杨宇宙
编辑：赵云虎、杨宇宙
裁判文书请戳
(2021)京民终281号基本案情：
上诉人（原审被告）：北京微梦创科网络技术有限公司。（“微梦公司”）
被上诉人（原审原告）：北京字节跳动科技有限公司。（“字节跳动公司”）
字节跳动公司成立于2012年3月9日，主要从事互联网信息服务、技术开发、技术推广等，其经营的主要产品为“头条网”“今日头条”等。
微梦创科公司成立于2010年8月9日，主要从事互联网信息服务、技术开发、技术咨询等，是微博平台weibo.com、weibo.cn的主办单位。
《今日头条》支持蜘蛛协议“ToutiaoSpider”。“ToutiaoSpider”系字节跳动公司所有和经营的“今日头条”产品的网络机器人。
微梦创科公司在m.weibo.com 网站的robots.txt。文件中声明如下内容（简称涉案声明）：
User-agent: ToutiaoSpider
Disallow:/
User-agent:*
Disallow:*gsid=*
Archive抓取留存的m.weibo.com 网站快照页面显示，2016年4月15日，微梦创科公司在m.weibo.com 网站的robots.txt.文件中显示涉案声明。2018年5月14日，m.weibo.com 网站的robots.txt.文件仍显示涉案声明，微梦创科公司对该事实表示认可。
微梦创科公司认可在2016年设置robots.txt文件声明时只是针对字节跳动公司。此外，字节跳动公司、微梦创科公司均认可微梦创科公司的涉案单方宣示行为只是文字上的记载，没有其他技术上的限制措施，且所有网络用户都可以看到涉案声明。
字节跳动公司认可其在微梦创科公司设置上述限制声明后，仍然使用“ToutiaoSpider”网络机器人抓取了新浪微博的内容，并根据是否获得新浪微博博主的授权对抓取后的内容是否用于“微头条”产品进行处理，对于获得授权的内容仍然用于“微头条”产品。
Archive抓取留存的m.weibo.com 网站快照页面显示，2019年7月18日，微梦创科公司修改了robots.txt.文件声明，修改后的声明中未包含涉及网络机器人Toutiao Spider的相关内容。
字节跳动公司向一审法院起诉请求：一、判令微梦创科公司立即停止通过robots.txt对字节跳动公司的不正当竞争行为；二、判令微梦创科公司在判决生效之日起三日内，在“新浪微博”网站（包括weibo.com、weibo.cn、m.weibo.cn网站）首页显著位置连续三十天刊登声明，消除影响；三、判令微梦创科公司赔偿字节跳动公司经济损失1亿元及制止侵权的合理支出50万元。
一审法院认定微梦创科公司在m.weibo.com 网站robots协议中以文字宣示方式单方限制字节跳动公司抓取相关网页内容的被诉行为违反了公平竞争、诚实信用原则和互联网行业公认的商业道德，依据1993年反不正当竞争法第一条、第二条第一款、第二款、第二十条，《中华人民共和国立法法》第九十三条之规定判决：一、自判决生效之日起，微梦创科公司立即停止涉案不正当竞争行为；二、微梦创科公司在判决生效之日起三日内，在“新浪微博”网站（包括weibo.com、weibo.cn、m.weibo.cn网站）首页显著位置连续三十天刊登声明，消除影响（声明内容需经法院审核，逾期不履行，法院将依据字节跳动公司的请求，在相关媒体上公布判决书主要内容，费用由微梦创科公司负担）；三、微梦创科公司赔偿字节跳动公司经济损失30万元及制止侵权的合理支出34343元。
微梦创科公司上诉请求：撤销一审判决，依法驳回字节跳动公司的全部诉讼请求。
法院意见
本院认为：《中华人民共和国立法法》第九十三条规定，法律、行政法规、地方性法规、自治条例和单行条例、规章不溯及既往，但为了更好地保护公民、法人和其他组织的权利和利益而作的特别规定除外。
本案被诉行为发生在2016年4月15日至2019年7月18日期间，跨越1993年反不正当竞争法、2017年反不正当竞争法和2019年反不正当竞争法施行期间。本案被诉行为持续到2019年反不正当竞争法施行期间，故应适用2019年反不正当竞争法。鉴于字节跳动公司系依据反不正当竞争法一般条款提出的诉讼主张，故本院将根据2019年反不正当竞争法中的一般条款，即2019年反不正当竞争法第二条对本案进行审理。
2019年反不正当竞争法第二条规定，经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。
根据上述规定认定不正当竞争行为时，不仅要考虑其他经营者的合法权益，还要同时考虑市场竞争秩序和消费者的合法权益。
一审判决将《互联网搜索引擎服务自律公约》作为本案中商业道德的参考，并直接引述了该公约第八条的规定，认定被诉行为与互联网行业普遍遵从的开放、平等、分享、协作的互联网精神相悖，进而认定被诉行为具有不正当性。因此，本案首先要分析《互联网搜索引擎服务自律公约》能否作为本案中商业道德的参考。
就搜索引擎的功能而言，其对于公众利益，以及对于互联网互联、互通、共享、开放的精神密切相关。因此，robots协议最初也是针对搜索引擎提出的。
robots协议作为一种技术规范，其作用只在于标示该网站是否准许网络机器人访问、准许哪些网络机器人访问，但网络机器人识别该robots协议后，无论是否遵守，robots协议都不会起到强制禁止访问的结果。robots协议已经成为国内外搜索引擎行业普遍遵守的技术规范。
由于非搜索引擎场景应用的网络机器人，已经不像搜索引擎那样当然地对公众利益，以及互联网的互联、互通、共享、开放的精神产生影响，因此在对这些网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。也就是说，《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。
本案在案证据显示，微梦创科公司限制的“ToutiaoSpider”网络机器人的应用场景并非搜索引擎服务，而是“微头条”等非搜索引擎应用场景。因此，一审判决将《互联网搜索引擎服务自律公约》作为本案中商业道德的参考显有不妥。
在判断robots协议对于网络机器人限制行为的正当性时，其核心在于保护网站经营者的自主经营权与维护其他经营者利益、维护消费者利益、维护竞争秩序之间的平衡。因此，对本案被诉行为是否具有正当性，应从以下方面进行分析：
首先，尽管robots协议客观上可能造成对某个或某些经营者的“歧视”，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。包括字节跳动公司在内的互联网企业对于网站经营者通过robots协议来限制其他网络机器人的抓取行为都是认可和遵守的。因此，通过robots协议对网络机器人进行限制并不当然违背互联网行业的商业道德。
其次，在非搜索引擎的应用场景中，特别是在类似本案字节跳动公司的“toutiaospider”网络机器人将抓取后的内容直接“移植”到“微头条”，实现对微博内容实质性替代的应用场景，虽然在一定程度上扩大了消费者对于用户发布内容的获取途径，但并没有实质上增加消费者的消费体验。即使微梦创科公司不允许字节跳动公司的“toutiaospider”网络机器人抓取，消费者通过微梦创科公司的网站也可以获取用户发布的内容，或者通过搜索引擎搜索到用户发布到微博上的内容。因此，被诉行为并未对消费者的利益造成损害。
再次，字节跳动公司对于其他网站经营者通过robots协议拒绝其网络机器人抓取是认可的，对结果也是有明确预期的。因此，被诉行为与字节跳动公司的经营意愿并不违背。事实上，字节跳动公司也并没有因为微梦创科公司设置了robots协议的限制而未能抓取到微博内容，而是在抓取后根据是否获得用户的授权来决定删除还是保留。该事实进一步证明，字节跳动公司并没有因为被诉行为受到实际损害。
此外，由于微梦创科公司仅对字节跳动公司的“toutiaospider”网络机器人设置了robots协议限制，即其他网络机器人仍然可对微博内容进行抓取，故不会导致出现所谓的信息孤岛现象，进而违背互联网互联、互通、共享、开放的精神，损害到公共利益或竞争秩序。
至于微梦创科公司将robots协议的链接放置在微博用户协议中的行为，虽然该行为使该协议内容处于被消费者阅读的可能性中，但作为一般消费者通常不会仔细阅读用户协议，即使点开其中的链接去读取robots协议，作为一般消费者而言，大多也不会理解robots协议中语句的具体内涵。因此，该行为亦不足以给字节跳动公司带来损害。
最后，反不正当竞争法不是权益保护法，其对互联网行业的竞争行为进行规制时不应过多考虑静态利益和商业成果，而应立足于竞争手段的正当性和竞争机制的健全性，更应考虑市场竞争的根本目标。对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。根据前述分析，本案被诉行为应被认定为行使企业自主经营权的行为，但这并不意味着对于互联网企业所设置的任何robots协议均能够基于企业自主经营权而当然地认定其具有正当性。
综上，被诉行为应属于微梦创科公司企业自主经营权范畴内的正当行为，并不构成不正当竞争行为。
本院在此还要特别指出，2019年反不正当竞争法在第十二条对互联网不正当竞争行为进行了规制，但互联网行业的不正当竞争行为纷繁多样，法律不可能穷尽所有的不正当手段。因此，对于上述法律条款中未明确规定的互联网行业其他非类型化不正当竞争行为，可以依据反不正当竞争法的一般条款予以认定，但对于能够归入上述法律条款所规定的不正当竞争行为，仍应优先适用上述法律条款，且在适用上述法律条款对不正当竞争行为作出规则后，不宜再适用一般条款。
综上所述，微梦创科公司的上诉请求成立，予以支持，撤销一审判决，驳回北京字节跳动科技有限公司的诉讼请求。
“
往期精彩