研析 | “网络爬虫”—互联网世界的正邪刺客
“网络爬虫”到底是什么？
网络爬虫（web crawler）又称“网络蜘蛛”或“网络机器人”，一般是指具备自动、持续地从服务器请求、获取数据功能的计算机程序。世界上第一个网络爬虫“互联网漫游者”(World wide Web Wanderer)是由麻省理工学院(MIT)的学生马休·格雷在1993年创建，他最初的动机是发现新的网站，而“漫游者”就能够系统地遍历网络和收集网站。
时至今日，网络爬虫技术已被应用于线上经营的若干场景，各类主体往往基于不同商业目的，通过网络爬虫技术从互联网世界（包括网站、互联网平台、软件等）获取特定数据，这也就是我们经常所提到的“数据爬取”行为。著名调查机构Aberdeen Group曾经做过一次调查，整个互联网中网络爬虫产生的流量占比竟高达37.2%！也就是说，每100个互联网用户中仅仅只有63个真实人类用户，而据我们了解，在某些特定的网络平台，爬虫所占据的比例甚至更高。
“网络爬虫”为何亦正亦邪？
01“网络爬虫”的善意初衷
网络爬虫算得上是人工智能或机器算法的初代原型，其最为核心的功能即为实现高效自动化网络信息检索与排列，从生产效率上看，其将低效率的人工检索排版转化为了高效率的自动化处理，无疑对整个社会的生产能力提升有着不可替代的巨大价值。从这个角度来说，网络爬虫技术是绝对的正面“角色”，况且技术通常都是客观与中立的。
02“网络爬虫”的基本规范随着网络应用的不断发展，数据逐步成为了各大网络平台间的核心竞争力，于是就需要在自身平台内设置一个大家都能够认可的数据爬取规则，以此来规范数据爬取行为，即我们常提及的“Robots协议”。Robots协议的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），平台通过Robots 协议告诉爬虫机器人哪些页面或数据可以抓取，哪些页面或数据不能抓取。Robots协议是互联网搜索市场企业必须遵守的行为准则，虽然其名称中含有“协议”二字，但它并非真正法律意义上的协议或合同，实际性质属于网络平台的单方告知且无须征得数据爬取方的同意。
03“网络爬虫”的邪恶发展在互联网经济飞速发展的过程中，网络爬虫常常被各类“心术不正”的主体充当成违法甚至犯罪的最佳工具，网络爬虫越来越不守互联网“基本规矩”，不顾robots协议肆意爬取平台数据，于是各方势力正式展开博弈，甚至对簿公堂。在技术层面，各个网络平台不断运用各类技术措施进行反爬处理，而爬虫也同时采取各种技术手段绕过平台的技术封锁获取数据。最终，数据的攻防双方进入常态化持久战，而网络爬虫似乎也在此时逐渐成为了吃瓜群众眼中的“过街老鼠”，日趋邪恶化。
“网络爬虫”有何法律禁区？
事实上，关于通过网络爬虫获取数据的合规标准是随着网络应用场景的发展而不断变化的，通常情况下企业对于数据关注的重点并不在那些完全没有合规风险的数据（比如经平台自愿合法公开并同意爬取，且不涉及个人信息等特殊保护的数据），而是往往着眼于部分可能产生一定争议的“价值”数据。当前司法案例中，对于前述后一类型数据爬取行为是否当然构成违法存在不太一致的判断标准（基于社会价值与个体价值平衡等原因），因此我们在本文中不会给予大家绝对的“合规标准”，而是以网络爬虫的“法律禁区”作为切入点，尽力梳理一个行为“负面清单”告诉大家哪些行为存在违法甚至犯罪风险，至于在“负面清单”之外，就交由参与线上经营的主体去创造新的“商业模式”，不断探寻合规边界。
ONE禁区一刑事犯罪风险行为构成计算机信息系统相关罪名
（1）非法侵入计算机信息系统罪
①代表案例：全国首例短视频平台领域“网络爬虫”案件
②裁判要旨：该案中的“爬虫”软件本质上是“专门用于侵入、非法控制计算机信息系统的程序、工具”，属于网络爬虫技术过界使用、非法使用。被告人提供的软件直接进入服务器后台，获取数据权限，可以突破短视频隐私设置看到普通用户看不到的用户隐私的数据，这种行为符合“侵入计算信息系统”的成立条件。
★要点提示 在使用网络爬虫过程中，切勿直接进入对方服务器后台，非法获取数据权限，更不得获取用户隐私数据。
（2）非法获取计算机信息系统数据罪
①代表案例：全国首起“爬虫”获取数据案
②裁判要旨：法院认定被告人违反国家规定，采用了规避或突破被害单位反“爬虫”安防措施的技术手段，属于“未经授权”获取非公开信息，故构成非法获取计算机信息系统数据罪。可见，此类利用“爬虫”软件绕过技术障碍获取非公开数据的行为，因其侵犯数据的保密性需求可以认定为非法获取计算机信息系统数据罪。
★要点提示 在使用网络爬虫过程中，切勿使用破解手段绕开被爬取平台技术障碍获取非公开的数据。
（3）破坏计算机信息系统罪
①代表案例：王某、黄某破坏全运会计算机信息系统案
②裁判要旨：王某为获得全运会系统的安全维护业务，指使黄某对系统漏洞进行攻击并将其编写的“爬虫”程序植入全运会组委会接待服务管理系统，造成该系统内大量信息被删除，给全运会组委会的接待服务工作造成了严重影响。法院认为，上诉人王某为牟取个人利益，伙同原审被告人黄某侵入计算机信息系统，造成计算机信息系统中存储的数据被删除，且后果严重，其行为均已构成破坏计算机信息系统罪。
★要点提示 在使用网络爬虫过程中，切勿采取技术手段对被爬取平台进行系统破坏（包括删减修改数据、造成系统瘫痪等）。
行为构成知识产权相关罪名
（1）侵犯著作权罪
①代表案例：马国动、马会龙、刘建华等侵犯著作权罪案
②裁判要旨：法院经审理认为，马国动、马会龙、刘建华等人以营利为目的，未经著作权人许可，单独或者结伙通过信息网络向公众传播他人文字作品，其行为均构成侵犯著作权罪。
★要点提示 在使用网络爬虫过程中，切勿未经许可爬取他人拥有著作权的内容或数据。
（2）侵犯商业秘密罪
①代表案例：林立、潘磊等侵犯商业秘密罪案
②裁判要旨：法院认为，索福瑞公司的收视率调查样本户信息是不为公众所知悉，能为权利人带来经济利益，具有实用性并经权利人采取保密措施的经营信息，属于商业秘密。被告人林立、潘磊以不正当手段获取索福瑞公司的收视率调查样本户信息后，通过人为干扰样本户的正常收视提高收视率，非法获取人民币6083550元，给商业秘密权利人索福瑞公司造成特别严重后果，构成侵犯商业秘密罪。
★要点提示 在使用网络爬虫过程中，切勿非法获取经权利人采取保密措施的经营信息，否则可能会被认定为侵犯商业秘密。
行为构成侵犯公民个人信息罪
①代表案例：魔蝎数据侵犯公民个人信息罪案
②裁判要旨：在该案中，魔蝎公司主要与小贷公司合作，利用软件嵌入及网络爬虫的方式，爬取贷款用户的通话记录、社保记录、公积金信息等各类个人数据，并将数据以每条0.1元至0.3元的金额出售，最终被杭州市西湖区人民法院认定构成侵犯公民个人信息罪。
★要点提示 在使用网络爬虫过程中，切勿非法获取涉及个人信息的数据，否则极易被认定为侵犯个人信息的行为。
构成侵犯著作权与商业秘密的行为
①代表案例：中国大法规数据库案（以著作权侵权为例）
②裁判要旨：法院认为，原告《数据库》所汇编的内容为法律、法规和其他规范性文件等，如果原告对这些内容进行了独创性的选择或者编排，那么经过选择或者编排后形成的作品作为一个整体可以作为汇编作品获得著作权法的保护。
★要点提示 在使用网络爬虫过程中，除需要注意较为常见的原创文章、歌曲、电影、图片外，还应特别关注“汇编作品”，尽管该类作品表面上看内容可能并不属于权利人原创，但由于权利人对其内容的选择或者编排体现了独创性，因此仍然会受到著作权法的保护。
构成不正当竞争的行为
①代表案例：大众点评诉百度地图不正当竞争案、智联招聘诉上海逸橙不正当竞争案
②裁判要旨：
第一，大众点评与百度地图案：法院综合考虑了行为是否具有积极效果、积极效果与对原告造成损害的衡量、行为对市场秩序和消费者利益的影响等因素，认为百度公司的行为虽在一定程度上丰富了消费者的选择，但大量全文使用信息的行为已经超出必要的限度，严重损害了汉涛公司的利益，并破坏了公平竞争的市场秩序，其行为构成不正当竞争。
第二，智联招聘与上海逸橙案：法院在本案中评议了《反不正当竞争法》（以下称为反法）第二条规定的适用，应当有严格的限制条件，只有相关行为难以由反法具体行为规制条款和其他法律规定保护，又存在严重违反诚实信用原则、公认的商业道德的情况下，才适用该条款，对反法在此类案件中的适用体现谨慎态度。最终，法院驳回了原告全部诉讼请求。
★要点提示 从前述案例可以看到，实践中类似的两个数据爬取行为（均存在不劳而获的嫌疑）最终仍然可能会被法院作出截然不同的司法认定，综合当前法院所给出的判断，我们认为是否构成不正当竞争应综合分析数据类型、对数据持有方的损害程度、获取和使用方式是否违背商业道德以及个人信息保护等因素，以此最终认定竞争秩序是否受到损害。
在行政处罚领域，较为有代表性的案例即杭州市市场监督管理局对两家提供“一键搬家”服务的网络科技公司作出的行政处罚，最终认定其将“淘宝”、“天猫”平台内销售商品信息“一键搬家”至“拼多多”的行为构成了不正当竞争。
★要点提示 实践中，行政机关对于网络爬虫获取数据构成侵犯个人信息行为、不正当竞争行为的认定尺度较人民法院更为宽松，因此在行政监管层面，实际上对企业的合规要求更高，挑战也更为巨大。
精彩回顾