被捕、查封、逃亡…大数据行业大剿匪！“你家老板被抓了吗？”
“出国的出国，被抓的被抓”，这已成为大数据领域目前的常态。
擅长清洗数据的大数据行业，现在轮到自己被“清洗”了。这三个月以来，大数据行业面临了最严厉的整顿，多家数据公司被调查，数据行业动荡不断；行业持续收紧，七成数据接口被切断......
“你家老板被抓了吗？”几乎成为大数据行业从业人员的日常问候语。被捕，裁员，查封......这些敏感的词语在动荡的数据行业中已经不稀奇。行业面临严厉整顿的同时，大量数据公司的爬虫团队被整体解散裁员，数万员工流出，行业人员流失率在50%以上。
早两年，大数据行业因其高深、精准、实用等特质，处处显示着它是蓝海，是未来。不过真的应用起来，却一点都不是和平和爱。当它碰到野蛮生长的互金行业，甚至变得充满阴暗、罪恶甚至杀戮。这一轮被整顿的主要是数据公司的爬虫业务，而被整顿的导火索，正出在现金贷、P2P等互联网金融行业身上。
数据行业跟互金行业深度捆绑，大数据中的爬虫业务乱象，正是非法现金贷这条“毒蛇的七寸”。随着互金行业这两年的合规、出清和整顿，数据行业也面临着大面积的“清洗、剿匪”。
- 1 -
前所未有的严厉整顿
大数据行业在今年秋季遭遇了一次前所未有的严厉整顿。也许，这是数据行业面临的最大“生死劫”：有人死，也有人生……
9月，摩羯科技、新颜科技、公信宝等公司相关人员相继被调查；随后，行业巨头同盾科技被传出解散整个爬虫部门；头部贷款超市平台信用管家被警方突击调查。
10月，51信用卡等多家涉及大数据业务的服务商被查；
11月，拉卡拉控股的考拉征信等7家科技公司被查；
......
无论是行业巨头还是小公司，都在这个秋天清晰地感受到了萧瑟。瑟瑟发抖的瑟。
继今年初315晚会爆出一些大数据公司窥探、交易用户数据后，这个行业的整顿就没停过。有媒体报道，不少金融机构合作的数据接口，70%都被切断了；剩下的30%也不稳定，一周换三次。
多米诺骨牌仍在继续推倒。整顿还在继续，谁也不知道下一家又会是谁？因此，朋友圈里有人开起大数据公司的玩笑，你家老板被抓了吗？
行业人人自危。一家大数据公司创始人于建瑞在接受媒体采访时说道，最近各家大数据公司的CEO每天都在朋友圈打卡，比运动打卡还勤快，其潜台词则是“我没事，我们公司也还好着呢”。
行业面临洗牌，其实也是一次资源重新配置的机会。有公司在这轮整顿里永远消失，也有一些因此活得更加滋润。
一些公司大量裁员关停爬虫业务的同时，另一些合规的、有国资背景的大数据公司，却门庭若市。有的公司在短短三个月内，“每个月业务翻一番”。
在这轮整顿中，首先停掉的，是各种爬虫产品。
大数据公司获取数据的方式主要依靠第三方机构授权、关联方或场景的数据以及爬虫业务。其中获取成本最低、触及领域最广、所得信息最详细的就是爬虫业务。数据爬取，理论上是有“红线”的，要求遵循一定协议和规则，大数据公司才能实现自动获取网站站点的信息和数据。但现实中，规则往往被忽略或简化。
2016年摩羯科技给玖富定制了一个爬虫软件，据说曾爬过100多家同业的数据，包括用户名、密码等。这家公司还设计了一款支付宝爬虫产品，可以帮公司拿到支付宝用户的真实姓名、手机号、收货地址、近一年的购物信息，甚至详细到每笔交易的金额。
爬虫所得的信息只要能被多次出售，就稳赚不赔。媒体曾报道，在一个二手商品交易平台上，一份简历的收费标准0.25元，一份判决书低至1毛钱，一篇论文不到1块钱。
这些信息会被买来用于精准营销，或是精准诈骗。其实，爬虫取得的数据，最广泛的用途还是用在现金贷行业的催收环节。这也是数据公司爬虫业务首当其冲的原因。
- 2 -
爬虫团队都被解散了
在年初被315曝光后，大数据行业就风声鹤唳。
于建瑞发现第二家爬虫公司被抓后，立即决定“壮士断臂”，他要求“爬虫部门业务暂停，数据库和服务器上所有的爬虫数据全部删除，即便是脱了敏的”。
于建瑞删除数据的第二天，爬虫部门马上“裁员十几人，转岗十几人”。
“第三天，整个爬虫部门从公司完全消失。”花了三天时间，一个数据公司的爬虫业务就被“抹除”了。
目前很多涉及爬虫业务的数据公司都已经暂停或调整服务。而在大量的数据公司裁员中，爬虫部门几乎是全军覆没。大数据风控平台同盾科技是典型案例，9月份其爬虫负责人被查，爬虫部门解散并集体待岗。这些员工被建议不要离开杭州，否则有被抓的风险。
此后，国内大部分数据公司都为自保而解散了爬虫部门。业内人士称，全行业裁掉了近万名爬虫工作人员，行业人员流失率在50%以上。
不仅仅数据行业本身，金融机构也被要求自查是否与爬虫公司有合作。11月6日，中国互联网金融协会向会员机构发布《关于增强个人信息保护意识依法开展业务的通知》，要求会员机构对数据合作方进行排查。公信宝、白骑士、天机数据、木立征信等多家被调查的或者有风险业务的数据公司被直接点名。
10月24日，一张截图在网上流传。据一本财经报道，截图显示，人行要求各地银行排查与第三方数据公司的合作情况，特别提到要求上报合作的第三方数据公司是否涉及爬虫业务。
其实，并非所有的爬虫业务都是非法和违规的，否则也不会有部分数据公司在这轮整顿中活得更滋润。“事实上，在合理的数据应用范围内，解决用户隐私保护问题的技术手段有很多，比如说数据脱敏、权限管控、加密存储等。”中腾信大数据相关负责人表示。
但是，数据爬虫业务中，合规的成本非常高，合作机构要使用合规的爬虫数据，要支付更高的价格。以金融领域为例，全行业合规数据来源基本可以覆盖到75%左右的需求。但通过合规途径获取数据，其成本高了大约60%。
恶意爬虫的公司通过非法途径获取数据并储存，相当于在搬运其他平台的数据资产。通过这种不太光明的手段，数据公司能够以更低的价格向合作方销售数据信息，从而挤占合规企业的份额。从2012年以来，这个行业的价格战一直都在无声地演绎着，而相关部门也没有针对爬虫提出专门的法律限制或者规范。数据市场一直上演着劣币驱逐良币的戏码。
- 3 -
爬虫与互金行业共生共荣
数据行业被整顿，其实是“城门失火殃及池鱼”。
今年初，跟数据爬虫公司一起上了央视315晚会的还有“714高炮”。，
大数据行业的兴起、爆发和衰落，是紧跟在P2P网贷和现金贷行业后面的。P2P和现金贷兴起于2011-2012年，而大数据行业从2013、2014年开始兴起。
当P2P和现金贷在2016年开始迎来合规调整，行业需要大数据行业的进一步介入风控环节，为催收提供方便，以控制逾期率。于是，大数据行业在2017-2018年左右迎来大爆发。
以行业头部平台同盾科技为例，根据此前报道，同盾科技2016年-2018年的营业收入分别为6066万元、2.61亿元、5.42亿元，呈几何级数增长。截至2018年底，同盾科技累计客户数量为2421家，完成了对互金行业90%以上的覆盖。
当互金行业在2019年进入合规备案的后半程，大数据行业也迎来它的行业大整顿。
金融行业也离不开大数据行业，要想保持一定的利润率和控制逾期率，就要通过大数据来实现。一家头部助贷平台的高管表示，前端风控弱、主要依靠贷后催收是原本现金贷平台的一大特点，而数据公司擅长利用大数据搭建风控模型。
因为互金行业有惊人的吸金能力，对大数据公司也有较高的支付能力。也因为这个原因，一直以来，大数据公司的业务过分集中于金融信贷领域。
虽然有关部门并未明示大数据行业整顿与互金行业的关系，但大数据行业里的人都心知肚明：这一轮行业整顿大概率与数据公司为“714”高炮平台、“套路贷”提供数据征信服务，非法获取和倒卖个人数据有关。
“714”高炮是指期限在7天或14天的包含砍头息的超利贷，在今年315晚会被曝光之后，被监管部门重拳整治。而为“714”高炮、“套路贷”提供土壤的数据公司，也不可避免地受到了波及。
一位消费金融平台的市场部人士接受棱镜采访时表示，那些依赖数据公司提供服务的现金贷平台，一下失去了风控能力，这几天陆陆续续在各个渠道下架自己的贷款产品。“（他们的）风控模型还在重新调试，估计短时间不会正常放款。”
而作为一家第三方数据公司的副总裁，李亮（化名）则更能感受到实实在在的影响。在他看来，这次数据行业的震荡，比此前对于现金贷行业的整顿来得更严重，效果也更明显。
“打蛇打七寸!”李亮提到，大数据对于现金贷、“714”高炮、套路贷而言是命门，没有了数据做支撑，他们就无法放贷。
内容参考来源：棱镜深网、一本财经、快刀财经