黑产：全球撞库追踪
最近，央视曝光了一起离奇的电信诈骗案件。受害者既没有接到不明电话或短信，手机也没有中毒，账户里的钱莫名其妙地就被人全部盗刷。
随着调查的深入，民警发现这是违法分子利用用户在其它网站的泄漏密码使用“撞库”手段扫描用户网银的登录密码，再用非常规手段对用户网银绑定手机号修改所造成的案件。
中国人看事物，都习惯分个阴阳。往往明面上有多么繁荣，暗地里就有多么猖獗。记得年初看到一份报告《Bot Traffic Report 2016》，报告称2016年机器人流量占全网流量的51.8%，超过人类流量，而其中恶意机器人流量占据了全网流量的28.9%。
如何从庞大的恶意流量中捕获期望的数据，这件事一直深深地吸引着我们，团队为此进行着长期的研究，并在全网搭建了许多数据探针，捕获了大量第一手数据，让我们有机会窥见这个黑暗领域的一隅，从而有了黑产大数据这个系列的报告，今天的主题是：全球撞库追踪。
一、什么是撞库攻击
简单来说，使用他人在A网站的账号密码，去B网站尝试登陆，就是撞库攻击。
在早些年，盗取他人账号主要靠木马，密码字典则靠软件生成，而随着近几年频繁出现网站数据库泄漏事件，撞库攻击逐渐成为主流的盗号方式。撞库攻击也成为账号类攻击的重要一环，下图是整个账号类攻击链条：
词汇解释：
拖库：黑客从有价值的网站盗取用户资料数据。
洗库：黑客将用户账户的财产或虚拟财产或账户信息本身变现。
社工库：黑客将获取的各种数据库关联起来，对用户进行全方位画像。
定向攻击：黑客根据用户画像，对特定人或人群进行针对性的犯罪活动，比如诈骗。
二、从哪来 & 到哪去
前面回答了三大哲学问题之一「X是什么」，再来看另外两大问题：
从哪里来
到哪里去
1. 撞库源数据来源
黑客要进行撞库攻击，首先需要足够的原始账号数据，我们对网络上捕获到的撞库攻击进行分析，发现原始数据来源主要有以下几点：
1）信封号产业链
信封号，就是被盗的QQ号。信封号产业链，就是QQ号盗取、销赃、并利用获利的产业链。每天互联网黑市上会有成百上千万的被盗QQ号流入该产业链，原本QQ账号密码只在腾讯内部有价值，但由于QQ邮箱的大规模使用，很多人在网站注册用户时直接使用QQ号对应的QQ邮箱和密码，导致被盗QQ号被大量直接用来进行网站撞库。
2）网站泄漏数据库
网站泄漏数据库的标志性事件是2011年 CSDN 600万用户数据泄漏，引领了当年一波数据泄漏高峰，数十个网站的用户数据被公开，大量原本只在地下流通的泄漏数据被抛到台面上，给平时并不关注此道的黑客们提供了足够的数据源切入这个方向，也因此点燃了撞库攻击的热潮。
类似事件还有2015年某邮箱数亿账号泄漏，都给黑客提供了重要的弹药资源。更何况被爆出来的数据泄漏，其实也仅仅是冰山一角。
3）地下黑市流通
数据窃取与交易这个领域几乎是地下产业链隐藏最深的部分，有不少黑客通过数据交易来构建庞大的社工库。黑客之间的私下交易我们无法得知，到底有多少网站数据已经被窃取也没法客观评估，但通过某些半公开的渠道，亦可管中窥豹。下面是暗网某地下数据交易市场的截图：
2. 撞库源数据分类
从近期的撞库数据来看，email占据了大约1/4，手机号占5.8%。
3. 国家被攻击数据
我们从近期全球数十亿次撞库攻击行为，聚合分析后，绘制了以下全球撞库攻击数据图：
1）攻击流量去向
可以看出，中国和美国占据了撞库类攻击的绝大多数份额。
2）各国被攻击公司占比
其中有超过一半的被攻击公司来自中国。
3）攻击来源分布
同时，中国也是最大的攻击来源国，其次是俄罗斯黑客明显占据较大比例，包括俄罗斯、乌克兰、白俄罗斯等前苏联国家。
4. 中美攻击数据的差异
在分析很多问题时，中国的数据相对海外都会呈现明显的差异。于是我们特地把中美两个互联网TOP 2国家的情况单独来做比较。
1）被攻击公司类型
中国黑客明显以游戏公司目标为主，具有极明显的变现倾向，由于国内黑产产业化发达，游戏玩家众多，因此游戏业在被攻击公司中首当其冲。
而美国被攻击行业则呈现较均衡的情况。
2）攻击来源
绝大多数对中国公司的攻击都是来自国内，主要由于海外互联网公司难以进入国内市场，存在市场和语言的双重隔离，导致连黑客攻击都自成一脉，以自产自销为主。
相对来说，美国则是全球黑客青睐之地，战斗民族俄罗斯人再次战力爆表。
5. 主要受影响的行业
1）游戏行业
游戏业在盈利能力上整个互联网可以说是最为可观，那么很自然的，游戏业的地下市场也就吸引了大量的从业人员，并产生了了众多的变现方案和利益链条。游戏业一直是黑客关注的重点，从盗号木马到外挂编写，从打金工作室到私服，从代练到金币装备交易。而能直接获得对方游戏账号的撞库方案自然也成为黑客关注的重中之重，因此，游戏公司在此类攻击中首当其冲也是理所当然了。
2）版权行业
随着书影音类资源的正版化推进，以及带宽的增长，许多相关资源可以在线付费观看，当用户不愿意花时间去寻找资源下载电影，但愿意花低得多的费用买一个高级会员账号来使用时，相关的账号也就变得具有变现价值。
3）社交行业
社交网站的灰色生意主要包括并不限于以下几类：
刷粉、刷赞、刷榜、刷观看
私信广告
色情社交
诈骗
随着社交平台风控策略的不断升级，因此社交平台老账号（注册时间较长）便成了某些圈内炙手可热的资源，比如某著名陌生人社交APP老号市场价值在30元以上。掌握这些资源便意味着被封杀的可能性降低，意味着以上生意的相对持续性。人多的地方就意味着生意，因此，社交账号从来都是黑产重要目标。
三、攻击方法 & 主流防控
通过对海量攻击行为的监控和分析，我们可以看到黑客的攻击方法，同样也能看到厂商防控措施。
1. 黑客如何攻击
1）判断账号是否存在
注册接口快速验证
许多网站在填写注册信息时，会通过AJAX对账户名是否可用做实时验证，如果可用便在页面上打个勾。该接口大量被黑客用来判断某用户名是否有在网站注册。
登陆接口返回信息
部分网站如果账号密码错误会返回敏感信息暴露账号存在情况。例如返回提示「账号不存在」或「密码错误」，便能让黑客判断账号是否存在。此处我们推荐的返回信息是「账号或密码错误」。
找回密码接口
部分网站在找回密码的流程中，填写手机号或邮箱后会有一次带提示信息的再确认，此处也常常被黑客用来判断账户存在与否。
2）业务安全的集中管理问题突出
从我们的统计数据来看，许多网站的主登陆口往往有比较严格的审计措施，会根据登陆IP、频率等触发验证码或封IP。但当公司业务增多，安全管理复杂度大幅增加，不同子站各用一套自己登陆验证，缺乏统一登陆接口的问题便暴露出来。比如某个子产品的登陆功能，或者公司网站挂个论坛，往往会走单独的登陆接口，当这些边缘业务接口没有接入审计功能，便成为黑客攻击的温床。
从我们捕捉到的攻击数据中可以看到很多此情况，黑客被对抗多次后都能再次发现新的毫无风控逻辑的撞库接口，甚至有的登陆接口公司安全部门都不知道其存在。所谓千里之堤，毁于蚁穴。尽管主业务做了大量的防御措施，当边缘业务出现疏忽时，一切措施便形同虚设。
3）攻击效果
众所周知撞库类风险属于常规风险，其核心往往不在于如何完全避免，而更多考虑的是攻防对抗的成本提升。从对大量的撞库攻击监控来分析，我们对黑产撞库有效率和成功率进行统计，我们会发现一个事实，长期的撞库攻击会带来质的伤害，行业内现如今经常会爆出某厂商被拖库的新闻，但大部分最终也就是撞库的数据曝光刺激了媒体的神经：
撞库有效率和成功率
根据对大量黑产撞库数据的统计，能够成功绕过风控策略的攻击占总攻击量的83%，撞库成功率则在0.4%左右浮动。
2. 主流防控
说完黑客的攻击方法，再来看看厂商是如何防控的。
1）主要防护措施
封IP
根据黑IP库或同IP发起的请求次数、密码错误率等决定是否一段时间内禁止该IP的请求。
验证码
最广泛部署的方案，有很多类型，例如字母扭曲、汉字识别、移动滑块、图像选择。普通厂商直接接入验证码，有后台分析能力的则在后台审计出现异常时才触发验证码以提升普通用户体验。
短信验证
建立在手机和手机号成本上的真人认证。
行为聚集
根据用户登录过程行为判断，例如页面停留时间、鼠标焦点、页面访问流程、csrf-token等。
设备聚集
通过客户端尤其是手机客户端，上报许多机器信息，识别是否存在伪造设备情况。
本质上，以上所有方案其实都是为了解决一件事情，就是判断电脑的对面是一个真实的人。
3. 主流防控的绕过
面对暴利，没有人愿意坐以待毙。和厂商一样，黑产人员面对厂商的对抗，不但积极主动，甚至做到了平台化、链条化来进行反对抗。从我们监测到的攻击行为来看，撞库黑客在各个维度都有完善的方案和厂商进行对抗，主要从下面几个方面：
1）低安全性边缘业务或新业务
面对严格的防护逻辑，最快的办法就是寻找其自身的漏洞。一旦发现非严格审计的的边缘业务接口，便绕过所有的防护措施，如入无人之境。
厂商往往在这个维度缺乏有效的监控，因为本来就是被安全部门所忽视的接口，但当我们从第三方视角对黑产流量进行大数据分析时，这种伎俩变得无所遁形，何人何时开始对新接口进行攻击都在我们的监控范围内，可以极大增强厂商对该类漏洞的反应速度。
2）IP对抗
IP地址作为互联网的紧缺资源，一直是厂商最重要的风控方案之一，如何获得大量IP出口也是黑产业者最先需要解决的问题。其实不仅仅是黑产，许多爬虫、搜索引擎、机器人程序都有类似需求。我们通过长期对大量撞库攻击的来源进行反向追踪，发现撞库攻击获取IP资源的方法主要有以下几类：
扫描代理
免费方案，通过全网扫描常见的代理服务器端口，收集可用的代理IP地址，自行管理维护，但成本高、效率低。
付费代理
代理商通过或扫描或搭建或交换的方式，提供全球的代理服务器，有效降低自行收集代理的管理成本。
付费VPN
和付费代理类似，只是技术不同。
拨号VPS
过去的两年里，我们监控到国内有一类新的IP获取方案逐渐被黑产应用，叫做拨号VPS或动态VPS。该类VPS也是一台虚拟服务器，但需要通过ADSL拨号才能上网，于是便拥有了整个城市的大量可用IP。听起来似乎并没有什么特别，你我家的ADSL也能做到，但依旧是大力出奇迹，相关供应商做到了打通全国多省市的拨号方法，俗称混拨。实现了在一台VPS中使用一个账号快速随机切换近百城市的ADSL线路拨入互联网，对很多企业的风控部门造成巨大压力。
实际使用效果如下图：
3）验证码对抗
作为一种最简单、应用最广的自动化图灵测试方案，十多年来，大量公司和团队不断尝试自动化破解，以至于验证码也不断升级变得人类也要多次才能识别。然而在中国，黑产创业者们依赖低成本人力，对无法通过技术识别的验证码直接使用了最暴力的方式——人工打码来进行破解，并传播到了大量第三世界国家，导致全球有近百万人以此为生。因此衍生了黑产供应商平台之一：打码平台。
从我们了解到的数据来看，打码工人平均每码收入1-2分钱，熟练工每分钟能打打码20个左右，每小时收入在10-15元。
4）短信验证对抗
当网站开发人员习惯以自己的视角来考虑安全对抗方案，认为接收短信依赖于手机和办卡的成本，出人意料的创新总是让人防不胜防。看下面这个设备，该设备俗称「猫池」，能统一管理256张SIM卡，再通过软件将收到的验证码通过api接口对外提供查询服务。并由此衍生了黑产供应商另一个细分市场：接码平台。
黑产业者从该类平台使用不同手机号接收一个验证码只需要付费1-3毛钱，业务量可以参考2016年11月被公安查处的爱码平台案，下图是现场照片，仅该接码平台就拥有700多万手机黑卡用来进行验证码接收业务，其中大部分是黑产相关，有兴趣可以自行搜索案件详情。
5）模仿真人行为
在规避后台的行为分析模型方面，黑客提交的请求早已不是仅仅填一个User-Agent就完事，从对黑客进行撞库攻击的流程来分析，为了规避后台分析，不少黑客的流程已经包括并不限于：
完整的页面打开流程，而不是仅仅向关键接口提交请求
csrf-token 等参数完备
随机的页面停留时间
http header 严格遵守浏览器特征
随机化各种看起来不重要的参数
4. 主流风控的常见问题
从我们对各种撞库攻击的效果分析来看，各厂商主要存在和面临如下问题：
check-user-exist 类接口缺失风控策略
登录失败时登陆接口返回敏感信息
帐号体系缺乏统一管理机制，经常有新业务或边缘业务绕过风控方案
基于IP、短信、验证码的验证变成了和专业平台对抗
四、总结和展望
1. 攻击新趋势
1）撞库逐渐取代盗号成为主流攻击方式
从我们持续对地下黑产的监控和挖掘来看，由于各种泄漏数据库的曝光，撞库的流量占比在近年来明显增长。另一方面，由于操作系统和浏览器安全性的持续提升，通过下载或网页挂马盗号的方式逐渐被撞库攻击取代，撞库已经成为获取用户账号的主流攻击方式。
2）黑产资源平台化
相对早期黑客的单打独斗，如今黑产更像一个航母战斗群，黑客主要以基础账号库为核心资源，仅提供战斗力输出但防御很低，其它对抗类资源都由各种辅助资源平台直接提供，导致厂商对抗对象由黑客变成了各种资源平台，各种肉盾导致风控审计越来越困难，其中资源平台包括并不限于以下几类：
代理提供商
VPN提供商
拨号VPS供应商
短信接码平台
验证码打码平台
……
3）拨号VPS发展迅速
相对比较成熟的代理服务器方案，拨号VPS尤其是混拨VPS提供了更大的IP池和国内随机化的地理位置，可以预见，该技术将进一步在黑产中应用广泛。
2. 新风控角度的思考
1）核心账号资源对抗
从对撞库的攻防数据来看，目前大多数的撞库相关风控对抗其实是发生在厂商对黑产战斗群的各种护卫舰身上，并且由于对方的不同资源平台往往专注一个点不断优化，越打越强，导致风控措施效果也越来越差，反而在针对黑客核心资源的已泄漏账号库上缺乏有效对抗方案。
试想，如果能从黑客进行撞库尝试使用的账号密码上发现这属于外网已泄漏账号，直接触发风控逻辑，那么便绕过了黑客所有的外围防护手段，直接从对方无法回避的点进行风控对抗。
让人不由想起《笑傲江湖》中令狐冲和冲虚道长比剑，面对毫无破绽的太极剑法，唯有从圆形剑光中心挥剑直入，看似最没有破绽的地方反而是其破绽所在。
道理说起来非常简单，但这种对抗方式是建立在比黑产掌握更庞大的泄漏数据基础上才有可能实现，除了搜集网上泄漏的数据外，必须有其它更实时有效方案进行数据补充。
2）黑产大数据监控
基于长期对恶意流量的研究，我们通过不同方案对多种黑产流量进行持续监控，每天能捕获数亿条原始攻击请求，在撞库方面，保持日均数百万的原始账号库积累。通过这种方式，为账号类风控对抗提供了新的维度，并能提供持续的有力保障。
独孤九剑为何独步天下，其中「破剑式」虽只一式，但其中于天下各门各派剑法要义兼收并蓄，以天下剑法为根基，堪破种种变化。这正是典型大数据的思维。数据面前，了无秘密！基于对黑产撞库攻击核心账号资源的持续监控，或许才是账号风控中「破撞式」的真正心法所在。