迅雷前传:P2P到CDN的激荡20年
有关迅雷的报告我们写了几个星期,前前后后在研习社内部搞了十几份报告。
我们甚至还从黄牛那里买了台玩客云来亲自做实验,毕竟没有调查就没有发言权。至于结论怎么样,先吊一下胃口^_^
先声明一下:作为技术小白,我们并没有十足自信去通过技术来质疑迅雷的业务新模式。争论了半天,最后还是一篇瑞士研究所关于识别泡沫股的论文让我们稍微坚定了点信念。虽然迅雷这几个月的股价走势真的完美拟合那篇论文的双曲线泡沫模型,但上周五买看跌期权的时候真的是抱着打水漂的'实验心态'去做的。
我们的相关利益已在前两天出清,现在把之前研习社内部的十几份报告高度精炼后,整合在了一起分享给大家,以完全中立的心态向各位汇报我们的学习进展。
本文所覆盖的内容跨越20年,为大家呈现互联网传输技术的进步史,以及迅雷在这过程中的发展史和一些问题。
作为对互联网传输技术的零基础小白,我们现学现卖,在期权小捞一笔的同时也学到了很多新知识。希望这篇报告够满足各位深度内容爱好者的胃口,若有不对的地方也请各位技术大拿多多指点,并欢迎在文末为您的观点投票。
若有读者在文章后半部分感到理解吃力,强烈建议抽空看一看HBO出品的笑点不断的创业神剧《硅谷》第四季:
1. 迅雷为何在15年前崛起?这得从互联网的演变史讲起
互联网的数据传输方式经历了三次主要变革。
1.1.第一个阶段:互联网早期 - 中心化服务器
文件集中储存在服务器中。当用户有下载需求时向服务器提出连接请求,从服务器上下载所需文件。以HTTP/FTP为代表。
HTTP只提供下载服务。
FTP用户也可以将文件上传至FTP服务器(在机关单位、高校内网经常见到)。
HTTP/FTP存在两个问题:
可用的资源量由中央服务器的储存量决定
服务器传输能力有限,大量用户同时访问或传输大文件时速度差
在互联网发展早期,内容稀缺,20年前并没有爱奇艺/网易云等内容分发平台,用户从中央服务器能够获取的资源很少。
另外,当时骨干网络的传输能力也很有限(电话线与光纤的速度对比),较低的速度和较高的成本也限制了资源的传播。
虽然HTTP/FTP解决了'渠道有没有'的最基本问题,'拿不拿得到'与'速度快不快'这两点人民群众日益增长的美好需要却并未解决。
1.2. 第二个阶段:迅雷的第一桶金 - 去中心化的P2P
P2P(Peer to Peer),即点对点传输方式。每个用户既下载数据,又作为服务器存储数据并供其他用户下载。
P2P的传输原理
将整个文件虚拟等份拆分→制作bt种子,记录等分文件信息及追踪信息→用户获取种子→下载工具解析文件信息并追踪拥有分块文件的用户地址→发起连接→同时从多个用户计算机直接下载分块文件(无需再上传至服务器)
P2P解决了HTTP/FTP遗留的两大问题:
I. '拿不拿得到':
不通过中央服务器,用户间资源共享,有种子就能下载,增强了资源可得性。个人用户的电脑硬盘常常装着几十GB的影视作品,甚至推动了移动硬盘的迅猛发展。
II. '速度快不快':
每个P2P用户作为服务器提供下载帮助:P2P用户越多,服务器越多,下载速度越快
2. 第三个阶段我们等一下再谈,先看看迅雷在此时做什么?
2.1. 2003年,迅雷成立。
迅雷将P2P技术优势发扬光大,并加以改进推出P2SP(存储资源至迅雷自己的服务器,P2P下载的同时还解析HTTP的下载链接);
当年大型网络游戏在国内的井喷式发展吸引了大量玩家,而安装文件动辄几个GB,还不到100kb/s的HTTP下载速度实在无法满足用户需求。迅雷为用户提供高速稳定的下载体验,快速占领下载工具市场;
2004年,迅雷超越传统HTTP/FTP下载工具龙头——网际快车,成为市场第一。其实网际快车和比特彗星的没落也与网络游戏有关,创始人由于沉迷于魔兽世界,停更软件长达一年。
2006年用户数量破亿,迅雷积累大量P2P用户,用户越多资源越多,下载速度越快,由此迅雷在下载工具市场的地位变得无法撼动。
同一时期还存在过许多同类型的下载软件,如QQ旋风、VeryCD、电驴等等,但都不及当年经典的迅雷5。
除了迅雷,其他下载工具已经成为了历史。2011年1月,VeryCD关闭下载服务,网际快车最后一次版本更新是在2015年,同年QQ旋风也停止更新。
2.2. 从P2P传输的弊端来看,下载工具的没落是必然结果
a, 版权问题:盗版代名词
P2P传输是用户间直接共享,不向版权方支付任何费用。
版权方起诉下载用户不现实,转而起诉P2P下载工具。2011年-2014年一季度,迅雷涉及版权的诉讼达366起。
版权及诉讼问题影响公司自身发展。虽然迅雷只输了3起官司,赔偿5.6万人民币,但确实为用户盗版提供了帮助。迅雷曾经因版权问题受到美国电影协会质疑而影响IPO进程。
b, 监管与安全:'法外之地'
数据传输完全不需要中心服务器使得P2P传输缺乏监管
色情暴力、敏感政治等无法从正规渠道获取的非法内容,却可以通过私下分享种子文件传播。
无法确定下载内容是否包含病毒程序
c, 传输速度:“吸血迅雷”
上行带宽影响下行带宽:P2P用户需要作为服务器为其他用户提供下载服务。用户打开迅雷即便自身不下载任何数据也会影响网速,因此迅雷一度被称为“吸血迅雷”,在大学寝室开迅雷的童鞋也常常被室友揪出来批斗…
因为整个互联网的基础设施是非对称型的,下行特别快,上行会窄一点。P2P场景虽然把上行带宽用起来了,但是最终对社会的成本是比较高的。
P2P虽然用户节点多,但数据传输较为无序,算法有优化空间。随着互联网信息量暴增,尤其是视频格式从avi/rmvb发展到mkv,用户对视屏分辨率的要求越来越高,一部蓝光高清电影有可能达到十几GB,即便P2P传输也压力山大。
2.3. P2P的弊端加上互联网变革使迅雷面临困境
a, 丧失资源优势,用户流失
盗版资源:
迅雷为融资及业务发展解决了版权的问题,包括字幕组在内的盗版资源转战虚拟网盘(以前都是要迅雷种子/磁链,现在流行百度云盘)。
色情暴力:
2014年扫黄打黑办公室开展净网行动,典型事件是快播CEO王欣的入狱,时至今日涉及色情、暴利、政治敏感的资源很难再从迅雷获取。
b, 移动互联时代:手机/平板代替PC,信息重归中心化
P2P不适用手机:
手机用户的很多使用场景是在移动的。由于流量费用高、手机电量少,手机用户没有上传数据分享带宽的动力,且用户使用手机时较为随机、强调及时性,无法提供稳定的上行带宽。
(但风险也是机遇,有不少技术公司在尝试P2P在手机上的应用)
下载需求被缓存需求取代:
天下分久必合。原本'碎片化'的互联网趋于趋于中心化,信息聚拢在APP及平台网站周围。用户即时性需求替代了拥有资源的需求:更看重稳定的缓存速度,对下载保存的需求偏弱。
3. 第三个阶段:迅雷的新机会 - CDN多中心内容分发网络传输
3.1. 什么是CDN?
CDN(Content Delivery Network)全称多中心内容分发网络。简单理解即在服务器与终端服务器之间做加设一层用来缓存及传输内容的子服务器,用户提出下载需求后选择离用户最近的子服务器传输数据。
CDN现在已成为了一个泛指的概念,一切以加速或者以网络分发为基础的服务都可以叫做 CDN。
CDN技术事实上比P2P出现的时间更早。1999年出现P2P技术,而同年提供CDN服务的公司Amaika已经成立。
3.2. P2P先于CDN普及的原因
CDN本质是优化传输算法,加快传输速度:为请求数据的终端选择最近的服务器,可以为用户提供的数据量依旧取决于服务器的内容存储量
互联网发展初期中央服务器储存资源有限,相对于‘资源传输的速度’,‘资源获取的难度’才是首要问题。
P2P首先帮助实现用户间资源共享,解决用户的首要需求 -先解决了 '拿不拿得到',再来考虑速度有多快。
3.3. CDN为何现在又流行起来?
而随着数据量爆炸式增长、互联网趋于中心化、手机端对即时性要求的提高,能解决P2P问题的CDN被给予了更多关注
版权、监管、安全问题:P2P出现这些问题的原因在于其绕过中央服务器的用户共享传输设计。CDN的数据来源依然是由中心提供,内容分发由中心控制。
传输速度进一步提升,解决P2P数据的无序传输:根据使用者的位置查找最近的服务器,进一步提升传输速度。P2P与CDN传输的差别可以形象理解为网购中普通物流和京东物流的关系。
顺应移动互联时代的用户需求:手机端用户不再作为服务器,不需提供上行带宽,只需接收数据。CDN服务器由服务商的高性能设备组建,性能更稳定,为各大视频网站提供高速稳定的数据分发。
顺应互联网中心化趋势:视频及直播带来数据量爆发,数据围绕垂直领域核心应用集中,强者更强(社交软件:腾讯,视频平台:爱奇艺,电商:阿里)。CDN只优化数据传输算法,不干涉核心应用的市场,用传输质量的提升来帮助龙头应用巩固其优势地位。
3.4 CDN商业模式
3.4.1. 算法作为产品,产品有差异化,技术领先的龙头企业毛利较高,以Amaika和 LimeLight为代表
Amaika:全球架设服务器节点,为用户选择地理位置最近的服务器。
LimeLight:拥有自己的骨干网络,为客户选择路由层面最近的节点,可以理解为寻找网络意义上的最近节点。
业务模式:
定制化产品:针对内容设计算法(静态内容/动态内容/大文件下载);针对行业设计算法(媒体/电子商务/软件IT);针对客户规模设计算法(大客户/小客户/个人)等;
规模化服务:客户可根据业务性质定制服务,但获得的CDN服务是高度可规模化的。
3.4.2. 以带宽作为产品,高度标准化,议价能力低,以国内CDN服务商为代表
传统CDN服务商:1998年开始商用,2014年市场已成熟。第一梯队网宿(A股:300017)和蓝汛(美股:CCIH)市场份额合计70%。
业务模式:
从三大运营商(移动、电信、联通)批发带宽,零售给有提速需求的企业客户,低买高卖,赚取价差。
CDN服务利润=零售给客户的带宽售价-批发带宽成本-服务器架设成本
3.5. 阿里爸爸们来了(伦敦交易员是阿里云多年来的忠实粉丝)
虽然新进玩家也属于CDN领域,但大家具体做事的思路是不一样的。传统CDN 服务商的思路是扩大规模,通过资本的方式占据市场,再通过规模来降低成本。
由于产品高度同质化、单一化,传统服务商缺乏议价能力(如早期的阿里靠给蓝汛拍了一段企业宣传片就换取了某海外部门的CDN需求)
2014年起,互联网企业借助云计算开始布局CDN,迅速侵占市场。
云CDN的商务模式:在线自助,将CDN服务按照需求分为若干模块,客户按需自行购买。
云CDN被整合成为云计算的一部分,为企业提供完整的解决方案。另外云计算的本质是按需使用,按量付费;一方面增强用户选择的灵活性,另一方面又使产品定制高度标准化,用规模效应降低服务价格。
阿里云很快开始降价,腾讯、金山也随之跟进。仅在2015年10月至2016年10月一年里,阿里云就先后降价17次。
为保住市场份额,虽然缺乏价格优势,传统CDN公司也不得不跟进下调服务价格。随毛利一同降低的是传统CDN厂商的的股价,蓝汛(CCIH.O)从移动互联时代爆发期的2014年的$25,一路跌到$1。
冰与火的轮回才相隔一年,怪不得巴菲特不喜欢科技股。
4. P2P+CDN:星域CDN,迅雷新机遇?
P2PCDN是将用户使用的设备(如路由器、智能手机)变成CDN服务器,使任何设备接入互联网索取服务的同时,也分享自己的带宽(计算/存储能力)。
4.1. 完美契合迅雷的技术优势与互联网趋势,成为最佳的转型方向。
4.1.1. 数据传输的进化趋势:
下载 → 流媒体(视频)→数据量暴增(4K)+即时性需求(直播)对优质传输的要求
数据量方面:如果现在用户都要看4K视频,1台服务器只能支持几个用户在线点播。
即时性方面:而直播业务又与点播业务峰值的巨大差异,使得传统的CDN很难应对迅猛发展的高清直播业务,如下图。
点播业务峰值是相对均衡的,它已经通过各家CDN在功能、性能、稳定性以及响应度各种努力,把它做到了一秒的延时、秒开、高质量、低卡顿。
但直播业务的峰值时不时出现巨量增长,且往往并发非常高,也就两个小时。这会带来高额的带宽成本。在此基础上若引入P2P结合CDN,可降低整体产品的使用成本。
传统的P2P架构已经老化,就是早期的迅雷以及在快播做的P2SP架构。其最大的场景,是PC上的分布式网络。而现在机顶盒、路由器、手机等所有设备都已经自动化,以前PC的这套网络已经落后,亟待革新。传统P2P的最大特点就是高分享率、但低可用性。比如说原来在快播做的数据分享率可以做到99%,但质量是无法保障的。
而CDN+P2P是把CDN的高可用性、可管理、可运维去和P2P的加速性、可靠性以及突发处理能力做一个有机结合,在网络层面提高系统的可扩展性,降低成本,降低跨域、跨流量的问题。
4.1.2. 迅雷能行?
迅雷自诩以技术为导向,曾因视频领域的核心竞争力是内容、媒体和营销,与自身的技术基因不符,错过了下载→流媒体的红利。它曾推出迅雷看看,但2015年将该业务出售。
迅雷技术优势:数据传输是迅雷的技术和专长,作为装机量最大的下载工具也积累了最多的P2P节点,P2PCDN自然地成为了迅雷的新机遇。
2015年6月,迅雷全资子公司网心科技推出星域CDN,正式布局P2PCDN业务。
P2PCDN与传统CDN或云CDN模式的区别在于,服务器不再由厂商自建而是P2P用户自己提供或购买设备,带宽从P2P用户端低价收购。
P2PCDN的优势:
* CDN成本或大幅降低(服务器成本,带宽采购成本);
* 服务器规模理论上无限多且容易扩展(多卖一台设备就多一个P2P服务器)。
销售方面: 从官方透露的信息来看,星域CDN业务受到视频直播领域客户的广泛认可。爱奇艺、快手都是星域CDN的客户,采购量有所增加。星域CDN也与小米、熊猫、陌陌、bilibili和触手等用户保持密切合作。
但在成本方面:迅雷节省的成本越多,用户可得收益越少。
对迅雷而言,CDN服务利润 = 给客户提供的带宽售价 - 从用户收来的带宽成本 - 自身服务器的架设成本。
对用户而言,分享带宽的动机 = 迅雷收集闲置带宽所给予的收益 - 硬件购置与损耗成本 - 电费成本 - 网络成本
(注:一般用户的网络实际上是成本略低的家用网络,若将其用于商业用途,或违反与电信商签署的宽带协议)。
需要注意的是,一旦参与迅雷CDN计划的用户减少,迅雷CDN市场占有率也会降低。所以,给予用户足够的动机显得至关重要。
4.2. 被“共享”的用户:迅雷水晶>>>赚钱宝>>>玩客云
4.2.1. 第一代计划:迅雷水晶
模式:将用户PC直接作为服务器,用户贡献上行带宽,所得奖励为迅雷水晶,迅雷水晶可兑换人民币。
问题:硬件损耗大,耗电量高,影响网速。
4.2.2. 第二代计划:赚钱宝+IDC专属项目
2014年腾讯云计算总裁陈磊加入迅雷任CTO,合作迅雷云计算业务。2015年4月推出二代P2PCDN计划:赚钱宝。
“赚钱宝,CDN界的Uber” by 迅雷官方
模式:赚钱宝是独立的硬件设备,由玩家购买作为服务器。玩家贡献上行带宽,所得奖励为迅雷水晶,10000水晶=1人民币。IDC专属针对的是闲置机房/个人网管。
解决了上一代的问题:赚钱宝较PC功率小,耗电量低;作为独立硬件贡献闲置带宽,网速影响小。
4.2.3. 第三代计划:玩客云
这个我们等一下再谈,先把核心问题理一遍。
5. 迅雷真的能成为CDN界的Uber?
这取决于两个要素:
第一:提供给用户有足够吸引力的奖励,吸引大规模用户参与,才能称之为共享。
第二:所在行业毛利率高,提供给用户丰厚的奖励后,共享平台依然有可观的收入。
5.1. 核心因素一:迅雷提供给用户的奖励足够有吸引力吗?
用户分享带宽的动机 = 迅雷收集闲置带宽所给予的收益 - 硬件购置与损耗成本 - 电费成本 - 网络成本
在玩客云推出之前,用户收益:10000水晶=1人民币。用户贡献带宽与迅雷水晶有恒定比价,但迅雷未公布详细规则。据用户实际使用情况推断50GB=10000水晶,即1GB=0.02元。
以用户视角将成本拆分:
购机成本:初始售价158元,后期pro版278元;
耗材成本:使用赚钱宝需自备U盘或移动硬盘设备,提供至少200GB的存储空间,频繁读写使得U盘/移动硬盘成为耗材;
路由器成本:使用迅雷赚钱宝需要自行配置路由器;
电力成本:较直接使用计算机功率降低,但依然有电力成本。
用户的投资回收期:据用户实际体验,100MB非对称带宽(4MB上行),一周7*24小时能获得6元收益。只考虑购机成本158元,最快的投资回收期为6个月。再考虑到耗材费用,普通用户参与赚钱宝的动力其实并不足。
而且,赚钱宝的销售量仅仅30万台,30万个分布式节点远不足以构成一个强有力的稳定CDN服务网络。
至于IDC专属:虽然带宽、设备、耗材、电力均属公司所有,个人成本看起来为零。但一旦被抓,受罚付出的代价比迅雷能提供的收益大得多。
5.2. 核心因素二:CDN行业的毛利率?
5.2.1. 迅雷降低的收入
自2014年起互联网巨头布局云CDN开始,CDN市场竞争十分激烈,价格战不断。仅2015-2016年期间,阿里云CDN就降价17次,2017年11月再降25%。
根据上月最新的CDN报价(以流量计):腾讯云:0.267元/GB,阿里云:0.150元/GB,百度云:0.099元/GB,星域CDN同样是0.099元/GB
雪上加霜的是,阿里云也在进军P2PCDN。2017年3月阿里云合并优酷CDN业务,推出PCDN。
阿里云优势:原有云CDN骨干服务器(自建服务器)有显著优势
优酷P2PCDN:与赚钱宝同一时期推出,优酷路由宝作为CDN服务器同时也可以作为路由器。优酷P2PCDN主要服务于自己的视频业务,没有商用。
阿里云CDN结合优酷路由宝P2P节点数量,传输能力提升且成本进一步降低。
5.2.2. 迅雷攀升的成本
带宽成本:2014到2016年,迅雷带宽成本分别为3354万美元、3722万美元、5513.5万美元,占收入比分别为24.7%、28.6%、35.1%。2017年一、二季度,迅雷带宽成本分别为1780万美元、1880万美元,占收入比已经达到了45%以上。
研发投入:迅雷研发支出从2014年的每季度500万美元,增长到2017年每季度1500万-1800万美元。主要投向全资子公司网心科技,其主要产品是当时不温不火的赚钱宝。
走低的毛利和高昂的开支反应在股价上:2015年4月推出赚钱宝时股价$5左右,至2015年6月股价短期上涨至$14,之后一路下跌至$5附近。
迅雷不仅CDN利润空间持续压缩,还面临与巨头竞争,陷入两难境地:若提升售价则无法与阿里竞争,若压低玩家贡献带宽的收益则面临失去P2P节点的风险。
于是这才引出本期内容的真正主角 - 玩客云
5.3. 第三代计划:玩客云
在前两次计划不温不火的情况下,2017年8月,迅雷推出了第三代计划——玩客云。玩客云代替赚钱宝成为迅雷P2PCDN的第三代硬件,销售火爆。
首期玩客云5.47万台秒光,据迅雷官网数据,截止2017年11月28日玩客云总
预约人数达790万。预约价399元,官方指导价599元,黄牛价格最高达2500元。
没有调查就没有发言权。借用'敖厂长'的话,我们'委托一个哥们'帮忙搞到了一台玩客云,并亲自实验了下'挖矿'。
随着玩客云(和比特币)的火热,迅雷公司股价也开始猛涨。11月1日迅雷正式发布玩客云计划时收盘价为$12.1,至11月24日股价涨至最高点$24.91。
看了下面那张图,再回过头翻文首图,是不是感觉有点亲切?
关于玩客云的故事有很多。但由于微信的字数限制,接下来的内容我们将在明天同一时间发布,感激各位支持。
迅雷后传比前传还要有意思,涉及的深度也不会停留在主流媒体所关注的宫斗戏上:)
感兴趣的朋友欢迎谈谈你个人的看法,也可以来猜猜伦敦君的观点^_^
最近某中概股将在美股挂牌上市,各位童鞋若有意参加该股Pre-IPO的基石投资申购,请添加小助手微信: FinanceUnion 了解更多:)