区块链技术几个重要的坑（上）
近些年，区块链技术飞速发展，引领了互联网领域一次新的技术浪潮，这种新型技术被认为是继蒸汽机、电力、互联网之后，下一代颠覆性的核心技术；并成为最近两年的热门投资方向，如著名投资人索罗斯在2017年年底的时候，把Facebook的股票全部卖掉，投资了一家用区块链发行股票公司Overstock。全球各大互联网公司也大力在区块链领域布局，积极推进区块链技术的落地，如IBM的供应链物流，金融结算服务区块链创业公司井喷般出现，国内区块链企业已达456家。
在区块链技术变得火热的同时，许多新技术出现，区块链技术混淆越来愈平常，公链和私链技术混淆使用，如一些著名公链竟然使用私链的技术来解决速度和扩展性的问题。很不幸的是，在区块链技术快速发展的时候，一些著名的链的基础协议居然还是和几年前一样，这表明以前发现的问题到今天还是存在没有解决，新出来的技术并未解决以前的问题，例如以下将要讲述的第一个坑。
在2018年，让人惊讶的是，甚至几个世界出名的公链也被人察觉居然部分机制还是一个中心在控制。这和长期标榜“去中心化”的区块链思想直接冲突，表示完全“去中心化”的系统难实现，而且在今天法律制度下（例如美国证券交易监督委员会出的新法规）很难实现。但是哪些中心化机制可以被接受，哪些不能被接受，应该有所讨论。这是第二个坑。
加拿大央行， 欧洲央行， 和日本央行三个世界重要央行在2017年和2018年出的3篇报告，现在区块链容错机制不能达到金融机构的需求已经是共识。区块链不是自己有容错机制吗？有，但现在的容错机制离实际需求差距很远。这是第三个坑。
这些坑还存在今天著名区块链系统里，这给区块链投资人造成了困扰。有人认为，著名公司研发的区块链系统应该比较好，但事实上不是这样。2017年加拿大央行报告[18]指出一些著名的区块链系统离实际银行的需求还相差很大，一些融资上亿美元的区块链公司在2016年和2017年开始宣布研发大型区块链合作项目，但是后来也没能研发出来。一位美国高科技公司CTO 在2018年拜访天德公司的时候就表示有资金和有名声的美国高科技公司不一定可以研发出好的区块链系统。这些问题也没有因为现在新技术发展而解决。
当然区块链不只有这三个坑，其他坑以后再讨论。这三个都是老坑，几年前已经发现的问题，但直到今天，这些坑还是存在一些区块链系统里面，甚至有的坑今年才引起大家重视。
这些坑都是中国的机会，因为这些著名的链要改是非常难的。但问题是中国真有团队愿意好好打造一个好区块链吗？还是大家只要炒币赚钱？还是只要山寨那些明知有问题的链？
图1 PBFT(BFT协议的一种)
“刘关张”协议就是节点之间互信的协议，刘备、关羽、张飞三人桃园结义，互相信任对方，他们互不欺骗对方，三兄弟齐心协力。如果将他们对应于传统的分布式系统各个节点，也就是说各节点只可能出现宕机或是断开连接的情况，不会向其他节点发送虚假消息，理想情况下，互信协议中不会出现恶意的恶意节点（向不同的节点发送不同序号的消息）。
图2“刘关张”协议
拜占庭将军协议和“刘关张”共识协议的最大差别在于： “刘关张”协议有两轮投票，拜占庭有三轮投票。其中，拜占庭协议的前两轮投票阶段和“刘关张”协议相似。但是在拜占庭协议的第三轮投票中，参与节点需要向其他节点发送他们在第二轮阶段收到的消息。所以，如果没有第三个阶段，拜占庭将军协议就会变成“刘关张”协议。国内一些工程师原本是为了“优化”拜占庭将军协议，结果却是将拜占庭将军协议第三轮去掉变成了“刘关张”协议。
本来认为“刘关张”协议只会在中国出现，但是发现“刘关张”协议也已经技术输出国外，国外一些出名的区块链居然也使用“刘关张”协议。他们也和中国公司一样，自称使用拜占庭将军协议，其实是用“刘关张”协议。
“刘关张”协议又可以分两种：分布式“刘关张”和中心化“刘关张”。
分布式“刘关张”协议
这种协议用在传统的分布式数据库系统，能保持多个数据副本之间的一致性，如两阶段提交协议、Paxos、Raft等，这些都是传统数据库的一致性协议。互信协议允许宕机的节点数为1/2，但是一旦黑客攻击了其中的主节点，成为恶意节点，就可能会造成系统内的数据副本混乱，系统瘫痪。
图2、3表示两段式分布式“刘关张”协议， 一个是确认情景，一个是回滚情景。
图2“刘关张”协议——确认情景
图3“刘关张”协议——回滚情景
如果将数据库的互信协议应用到区块链技术当中，将不能够查验以及抵挡恶意节点，这样的区块链只能够应用在节点之间互相信任的环境下运行。因此，这样的区块链被许多学者认为是一个弱化的区块链。
在中国工信部信通院发布的“可信区块链”白皮书标准里面，“有效防止节点欺诈”是“可信区块链”的一个最低要求，没有达到这个功能就不能称为“可信区块链”。所以，凡使用“刘关张”协议的区块链都不是可信区块链。
而且工信部认为不光需要满足上面的需求，“绝对一致的共识机”还要满足以下需求：
“A. 任意节点错误响应，包括执行成功对外返回‘失败’、执行失败或者不执行的时候对外返回‘成功’。
B. 任意节点向网络中其他节点发送不同的消息请求，例如：系统中有4个节点，请求消息序列为a, b, c, d, e，其中任意一个节点不按照a, b, c, d, e的序列发送给其他节点，把a只发给其中的一个节点，把b,c,d,e发给另外两个节点。
C. 任意节点通过修改本地数据，构造本节点校验合法的请求，例如，本节点余额为100单位，修改本地余额为200单位，然后发起200单位的转账。
对于上述情况，共识机制需要保证在小于理论节点数欺诈的情况下，节点间数据能够恢复正确且一致，并且和对外响应结果正确且一致。”
如果使用这种弱化的区块链将不能用于有强监管需求的应用里面，例如金融、公检法、政务。例如，最近亚洲的一个重要国家的首相夫人参与舞弊事件，而政府官员为了保护首相夫人居然篡改文件。然而一年后这舞弊事情包括政府官员违法篡改文件仍然被发现，引起政治风波。这件事情表明政务上的区块链必须使用拜占庭将军协议，而不是“刘关张”协议。因为被信任的政府官员也可能参与舞弊，只有拜占庭协议可以查验说谎的节点，而且可以防止从外部和内部篡改。
图4分布式“刘关张”协议
中心化“刘关张”协议
中心化的“刘关张”协议使用“原子广播”(atomic broadcast)来做共识。原子广播原来目的在于保证每个参与节点收到同样信息，因为每个节点收到同样信息等于保证每个节点有共识。一个原子广播通用软件是Kafka，而Kafka 是用另一软件Zookeeper 完成的。
但是原子广播真的安全吗？是分布式共识，还是中心化共识协议？
如图5，Kafka使用的Zookeeper提供的数据状态存储和主节点选举服务。而Zookeeper是依赖于ZAB（一种从Paxos改造的协议）为其提供非拜占庭容错，即ZAB是一种“刘关张”（传统数据库）协议，属于弱化的区块链。所以Kafka 不能处理拜占庭将军的问题。
而且因为Zookeeper是一个中心化的系统，Kafka也成为中心化的系统。这个Zookeeper中心系统被攻破后，整个系统就会发生问题。所以，Kafka是中心化的“刘关张”协议，和分布式区块链系统不匹配。
如果有人怀疑Zookeeper不是中心化的系统，可以查Apache［1］和 IBM ［2］官方网站，以及著名IT 信息网站 InfoQ［3］，上面都是说是中心化的系统。
Hypeledger就是使用原子广播这种的共识协议，如图6。其中Orderer Service的核心是Kafka集群来完成交易排序服务。对于这种协议，即使右端的节点做拜占庭共识，如果中心化的Orderer Service被攻破了，整个系统还是会陷入瘫痪。
图5 Kafka、Zookeeper、ZAB协议
图6 Hyperledger中心化“刘关张”协议
不光在性能方面，中心化的“刘关张”协议和分布式的“刘关张”协议差别很大，在具体实现上，中心化的“刘关张”协议很容易实现，而分布式的实现起来相对困难。与Hyperledger使用图6的中心化“刘关张”协议实现不同。
总结来说，如表1，根据可信度，区块链可以分为以下三种。
机制 | 协议名称 | 分类 |
拜占庭协议 | PBFT | 可信区块链 |
分布式刘关张协议 | 两阶段提交协议、Paxos、Raft 、Paxos | 弱化的区块链 |
中心化刘关张协议 | 原子广播（Kafka 和Zookeeper） | 伪区块链 |
有些区块链为了取得更快的交易速度，采用了中心化的控制，这种区块链称为“伪区块链”。这种伪区块链披着区块链的外衣，却是中心化的系统。在一个中心化的系统中，控制整个区块链的中心节点就是这个系统最为薄弱的环节。如果中心节点故意说谎或者被人攻破，则整个区块链瘫痪。不论是公链或是私链，都可能是中心化的链。
例如一家市值排名很高的加密货币，多年自称是分布式区块链，但在2018年研究人员发现每个节点都是由另外一家公司所控制，是中心化的集权系统，所有交易都是由中心节点来控制。消息出来后，引起业界争论。
一些区块链项目，被人爆料节点是由官方“静态”部署的，并不具备动态选举的特性。这是不是一种中心化的共识机制？
没有人会认为以太访是中心化的系统，但在其历史上，也出现过中心化的行为，在TheDao 事件上，以太坊采用中心化的决策回复原来的状态，而不是采取“去中心”的决定。可以清楚看到，一些“去中心化的区块链”，在特殊关键时刻，很可能还是采取中心化的行为来解决问题。因为完全“去中心化”是很难的。
部分公链的支持者会以妖魔化来形容私链（联盟链等），认为联盟链就是中心化的系统。这是商业言语，不是学术言语。在计算机领域，多个并行的执行线程，就是分布式系统，而且中心化的系统也不是妖魔，也不用躲避。中心化银行系统用了如此多年，长期服务国家、社会、家庭、个人，根本没有必要被妖魔化。
传统中心化的系统中有许多好处，安全性由的安全防护系统来完成，防火墙隔离了内部系统，保护系统免受各种类型的网络攻击。现在的许多大型应用都是用中心化的系统。
但是区块链系统不能采取这种中心化方式，因为中心化的区块链和区块链初衷是完全不符合的。如果每一次建块或是每一笔交易都是中心化的行为，那这个链就不是区块链，而是伪链。以太坊只有在特殊情形下才使用中心化的手段，建块的时候并没有采取中心化的手段。Hyperledger系统每个交易信息都经过Zookeeper处理，所以是一个伪链。
实际上，区块链系统应该由“独立的”节点来运行，独立节点就是指每个节点的状态变化不受其他节点的控制，根据共识协议的规定，以及从其他节点接收的有效消息，独立的进行状态转移。区块链系统除了要分布式处理，每个节点还要独立式处理，所以这是一个很难的一个设计。
我们完全不需要妖魔化中心化的系统。在特殊情形下，区块链也可以有中心化的行为，例如The Dao事件，如果当时当事人没有中心化的处理，相关单位马上就会有几亿美元官司（以至于相关单位很可能因为官司而关闭）。他们当时做的决定是正确的。但是在一般情形下，区块链必须是分布式的，节点还是必须是独立式处理交易和共识。
什么是容错机制？一个容错机制乃是保护一个“功能机制”。基于一个功能机制（A），工程师设计一个容错机制B，通常B 是A+容错协议。
区块链基本共识是用投票，而共识算法PBFT本质上是容错机制，即允许系统内存在一定错误（恶意节点）的情况下，还能保证系统投票结果能够保持一致性。问题是在区块链的设计里面，投票不是功能，拜占庭协议才是功能。当一个容错机制成为功能机制的时候，那就需要一个自己的容错机制。如下表：
功能机制A | 基于一个功能机制A的容错机制B （A +容错协议） |
功能机制B | 基于一个功能机制B的容错机制C （B +容错协议） |
投票（A）是一个功能机制，一个投票的容错机制（B）就是拜占庭协议。但是在区块链里面，投票不是功能机制，拜占庭协议才是区块链功能机制（B），所以区块链需要一个基于拜占庭协议的容错机制（C）。这关系可以从下表显示。
功能机制A（投票） | 基于一个投票机制的容错机制B （拜占庭协议） |
功能机制B（拜占庭协议） | 基于一个拜占庭协议机制B的容错机制C（容错的拜占庭协议） |
任何子系统都可以出错，任何一步都可以出错
但是基于拜占庭协议的容错机制是什么？就是“拜占庭协议＋容错协议”是什么？在国外一下学术文章里面有一些这样的研究，但是这些设计离实际应用还非常远，因为在实际系统里面，任何子系统都可以出错，而且在系统恢复的时候仍然可能出错，造成恢复机制非常复杂。但是学术文章里面的容错机制通常只有少数子系统可以出错，例如投票领导出错（RBFT等协议），但是实际系统复杂的多。
任何区块链子系统都可以出错代表什么意义？表示通讯子系统可能出错，计算子系统可能出错，投票的时候可以出错，每一步区块链投票都可以出错，数据库可以出错，并行算法可以出错，加解密可以出错。区块链每个功能、每个协议、每一步、每个节点都可以出错。而且出错不一定是“停止错误”，而且可能是“拜占庭错误”，就是有人故意捣蛋，送不同数据给不同节点。所以一个容错的区块链系统是非常复杂的！
如果没有容错的拜占庭协议，任何会带来什么影响？一个简单的错误使得拜占庭协议停止工作，或是导致错误的信息写进区块链数据库里面。前者会造成区块链停止不能前行（区块链性能因此差），后者造成区块链不能维持数据的一致性（区块链功能丧失，后果更严重）。
根据第二个坑，区块链不应该有中心的控制节点，而每一个节点都可以查验其他节点，并且独立作业。这代表区块链容错机制必须是分布式处理，将使一个区块链容错机制设计变得非常困难。如果是中心化的容错机制，例如由中心控制的恢复系统，这会比分布式的恢复系统容易很多。
如图 7，容错和功能的关系可以从下图来看，从功能上看，投票机制最简单，拜占庭协议相对简单，容错的拜占庭协议比较复杂，分布式容错的拜占庭协议最复杂。从容错性上看，投票机制最差，拜占庭协议相对差，容错的拜占庭协议比较好，分布式容错的拜占庭协议最好。
图7容错机制和功能机制关系图
如果有人怀疑这论点，可以看加拿大央行2017年的区块链实验报告，报告明确指出其所测试系统的容错机制不够加拿大央行报告的第8页多次指出：验证节点的容错机制不够，加拿大央行在这个系统里面必须是一个验证节点，但是央行需要有完整的信息，央行系统需要进行备份，也会是大数据版的系统。
加拿大央行、欧洲央行和日本央行三大央行报告之后，区块链发展重点不在速度，而是可靠性，容错性和安全性，这是区块链时代的一个里程碑，也代表区块链技术走上成熟期。
引用
［1］Index - Apache ZooKeeper - Apache Software Foundation.
https://cwiki.apache.org/confluence/display/ZOOKEEPER/Index
［2］What is Apache ZooKeeper. https://www.ibm.com/analytics/hadoop/zookeeper
［3］Centralized Application Configuration with Spring and ApacheZooKeeper.
https://www.infoq.com/presentations/spring-apache-zookeeper
［4］区块链：具有改变世界潜力的颠覆性新兴技术——专访国家“千人计划”特聘专家、北京航空航天大学教授蔡维德.http://www.1000thinktank.com/zxgz/16609.jhtml
［5］蔡维德, 郁莲. 区块链技术在金融领域的应用解析[J]. 金融电子化, 2016(5):57-60.
［6］蔡维德, 郁莲, 王荣,等. 基于区块链的应用系统开发方法研究[J]. 软件学报, 2017, 28(6):1474-1487.
［7］Castro M, Liskov B. Practical Byzantine fault tolerance[C]// ACM,1999:173-186.
［8］Reed F J & B. ZooKeeper : Distributed Process Coordination[M]//ZooKeeper: Distributed Process Coordination. O'Reilly Media, Inc. 2013.
［9］Tsai W T, Blower R, Zhu Y, et al. A system view of financialblockchains[C]//Service-Oriented System Engineering (SOSE), 2016 IEEE Symposiumon. IEEE, 2016: 450-457.
［10］Yu L, Tsai W T, Li G, et al. Smart-Contract Execution withConcurrent Block Building[C]//Service-Oriented System Engineering (SOSE), 2017IEEE Symposium on. IEEE, 2017: 160-167.
［11］Tsai W T, Bai X, Yu L. Design Issues in Permissioned Blockchains forTrusted Computing[C]//Service-Oriented System Engineering (SOSE), 2017 IEEESymposium on. IEEE, 2017: 153-159.
［12］Kreps J, Narkhede N, Rao J. Kafka: A distributed messaging systemfor log processing[C]//Proceedings of the NetDB. 2011: 1-7.
［13］Lamport L. Generalized consensus and paxos[R]. Technical ReportMSR-TR-2005-33, Microsoft Research, 2005.
［14］数据中心联盟(DCA)可信工作组，可信区块链第1部分：区块链技术参考框架、可信区块链第2部分：总体要求和评价指标。
［15］向继志. 区块链:是“野蛮生长”,还是“笑傲江湖”?——专访区块链专家蔡维德[J]. 中国信息安全, 2018(3):96-99.
［16］蔡维德.熊猫-CBDC央行数字货币模型
https://mp.weixin.qq.com/s/VMF1R9q2D61-2R3neo6lGg.
［17］蔡维德.天德科技全球首创双链设计，引国际金融技术界关注.
https://mp.weixin.qq.com/s/J_dvTOXyrd-7jJHvSgb7kA.
［18］Engert W, Fung B S C. Central Bank Digital Currency: Motivations andImplications [J]. Social Science Electronic Publishing, 2017.
［19］Payment systems: liquidity saving mechanisms in a distributed ledgerenvironment， European Central Bank and Bank of Japan， 2017.
［20］Securities settlement systems: delivery-versus-payment in a distributedledger environment，European Central Bank and Bank of Japan， 2018.
［21］Chapman， J， R Garratt， S Hendry， A McCormack and W McMahon （2017）:"Project Jasper: are distributed wholesale payment systems feasible yet？"， Bank ofCanada， Financial System Review， June， pp 1-11.
Copr©2018版权所有，侵权必究。