Microsoft Word - Virgo Network技术白皮书0.1（4）.docx

Size: px

Start display at page:

Download "Microsoft Word - Virgo Network技术白皮书0.1（4）.docx"

霸秦
5 years ago
Views:

1 An Elastic and Light Blockchain Infrastructure 技术白皮书 Draft v0.1 Work in progress, comments are welcome

2 声明 Virgo Network 的开发工作将持续进行, 我们将坚持研究与探索更完备的解决方案本文将保持与团队进度同步更新, 我们很乐意和回答您的任何问题和意见, 任何有关的问题意见或建议, 请与我们联系

3 摘要现有的区块链架构逐步走向一个悖论 : 一方面追求极致的去中心化, 一方面依旧使用了中心化的治理方式区块链作为一个纯粹的点对点网络, 既任何一个节点均可以不通过第三方与另一个节点进行交易, 每个节点都能真正保有自己的数据所有权链的治理权以及数据的私密性随着用户和应用的增多, 区块链上存储的数据量也越来越多然而, 目前的区块链网络结构设计较为单一, 节点形式运行方式受限于设备物理性能, 链上数据存储缺乏激励机制大部分节点由此以轻节点的形式运行在目前各个区块链网络的轻节点方案中, 轻节点只能放弃自己的数据私有权打包权和隐私权, 从而依赖于全节点进行查询与交易区块链网络的去中心化大大被削弱, 同时网络的负载压力集中到比例不高的全节点上更加灵活的基础架构是未来区块链技术的研发核心 Virgo Network 于此提出一种全新的轻量级弹性区块链基础架构通过 Virgo Network 提出的创新性的状态机剪枝算法,Hydra 算法, 动态侧链模型等区块链中间件 (Middleware) 技术, 区块链网络将实现模块化 Virgo Network 中的节点可以根据其运行环境, 弹性自适应地运行在轻节点至全节点之间的任意状态, 保留其数据权治理权及私密性 Virgo Network 致力于为未来构建更有鲁棒性且高效易用的区块链基础架构

4 背景互联网技术大幅降低了信息传递的成本, 而移动互联网络技术的普及, 使即时性的点对点通信成为可能然而, 互联网无法确保所传递信息的可靠性, 这大大制约了人们利用互联网进行大规模协作的能力因此, 现有的互联网应用采用中心化的处理方式, 使用高性能的中心化服务器集群响应网络请求存储网络数据, 这使得现有的互联网应用极度依赖于中心化服务器, 要求用户对中心化服务器的绝对信任以及中心化服务器的绝对可靠性和稳定性目前来说, 中心化的服务器性能强劲, 响应高效, 基本能处理绝大部分的网络请求和数据维护, 但是一旦中心化的服务器出现问题, 就会发生不可逆转难以估计的损失服务器宕机导致网络瘫痪服务器数据库暴露导致数据流出的事情也屡见不鲜区块链的诞生带来了一种分布式的解决方案, 通过去中心化的节点达成共识, 将账本存储成一个链式结构, 以维护一个分布式账本, 用户之间不需要完全的互相信任, 而是通过密码学提供的技术信任, 确保在大多数节点不作恶的情况下, 保证账本的不可篡改公开透明和最终一致性区块链技术为未来多方协同网络提供可信基础, 提供了分布式应用的土壤从整体上看, 区块链网络是一个去中心化的分布式点对点网络在这种网络中, 每个对等方都保存了全部的账本数据或者账本数据的一部分每个参与节点通过广播的形式, 将交易数据广播给网络中的其他节点其中被称为矿工的节点, 在接收到交易数据之后, 对交易数据进行验证 ; 然后, 矿工节点会把验证通过的若干条数据打包成一个区块, 再次广播到网络中其他节点在收到新块的信息后, 进行同步和验证, 并将其加入自己存储的账本上, 也就是区块链上 Vitalik 将区块链技术和智能合约的思想结合起来, 构建了 Ethereum: 一种支持图灵完备的底层区块链网络基于以太坊的技术, 去中心化的 DApp 应用可以在不需要中心服务器的情况下进行运转相比中心化的应用,DApp 有数据透明化, 数据不可篡改等特点这些特性可以有效的解决网络投票不透明等现有问题然而已存在的区块链平台使用门槛高, 吞吐量低, 这都阻碍了区块链技术的大面积应用开发者在开发去中心化应用时, 受限制于区块链平台的门槛和性能, 只能放弃很多应用场景观现有的互联网应用, 都有着操作易用用户人数多

5 交易高频费用低廉延时低的特点而这些特点, 现有的区块链平台都难以满足只有提高了区块链的性能和易用性, 区块链应用才能被大规模地开发以及落地要改善区块链平台吞吐量低的问题, 需要对主链进行扩容通过对主链进行扩容, 可以使区块链平台支持更加高频的交易和更多的用户数量, 用户交易的等待时间也会有效缩短, 同时, 由于未确认交易的减少, 用户需要付出的打包费用也会下降扩容问题来自于现有区块链的底层设计, 其中可以被大致分为共识算法和区块链架构区块链系统的共识算法是限制区块链网络效率的最重要原因比特币的 PoW 算法和以太坊即将使用的 PoS 算法在本质上都是将全局共识的产生压缩到单一节点的负载上也就是说, 在任一时间区间内, 只有单一节点的共识结果会被同步为全局共识考虑到网络同步的时延, 整个网络达成了分布式最终一致性基于这些共识算法的区块链网络在共识层面, 并没有做到分布式并发本质上, 其实是单线程的共识过程另外, 通过侧链技术与分片技术等解决方案来改进区块链结构, 也能改善吞吐量低的问题侧链技术是一种 off-chain 的解决方案通过侧链技术, 将一定量的链上交易迁移到链下进行, 通过这种方式来缓解主链上的负载压力但是这种方式需要链下的交易方有一定的信任基础, 比如比特币的闪电网络和以太坊提出的 Plasma 技术 [6] 分片技术源自于分布式系统和分布式数据库中的分片的思想分片技术可以将分布式网络划分成若干子域, 数据的共识在每个子分布式域中单独进行, 从而达成局部共识基于局部共识的结果, 进而达到全局共识基于分片技术, 区块链网络的共识可以从单一线程共识, 真正的做到并发共识分片技术的难点, 在于如何实现跨分片交易或者说, 及时性分片数据同步从分布式系统的角度上, 就是如何在牺牲一部分一致性的情况下, 继续保持系统的可用性要改善区块链平台使用门槛的问题, 还需着眼于移动端在移动端成为一种趋势的今天, 越来越多的应用开发在移动端, 包括即时通信共享经济电商购物内容分发生活服务手机游戏视频音乐等 ; 但目前的区块链平台都难以

6 兼容移动端, 使得用户参与区块链网络的门槛过高这损失了非常大的应用场景, 也是对大量移动端资源的巨大浪费现如今, 移动端的普及率越来越高 Newzoo 发布的 2018 年全球移动市场报告显示, 今年全球智能手机用户的数量将达到 30 亿, 预计到 2021 年, 用户数量将达到 38 亿随着智能手机的普及, 用户习惯也逐渐转为移动化, 从桌面设备逐渐转为移动设备 ; 超过 20% 的用户每天会使用手机超过 50 次相比桌面设备, 移动端设备使用门槛低, 对用户更加友好, 兼容移动端, 能使得用户能够更加方便地更长时间地参与区块链网络, 这拓展了许多区块链的应用场景 ; 同时, 随着用户数量的增多, 节点在线时长的增加, 网络中的活跃节点也会增加, 可以有效地提高网络的稳定性同时, 移动端存储空间的扩大, 处理器处理速度的提升, 使得现在移动设备的性能完全不弱于一般的笔记本目前主流的智能手机, 都内置 128G 乃至 256G 的存储, 外置的卡槽, 更是可以支持上 T 的闪存同时, 超过 2Mb/s 的 4G 网络速度更加合理的资费套餐, 已经足以支撑移动设备之间的网络同步因此, 无论是在移动设备性能方面, 还是在移动网络性能方面, 都是一笔可观的资源, 足以支持移动设备尝试参与区块链网络此外, 支持移动端设备的协同计算也已经存在许多研究 BOINC( 伯克利开放式网络计算平台 ) 很早就发布了安卓版本, 基于 BOINC 平台,HTC 推出了 Power to Give 程序, 三星也推出了 Power Sleep 程序这些应用都可以将闲置时间的 CPU 运算能力集中利用起来, 并且通过对于温度控制, 带宽使用及能耗方面进行严格的限制, 使应用对实际使用的影响几乎可以忽略临风云已经完成 Hadoop 重构, 并在手机集群中完成了验证, 同时也在手机集群上实现了基于 GPU 的人脸识别计算框架, 支持更多的人工智能应用这些都证明了利用移动设备的计算能力存储能力进行协同计算的可能性, 使得移动设备可以整合互相之间的账本数据, 共同记账共同打包共同验证共同查询而数据外网传输移动设备资源调度也都存在着相应的解决方案从本质上讲, 进行数据交互的, 移动端区块链应用和其他移动端应用没有什么区别其数据通信频率远低于 WeChat, Line, WhatsApp 等即时通信软件 ; 其数

7 据同步大小远低于视频类直播类移动应用软件 ; 其计算压力方面, 远低于现在的各种手游类项目因此, 在移动端运行区块链网络必然成为未来区块链网络的发展趋势, 并且, 目前的移动端硬件性能与软件技术已经足以支持移动端参与区块链网络然而, 想要真正构建一个兼容移动端的高性能区块链网络, 仍有以下问题亟待解决存储压力问题现有的区块链解决方案要求全节点保存所有的区块数据, 这给移动端带来巨大的存储问题移动端的性能虽然已经非常强大, 但是线性增长的区块链网络带来的存储压力, 还是让运行全节点成为单一设备很难承担的负担以比特币网络为例, 一个全节点的区块数据已经超过 140GB, 远超出大部分设备的存储能力现有的移动端区块链方案无法解决存储问题, 所以只能在移动端运行轻节点或者无状态节点无状态节点完全依赖于其他全节点, 所有的查询和交易请求都是通过向其他节点发出网络请求进行, 并且无法验证交易的真实性 SPV 轻节点只保存区块链的区块头, 所以相比无状态节点, 可以通过区块头去验证其他节点返回的交易这种解决方案依然极大地依赖于别的节点, 完全无法独立查询交易和状态存储压力问题同时会带来网络负载不均衡问题和同步拥堵的问题由于轻节点和无状态节点不负责账本数据的上传与同步响应数据同步请求和交易数据的验证和打包, 于是所有账本的上传与同步交易数据的验证与打包压力都集中在全节点上随着区块链网络中的轻节点和无状态节点数量越来越多, 现有的区块链网络中存储账本信息的全节点数量明显不足, 并且随着区块链账本的增大和区块链网络的发展, 全节点和轻节点的比例将进一步失衡整个网络底层拓扑结构处在一种负载不均衡的状态中, 相当于整个网络的存储负载压力都集中于相当小比例的全节点上

8 目前, 区块链网络的规模还相对较小, 但却已经出现了同步数据时间过长的问题尤其是以太坊网络产生区块的速度较快, 很容易在某些时间点, 因为底层网络对等方的缺失或网络延迟较高, 导致数据同步速度跟不上网络出块速度, 使得底层网络数据不均衡化的问题进一步加重当网络规模不断扩大时, 这种负载不均衡的对等网络, 受制于网络的上传带宽, 会出现同步拥堵的情况同时随着网络的存储负载压力集中, 网络会越来越中心化主链性能问题现有的共识算法无法达到公平与效率的平衡, 使得主链存在很大的性能问题现有的主链难以支持高吞吐量的交易和大规模的活跃用户使用工作量证明 (PoW) 的共识算法, 在网络性能方面有极大的限制, 网络的吞吐量完全无法负载用户正常的网络需求比特币网络的吞吐量理论值为每秒 7 笔, 难以消化商业场景的日常需求, 而目前 VISA 信用卡结算网络的吞吐量可以达到每秒上万次交易, 支付宝网络在数次双十一测试之后更高达十万笔每秒 PoW 算法为了防止分叉和双花, 需要等待多个区块去确认交易, 进一步增加了用户从发出交易到确认交易之间等待的时间, 用户体验不佳这种高延时会大大阻碍用户使用区块链构建的应用, 也会阻碍开发者使用区块链构建应用 BFT 算法虽然在系统的吞吐量上有所提升, 但在大规模节点之间的共识上, 仍旧存在巨大的系统效率问题 PBFT 额外要求网络封闭, 即节点数目确定并提前互通, 虽然将复杂度从指数级降低到多项式级, 但这种三段式共识算法在投票

9 过程中, 依然会因协调节点而产生大量的信息传递, 网络性能随参与共识的节点数量增加而迅速下降, 很难支持大规模网络节点例如使用 PBFT 算法的 HyperLedger 就很难支持一百个以上的节点, 否则系统的共识速率依旧会变得非常低这极大地限制了在区块链应用中参与共识的节点规模, 显然不能满足大规模区块链应用的落地智能合约使用门槛过高现有的智能合约门槛过高, 使得用户开发和部署智能合约的难度非常大不仅非专业的编程人员难以开发智能合约, 即使对专业的编程人员来说, 智能合约语言本身无浮点数无溢出检测引用困难难以调试部署困难等等问题, 也加大了智能合约的使用难度智能合约被认为是下一代区块链网络发展的关键技术以太坊和超级账本引入的智能合约加区块链的概念极大的拓展了区块链的应用场景智能合约是构建于区块链网络架构之上的一种账户交互方式, 以预设合约内容预定义触发权限的方式完成账户间点对点的交互构建去中心化的智能合约可以减少第三方的参与度, 提高社会运转效率区块链数据的不可篡改公开透明等特性给智能合约的发展提供了必要保证, 使之能保持客观和公信, 减少社会争议目前以太坊和超级账本等区块链网络, 都已经实现了图灵完备的智能合约机制但是由于不同区块链网络的编程语言不统一编程技术门槛高部分网络上智能合约的权限结构复杂, 普通用户难以对智能合约进行自定义, 因而限制了智能合约的灵活性和应用范围, 影响了区块链技术对社会生活的普及和渗透数据私密与监管问题现有的区块链平台难以平衡数据私密和监管的矛盾目前的大部分的区块链网络为了保证数据的公开性, 采取了一种激进透明的数据隐私方案, 将所有的交易数据和合约数据都公开化但是对于某些特定的合约, 合约的参与者可能会希望保持合约的私密性, 或者有选择地公开合约数据,

10 例如在医疗领域, 用户可能会希望保持医疗数据的隐私性虽然区块链网络的账户是匿名的, 但如果区块链应用与线下或线上场景结合, 例如中心化交易所的交易行为线下的支付行为, 必然会发生导致账户与个人身份之间建立联系, 因此, 数据的完全公开对个人来说, 是非常危险的然而如果运行完全隔离的私链去保存隐私的数据, 在私链的节点规模较小的情况下, 一旦节点之间发生纠纷, 即节点保存的区块数据不同, 便难以仲裁, 整个私链网络也会发生分叉面临崩溃同时, 用户需要频繁地注册切换不同的私链网络, 也很难完成不同私链上的跨链交易目前也有一些区块链平台使用零知识证明环签名等技术, 实现了完全的私密性即, 在不知道账户历史交易具体余额的同时, 验证交易的正确性但在某些应用场景例如打车共享经济中, 需要数据在必要时的公开透明并且, 这种完全匿名性的区块链网络, 更适合用户之间进行纯粹的数字货币交易, 对于频繁请求查询和更改合约状态需要存储状态树的基于智能合约的去中心化应用来说, 并不合适

11 Core Features of Virgo Network Virgo Network 是一种高度自治和治理透明的, 高速弹性区块链网络 Virgo Network 基于双链结构设计, 交易链负责处理日常交易数据, 治理链负责记录议员节点和其他节点的行为数据 ; 基于众包的思想, 引入了工分证明的机制, 对网络中的节点行为进行了细分 Virgo Network 中双链架构和工分证明的机制, 可以有效的透明的对节点行为进行治理, 给予工作节点更多的奖励, 给予作恶节点更多的惩罚为了打造更具有鲁棒性的网络架构,Virgo Network 提出了弹性网络的网络架构, 基于我们的状态机剪枝算法, 移动端节点可以存储一部分的数据, 以弹性节点的方式加入到网络中, 而不仅仅以轻节点或者无状态节点的方式弹性网络解决了网络数据分布不平衡的问题, 缓解了在数据日益增长的区块链网络中, 随着全节点存储压力不断升, 全节点数量日益减少, 导致的网络中数据流动性差, 并且经常出现的节点数据同步追不上区块打包速度等问题在提高区块链网络效率方面, 我们提出了 V-BFT 系列算法和 Hydra 算法 V-BFT 是一系列高效的分布式算法, 结合了双链架构的 V-BFT 算法可以选择网络中更稳定更高效的节点来进行区块的打包和验证 V-BFT 算法包含了完整的网络容错机制, 使得 Virgo Network 可以在加入了移动网络的复杂网络情况下, 能够速恢复, 保证网络的运行质量, 增加网络的鲁棒性我们同时引入了 Hydra 算法, 一种动态弹性的网络扩容方案, 来解决网络瞬时拥堵的问题考虑到真实场景中对隐私的需求, 我们提供了一种动态的侧链解决方案, 用户可以动态从某个交易链上的区块开始, 创建一条自己的侧链, 侧链内容和侧链具体的合约信息交易信息仅供创建者和创建者批准的人可见该方案在缓解交易主链压力的情况下, 同时为一部分用户解决数据隐私问题我们将在接下来的部分详细的讲解 Virgo Network 的特性

12 Virgo Network 双链架构在类似 Zookeeper Kafka 的传统的分布式调度系统和分布式数据库系统中, 节点是否会被选为主节点依赖于节点长期的运行状态当某些节点在历史数据上经常处于网络延时高, 或者网络丢包等不稳定状态时, 在竞选主节点时的权重就会相对的降低, 甚至无法参与主节点竞选基于这种思想, 在 Virgo Network 中我们引入了治理链和交易链的双链设计如下图 Fig 1 所示 Fig 1 - Virgo Network 双链架构交易链负责记录常规链上交易行为 rtx 治理链上负责记录节点的行为数据 btx( 关于治理链的具体描述, 请见章节 : 治理链节点与治理链共识 ) 在 Virgo Network 中, 网络会按打分模型评估节点的选举任期的表现, 来对节点进行打分根据打分结果将获得奖励或者惩罚同时, 分数的高低直接决定了节点能否成为交易链上的议员节点对于节点 w 在选举任期 E 内的分数 ts ' 按照如下的公式进行计算 / 0 ts ' = * TS(i) φ(w, i) + α ts '; l = 记录了在选举任期 E 内节点行为数据 btx 的集合, 代表了网络状态的真实统计值 TS(i) 函数用于量化节点某一行为的具体数值, 恶意行为会返回一个负值, 对网络有益的正向行为会返回一个正值为了增大作恶成本, 恶意行为的惩罚要比正向行为收益大得多具体的行为数据的细节, 请参考工分证明中的 Table 1 节点行为表

议员节点选举交易链上负责验证和打包区块的节点称为议员节点议员节点的选举结果依赖于交易链上的打分结果区块链网络由于基于去中心化的网络结构, 网络节点分散在不同的地理位置并且存在不同的网络环境中为了保证网络的稳定性和链上数据的一致性, 我们在设计 Virgo Network 的时候,

13 φ(w, i) 是一个判断函数, 用于判断记录 i 与节点 w 的关系, 当交易 i 与节点 w 相关,φ 函数返回 1, 当交易 i 与节点 w 无关,φ 函数返回 0 ts '; 记录了节点 w 过去 k 个选举任期的考核成绩的平均值,α 作为调和因子调节过去历史数据对当前分数的影响程度通过加入过去 k 个任期的数值作为调和参数, 诚实节点由于历史数据较好, 更加有可能会持续服务, 并将更有可能被选为议员节点来获取更多的收益对于恶意节点, 由于历史数值较差, 需要在停止恶意行为后更长时间对网络做更多的贡献, 才能有机会参与网络的打包议员节点选举交易链上负责验证和打包区块的节点称为议员节点议员节点的选举结果依赖于交易链上的打分结果区块链网络由于基于去中心化的网络结构, 网络节点分散在不同的地理位置并且存在不同的网络环境中为了保证网络的稳定性和链上数据的一致性, 我们在设计 Virgo Network 的时候, 没有依赖于真实的物理时间作为计时依据, 而是选用了交易链上的块数作为记录标准在 Virgo Network 中, 我们用交易链上的 K 个区块时间来标记一个议员节点任期议员节点竞选的周期如 Fig 2 所示 Fig 2 - 议员节点竞选周期图 l 在议员任期 T = ( 区块时间从 N+M 至 N+K+M) 内, 希望参加竞选下一个任

14 期议员节点的节点 w 向网络中广播竞选议员的请求 l 治理链节点检查历史数据, 如果节点 w 的历史分值 ts '; 不为负, 则标记为候选节点 l 在交易链区块时间 N+K 时, 治理链广播打分结果, 确定任期 T =?3 的议员节点和备选节点 l 节点 w 如果被选为议员节点, 则开始进入准备期 ( 交易链上 M 个区块时间 ) l 新入选的议员节点从交易链 N+K+M+1 个区块开始打包为了保证议员节点在任期更换时网络的稳定性, 我们为下一任的议员节点们设置了 M 个区块时间的准备期 (0 < M < K) 在准备期, 新选上的议员节点需要与上一任期的议员节点进行网络桥接, 从而保证新任的议员节点的交易链数据一直更新到最新区块的状态对比现有的区块链网络在目前的运行的区块链系统中, 无法对节点的行为进行透明有效可审计的治理大多数在运行的区块链系统, 例如 Bitcoin 和 Ethereum 都使用了单一主链的架构单一主链的架构, 没有对链上行为进行细分, 并且链上只有交易数据, 没有节点的行为记录矿工负责打包和验证区块, 进行链上治理每个区块的第一条交易, 记录了是哪个矿工打包了该交易但是对于链上的一些恶意行为, 单链架构无法记录这些节点的行为数据, 从而过滤掉他们的行为或对他们进行惩罚例如 : l 在以太坊网络中, 经常出现在网络极其拥堵时, 矿工仍然打包空的区块, 造成网络进一步拥堵 l 在以太坊网络中, 矿工对与某些合约的交易进行操纵, 选择性打包甚至忽略交易 Fig 3- 以太坊空块 (Block / / /)

15 Table 1 - Virgo Network 与 Bitcoin, Ethereum 治理对比 Bitcoin Ethereum Virgo Network 区块链结构单链单链双链打包节点来源大矿池大矿池自由竞选打包节点行为审计无无有恶意行为惩罚无无有综上,Virgo Network 的双链设计使得网络中节点的竞选更加的随机, 稳定和惩罚分明治理链节点与治理链共识治理链节点使用了 V-Raft 算法来完成共识 Raft 算法是一种高效的分布式算法, 被广泛的运用与分布式系统 (Zookeeper) 和联盟链网络 (Hyperledger 1.0) 中治理链上的基本流通的数据为 btx 治理链与交易链数据不同地方在于, 治理链并没有明显的区块的概念治理链每个选举任期会生成一个账本页 l =, 账本页 l = 记录了在该任期内所有 btx 数据的集合账本页数据构成的数据载体称为账本 L 用公式可以表示为: l = = AbTX = 3, btx =B,, btx =D E (m = l = ) L = {l 3, l B l I } (n = L ) 不同于以往的 Raft 算法直接验证客户端请求的方式, 我们引入了交易池 (Transaction Pool) 的概念来暂存来自网络中的行为数据一次完整的治理链节点的共识过程如图 Fig 4 所示 : l 首先, 治理链节点采用了一种主动监听的策略, 不断的从网络中获取和记录节点广播的行为数据, 并将这些数据暂存到本地交易池中 l 当前主节点 ( 详见 Raft 算法主节点选举 ), 从消息队列 ( 来自本地交易池数据 ) 中, 取出交易 btx 1, 并广播给其他治理链节点进行验证 l 当交易验证通过后, 节点将该交易记录到当前的治理链账本页 l = 上

16 Fig 4 - 治理链节点验证过程与传统的分布式网络不同的是, 区块链底层网络基于 P2P 网络协议相对于传统分布式网络的机房模式, 区块链底层网络稳定性稍差, 节点处于拜占庭状态的可能性增大在传统的 Raft 为基础的解决方案中, 要求每个节点持有相同的数据副本但是在区块链网络中, 即使我们引入了交易池这一缓冲机制, 也会因为网络原因, 出现各个交易池中数据不一致问题例如, l 交易数据 btx 1 被主节点嗅探到, 加入到交易池中 l 但是因为网络延迟问题, 其他节点没有及时收到这条交易信息 l 当主节点, 向其他节点请求验证数据 btx 1 时由于其他节点没有这条数据导致验证不通过, 造成系统的 FN(False Negative) 率升高 (FN 是指系统把正确的数据识别为错误的数据 ) 为了解决这一问题, 我们考虑了恶劣网络环境下, Raft 算法的分布式一致性问题, 并提出了优化版本 V-Raft V-Raft 算法是一种启发式算法, 它不需要 Raft 节点处于日志完全一致性状 Raft 算法中, 需要每个节点复制完全相同的日志数据, 即交易池数据完全相同 )

17 V-Raft 算法在解决日志不一致性方面有两个主要的实现点 : l 基于概率模型, 节点来尽可能选出其他节点同样持有的交易数据, 从而降低算法的 False Negative rate l 引入了 Reburn Cache 机制 (Fig 4 中主节点 G N 中的黄色部分 ) 主节点需要在维护交易池之外额外维护数据暂存区 Reburn Cache 基于数据队列结构, 主节点会暂存一些, 可能因为数据包延迟导致没有通过验证的交易数据目前参与治理链数据的验证和打包不会获得交易链上的区块奖励为了激励节点参与治理链共识,Virgo Network 治理委员会会预留出支付治理链节点的治理费用在 Virgo Network 测试版本中, 除了 Virgo Network Core Team 外, 我们会邀请社区中的志愿者和合作伙伴一起加入到治理链的治理节点中, 测试更高效的治理方案交易链共识在 Virgo Network 中, 一切设备都有机会参与 Virgo 网络的共识, 包括服务器 PC, 更重要的是包括轻量级设备比如智能手机交易链上负责验证和打包区块的节点称为议员节点, 如章节 : 议员节点选举介绍, 议员节点的选举, 基于治理链上的区块结果在 Virgo Network 的交易链上, 治理委员会由议员节点构成, 每届治理委员会任期的限制任期结束后, 需要重新选举议员节点议员节点的任期由交易链上的 K 个区块时间来决定交易链每经过 K 个区块后, 治理链节点根据当前的治理链账本 l = 上的数据, 计算参与竞选的候选节点 C 1 的工分 ts PQ 并根据工分进行排序, 票选出票数最高的 N 个节点作为议员节点 S 3, S B,., S S 同时, 记录剩下的 W 个节点作为网络的备选节点 Max(Candidate Nodes) < N + M 为了保证网络中的传输质量, 我们使用轮询的方式让议员节点来产生新的区块在每个委员会任期内, 首先随机选举一个议员节点 S^ 作为生产节点, 同时根据

18 网络平均延迟, 标记与 S^ 节点之间网络延迟最小的节点作为下一个生产节点, 并将标记的节点信息进行广播议员节点 S^ 在生产 10 个区块之后, 将打包权转移给网络延迟最小的议员节点 S _ 来进行区块验证和打包 10 个区块之后议员节点 S _ 再将打包权转移给议员节点 S / 以此类推 Fig 5 - 议员节点打包权轮换如图 Fig 5 所示, 在该 6 人的委员会中, 节点 S` 是当前的打包节点,S` 节点会标记与其平均延迟最低的 S N 节点 (20ms) 作为下一个区块的生产节点议员节点 S 1 在打包区块后, 会将区块广播给其他议员节点其他议员节点收到区块后, 会对区块进行验证如果验证通过, 议员节点将广播验证通过到网络中, 如果超过三分之二的节点都标记了通过, 则议员节点们会将该区块加入到区块链中, 该区块变为不可更改的状态网络容错我们使用最近的 n 个区块的平均区块时间 bbb T a (i = 1,2, n), 记录为一次区块 RTT (Round Trip Time), 作为衡量议员节点工作的标准当某个正在打包的议员节点在 r 个 RTT 时间内, 没有向其他议员节点更新区块, 将被委员会标记为失联节点按照顺序, 区块的打包权自动顺延失联节点的出现严重影响了区块链网络的性能, 所以我们加大了对包括失联节点

19 在内的其他出现拜占庭状态的节点的惩罚机制恶意行为会被记录到到治理链上同时治理链还会特殊标记这些节点, 并在议员节点竞选的 Q 个任期内, 过滤掉这些节点的竞选请求, 作为惩罚工分证明在自然界中, 蚂蚁的社会按照职能的不同划分出了不同的蚁种在传统分布式系统中, 不同的设备执行存储, 计算, 分发等不同的任务, 系统效率大大提高在目前区块链网络中的节点在执行不同的任务, 但是却没有按功能对节点进行具体的划分我们参考一个 Virgo Network 中的一个普通节点需要基本函数构成如图 Fig 6 所示 Fig 6 - Virgo Network 节点启动相关的基本函数如上图所示, 在 Virgo Network 中一个节点 w 启动并运行需要的基本函数有 : l 检查当前连接的对等节点

20 l 获取当前连接的对等节点的列表 l 如果当前节点没有连接到网络中其他对等节点, 需要添加种子节点, 去发现其他的节点的存在 l 在节点连接到对等节点之后, 向网络中查询请求最新的区块数据 l 如果有本地存储的最后区块 N 的高度小于网络中最新区块 N /`efge, 节点调用同步区块函数, 获取区块 N 1 (N < N 1 N /`efge ) l 基于最新的区块数据进行交易验证之后, 节点可以广播交易请求, 最终被议员节点打包到区块中根据上述过程, 我们可以看到在一个完整的节点启动到交易过程中, 至少存在如下的功能节点 : 1. 帮助节点 w 发现和连接其他节点数据的种子节点 (Seed Node) 2. 相应节点 w 区块查询数据请求, 并返回了区块数据的存储了区块数据的节点 3. 帮助节点 w 广播交易数据的转发节点 4. 打包节点 w 交易数据的打包 / 矿工节点有了这些节点的贡献, 一次区块链上的交易行为才成功并写入到区块链上但是在目前运行的区块链网络, 如 Bitcoin, 只有上述第四种的矿工节点才能获取到区块奖励上述例如节点 1-3 的行为需要消耗大量流量, 带宽和存储空间, 但是却无法或得区块奖励区块链网络是一个数据持续增长型网络但存储数据并不能给节点带来收益, 同时存储数据需要占据大量的存储空间, 响应其他节点的查询请求需要消耗流量和带宽因此越来越多的节点选择以轻节点的方式加入到网络中轻节点同样需要依赖全节点来请求数据由于网络中存储数据节点越来越少, 越来越难以连接, 网络同步数据越来越慢, 网络鲁棒性越来越差我们在设计 Virgo Network 时, 引入了众包的思想我们认为一切对底层网络的运行和维护有正向作用的行为都应当获得一定的奖励不同于其他网络的单链架构, 基于 Virgo Network 的双链架构, 节点的行为可以有效的被记录到治理链上

21 我们列出了常见的网络中的正向行为表, 如 Table 2 所示 Table 2 - Virgo Network 的正向行为表正向行为描述打包区块 Virgo 网络中的 Mining 行为, 维护了网络的基本运转活跃 P2P 节点 Virgo 网络中活跃的节点, 充当了 P2P 网络中, 交易, 查询等流量的中转站, 保证了网络的连续性与拓展性活跃存储节点 Virgo 中活跃的存储节点, 保证了 Virgo 账本的完整性, 同时也维护的账本的可靠性与安全性同时帮助了新加入网络的节点同步账本种子节点 (Seed node) 种子节点在网络中帮助节点发现其他节点的存在, 维护 P2P 网络的延展性与连贯性回应查询请求回应其他节点的查询请求, 有利于网络中节点数据的共识和统一帮助节点及时验证, 发现和更新错误的出错的账本数据目前的区块链网络对恶意行为没有有效的惩罚措施, 导致作恶成本很低很多时候, 节点的恶意行为导致了的网络的效率降低和网络拥堵在 Virgo Network 中, 我们引入了基于工分的惩罚机制, 对节点的恶意行为进行记录正常节点可以通过请求治理链, 获取恶意节点的记录数据这样可以断开与恶意节点的连接, 屏蔽掉来自恶意节点的网络数据我们列举了常见的网络恶意行为, 如 Table 3 所示

22 Table 3 - Virgo Network 的恶意行为恶意行为描述泛洪的查询请求恶意的广播查询请求, 造成网络拥堵不可验证交易恶意的不可验证或者双花的交易数据, 造成网络的交易拥堵恶意空块在网络交易拥堵时, 打包空区块节点失职被选上的议员节点, 处于拜占庭状态 ( 打包双花区块, 网络不稳定, 节点失联 ) 工分统计在 Virgo Network 的当前版本中, 治理链使用了一种被动策略, 来同步获取用户的治理链数据被动策略是指, 治理节点接受来自节点发出的明确的治理链数据为了适配被动策略, 在 Virgo Network 的底层协议的数据包中增加了三个字段, Tag, send_address, rev_address l Tag 用于标记流量行为 l send_address 用于标记流量的发起节点地址 l rev_address 用于标记流量的目标节点地址例如 : l Alice 向网络中发起了一条区块 k 的查询请求数据包 :REQUEST_BLOCK ALICE_ADDRESS DATA l Bob 回复了 Alice 区块 k 的数据数据包 : RETURN_BLOCK BOB_ADDRESS ALICE_ADDRESS DATA l ALICE 收到区块数据, 回复 Bob 并向治理链上发送 Transaction: ALICE_ADDRESS BOB_ADDRESS BLOCK_REQUEST_SOCRE 在我们的设计和实现中,Alice 回复 Bob 的请求是一种必然策略, 我们将这部分的代码写到了 Virgo Network 节点的底层实现中

23 Virgo Network 弹性网络元数据和簇数据首先, 我们考虑在某一时刻, 底层数据结构和存储的变化情况我们构造一个虚拟的网络存储结构 V-Network 1.0 如图 Fig 7 所示, 这是一个由 4 层结构构成的数据簇的集合 C, 共有 8 个参与的用户,C 1 (i = 1,2,8) 是最小的文件存储单元, 存储了用户 U 1 的相关数据, 称为元数据集图中 C 3B 表示了基于元数据集的抽象数据集, 它代表了元数据集 C 3 和 C B 的集合在这里给出 C 1^ 的公式定义 C 1^ = {C 1.. C^}(i j) C 11 = C 1 每个数据簇都对应一个数据的哈希摘要 S 1 注意, 只有同级数据级之间才可以进行哈希摘要, 相关的公式如下 S 1 = Hash(C 1 ) S 1^ = HashoS 1_ ps _^q 考虑用户 U 3 对应元数据集 C 3, 当且仅当 U 3 只与 U B 发生交易行为时, 对于 U 3 只需要关注元数据集 C 3 和 C B 的修改, 即数据集 C 3B 对于其他的用户的数据变动, 用户只需要关注他们的上层数据摘要 Fig 7 元数据和数据簇我们来考虑一个更复杂的情况, 还是在上述的网络 V-Network 中,Alice 有在一台超级本上运行着一个 V-Network 的节点 N 3 Alice 只和 Bob( 运行节点 N B ),

24 Sam( 运行节点 N r ) 发生过交易关系对 Alice 来说, 她只需要关注 C 3,C B, C r ( 可以抽象成 C 3B 和 C r ) 的数据就可以完成日常的所有验证工作, 对于网络中其他的数据,Alice 只需要存储他们的数据簇的哈希值这可以为 Alice 的超级本省掉了大量的存储空间当 Alice 需要与 Eric( 运行节点 N s ) 进行交易时, 只需要向网络中其他节点请求 C s 的具体数据, 并且可以使用 C s 的数据摘要 S s 进行验证数据的真实性 Fig-8 弹性节点示例 Virgo Network 基于上述示例, 用户可以在存储一部分数据的情况下, 验证交易的正确性, 引入了一种新型的节点架构, 弹性节点弹性节点与全节点和轻节点的对比如下表 Table 4 所示 Table 4 - 全节点, 轻节点与弹性节点对比全节点轻节点弹性节点数据存储负担重极轻轻独立验证性能否能网络贡献度高无中能否获取工分收益能不能能弹性节点处于一种介于全节点和轻节点之间的状态弹性节点相比全节点节省了大量的存储空间, 相比轻节点又可以在不依赖于全节点的情况下独立验证数

25 据由于存储了部分数据,Virgo Network 弹性节点可以响应其他节点的数据查询请求, 获取工分收益对于底层网络来说, 弹性节点为区块链网络增加了数据的备份, 可以使得区块链网络中数据的流通更加的平滑我们也考虑到了目前的移动设备的发展情况目前移动端设备的性能大幅度提升且在持续提升, 如 Table 5 所示, 最新发售的小米 8 手机的硬件条件已经达到 6G RAM 和 256GB 存储空间 Table 新发售的手机性能 (Android) 内存存储空间 vivo NEX S 8GB 256GB OPPO Find X 8GB 256GB SAMSUNG Note 9 6GB 128GB Mi 8 6GB 256GB 我们在移动端的弹性节点考虑了移动端电量优化和移动网络优化的问题具体的优化细节, 请参考 Virgo Network 移动端优化策略状态机剪枝算法弹性节点的构造依赖于我们提出的, 基于需求的状态机剪枝算法基于状态机剪枝算法, 可以在保证节点数据验证性的基础上, 大大减少节点的存储压力状态机剪枝算法是一种, 基于贪心的启发式模型状态机剪枝算法可以让节点保持网络中的一部分数据, 同时又能保证这些数据的可验证性 Virgo Network 动态侧链目前现有的区块链网络都采用了一种激进透明的数据隐私模式用户的所有数据, 包括交易数据甚至参与的合约数据都是公开的在一些真实的场景中, 用户需要一个相对隐私的环境来部署和参与合约 Virgo Network 提出了一种动态侧链的解决方案用户可以随时在 Virgo Network 上根据自己的需求, 在交易链上构建一条自己侧链 Virgo Network 的动态侧链解决方案可以 :

26 n 解决一部分用户的数据隐私的需要侧链上的内容对主链透明, 只有参与侧链的用户可以访问和查看侧链上的数据 n 可以某种程度的缓解主链压力, 比如链上的 IM 程序可以在侧链上进行一条侧链的构造过程与生命周期如图 Fig 9 所示 : Fig 9 - 侧链的构造与生命周期 l 首先,Virgo Network 的用户可以发送一类特殊的交易, 构建侧链交易到交易链上 l 当构建侧链交易被打包到交易链的区块 N 之后, 一条以该区块 N 为创世区块的动态侧链就构造完成了, 交易的发起人默认为侧链的管理员 l 侧链的默认出块方式为 POA 算法,Virgo Network 同时会开发其他公式算法版本的侧链供用户自己选择 l 其他用户在侧链管理员批准后, 可以参与到侧链的交易中 l 侧链会定期向交易链发送侧链上区块头的哈希值, 来保证数据的一致性动态侧链的方式, 在保护了一部分用户的数据隐私的情况下, 同时可以减轻主链的负载压力对于一些类似 IM 即时性游戏等需要大量合约交互的 Dapp, 基于 Virgo Network 动态侧链的方式, 开发人员可以更灵活的创建和治理 Dapp, 用户可以隐藏自己的部分数据

27 Virgo Network 开发路线图在面向大众的正式网络发布前 Virgo Network 会有两个版本的测试网络, 之后会持续开发主网 1.0 和 2.0 版本每个版本的时间预期与包含的框架技术点如下所示 2018 Q3 Q4 l 测试网 0.1 大熊座 (Testnet 0.1 Uma) 1. Virgo Network 双链结构 2. 交易链共识和治理链共识的 Virgo Network 基础架构 3. 开发动态侧链和基于动态侧链的一些 Dapp 4. 开放基于测试链的 PC 钱包 ( 命令行 ) 2019 Q1 Q3 l 测试网 1.0 大熊座 α (Testnet 1.0 Dubhe) 1. 状态机剪枝算法 2. Hydra 扩容算法 3. 迭代完善工分证明的惩罚和激励机制 4. 修复上个版本中出现的问题 5. 进行网络的压力测试, 主网上线做好准备工作 6. 发布正式版移动端和桌面钱包 7. Virgo Network 区块链浏览器 2019 Q4 l 主网 1.0 大熊座 β (Mainnet 1.0 Merak) 1. 修复在测试网络中出现的所有问题 2. 开放各个平台和环境的 Virgo Network 节点和钱包程序 3. 开源 Virgo Network 所有文档和代码 2020 Future l 主网 2.0 大熊座 γ (Mainnet 2.0 Phecda) 实现 Virgo Network 的分片和调度工作, 提升网络的整体效率, 加入零知识证明和同态加密的特性, 进一步保护用户的数据隐私 Virgo Network Core Team 会开发面向 Linux Server, Windows, Mac OS 和移动设

28 备版的节点和钱包程序我们的使用 Go 和 Java 语言开发服务器版本, 提供 Java 和 Kotlin 版本的 Android 版本最后,Virgo Network 是一个开放的社区网络, 我们欢迎开发者们加入我们, 一起完成 Virgo Network 的开发工作

29 参考文献 [1] Ongaro, Diego, and John K. Ousterhout. "In search of an understandable consensus algorithm." USENIX Annual Technical Conference [2] Nakamoto, Satoshi. "Bitcoin: A peer-to-peer electronic cash system." (2008). [3] Wood, Gavin. "Ethereum: A secure decentralised generalised transaction ledger." Ethereum project yellow paper 151 (2014): [4] Lamport, Leslie. "Paxos made simple." ACM Sigact News32.4 (2001): [5] Howe, Jeff. "The rise of crowdsourcing." Wired magazine 14.6 (2006): 1-4. [6] Brabham, Daren C. "Crowdsourcing as a model for problem solving: An introduction and cases." Convergence 14.1 (2008): [7] Doan, Anhai, Raghu Ramakrishnan, and Alon Y. Halevy. "Crowdsourcing systems on the world-wide web." Communications of the ACM 54.4 (2011): [8] [9] Buragohain, Chiranjeeb, Divyakant Agrawal, and Subhash Suri. "A game theoretic framework for incentives in P2P systems." arxiv preprint cs/ (2003). [10] Golle, Philippe, et al. "Incentives for sharing in peer-to-peer networks." Electronic Commerce. Springer, Berlin, Heidelberg, [11] Feldman, Michal, et al. "Robust incentive techniques for peer-to-peer networks." Proceedings of the 5th ACM conference on Electronic commerce. ACM, [12] H. Moulin, Game Theory for Social Sciences, NYU Press, New York, NY (1986). [13] S. D. Kamvar, M. T. Schlosser, H. Garcia-Molina, The EigenTrust Algorithm for Reputation Management in P2P Networks Proc. of the Twelfth International World Wide Web Conference, May, 2003 [14] Eytan Adar and Bernardo A. Huberman. Free riding on gnutella. First Monday,5(10),October 2000.

30 [15] D. Fudenberg and D. Levine. The Theory of Learning in Games. MIT Press,1998.

水晶分析师

水晶分析师大数据时代的挑战产品定位体系架构功能特点大数据处理平台行业大数据应用 IT 基础设施数据源 Hadoop Yarn 终端统一管理和监控中心(Deploy,Configure,monitor,Manage) Master Servers TRS CRYSTAL MPP Flat Files Applications&DBs ETL&DI Products 技术指标 1 TRS