分片技术探索:Shardeum的新突破

2022年9月15日,以太坊完成了备受瞩目的合并(Merge)。这标志着以太坊从工作量证明(PoW)过渡到权益证明(PoS)共识机制。然而,合并并不会直接带来更高的可扩展性、安全性和可持续性。真正能实现这些目标的是一整套解决方案:具有分片能力的主网搭配增强可扩展性的Layer2方案。

分片是可扩展性三难困境下的一种扩容解决方案。它通过将网络中的节点分成更小的组,处理不同的事务集并实现并行处理。这种方法类似于超市开设多个结账通道,可以直观地减少排队时间和提升效率。

然而,分片技术的实施过程中仍面临诸多挑战。本文将梳理分片技术的发展脉络,比较现有的分片解决方案,并探讨一种新的可行方向:Shardeum与动态分片。

一、关于"分片"

从以太坊作为坐标系原点出发,区块链的扩展性方法可分为两大类:

纵向扩容(Vertical Scaling): 通过提高系统现有硬件性能实现。这种方式简单有效,但会限制网络的去中心化水平。

横向扩容(Horizontal Scaling): 主要有三种思路:

1. 将交易计算量分散到多个独立区块链上
2. 模块化区块链,将基础架构划分为执行层、数据可用性层和共识层
3. 将一条区块链分成多个分片并行执行

每种扩容方案都在不可能三角中寻求平衡,配合系统的经济激励机制设计,达到宏观和微观层面的平衡。

分片技术面临的关键问题包括:

1. 网络分片:如何确定全网节点/验证者属于哪个分片?
2. 交易分片:如何确定每笔交易分配给哪个分片?
3. 状态分片:区块链数据如何在不同分片中存储?
4. 如何避免整个系统安全性的分裂?

网络分片(Network Sharding)

网络分片是指将区块链网络分片,由各个分片处理链上交易,争夺记账权。主要挑战是随着节点被划分,攻击者的难度和成本会直线下降。

解决方案通常是构建一定程度的无偏随机性,将攻击者的成功概率降到最低。例如以太坊采用随机从所有验证者中选出某个分片的验证者,并每6.4分钟更换一次。

交易分片(Transaction Sharding)

交易分片是指制定"哪些交易分配到哪些分片"的规则。不同账本模型对交易分片的实现有影响:

UTXO模型:需要跨分片通信。一种可能方式是根据交易的输入值进行哈希,确定分片。

账户/余额模型:只要将交易按发送者地址分片,就可以保证同一账户的多笔交易在同一分片处理,有效防止双花。

状态分片(State Sharding)

状态分片指区块链数据如何分配在不同分片中存储。主要挑战是跨分片交易的处理。

有两种思路:

1. 同步跨分片(Synchronous):每当执行跨分片交易时,相关块同时发生。实现复杂但用户体验好。
2. 异步跨分片(Asynchronous):更广泛采用,但面临交易原子性的挑战。

二、分片的探索与尝试

计算分片

Zilliqa是最早尝试分片的智能合约平台之一。它采用计算分片,即只进行计算分片,不进行网络和存储分片。这种方法简单有效,但网络带宽和存储仍是瓶颈。

静态状态分片

更通用的分片方法是将账户地址空间划分为固定大小的分片,并将节点分配给不同分片。Near、Elrond和Harmony等采用这种方法。

以太坊的数据分片构想

以太坊对未来分片的构想包括:

1. 基于"数据可用性"的分片
2. 为每个分片添加额外功能,使其更像今天的以太坊主网

Harmony

Harmony采用标准的分片方法,拥有多个称为分片的小型区块链和一个协调它们的信标链。

网络分片:将验证者网络分为不同分片。 交易分片:交易由单个分片处理。 状态分片:每个分片的验证者存储1/N的全局状态。

Harmony支持跨分片消息传递,但具体实现细节尚待完善。

Elrond

Elrond采用自适应状态分片和安全的权益证明共识机制。

它使用元链(Meta Chain)设计,可在几秒内快速确定跨分片交易。跨分片交易策略使用异步模型,先在发送者分片处理,再在接收者分片处理。

Near

Near提出了夜影协议(Nightshade),将系统建模为单一区块链,在块级别进行分片。

Near的跨分片交易需要在每个相关分片中连续执行。完整交易先发送到第一个受影响的分片,然后生成收据交易路由到下一个分片,依此类推。

三、Shardeum与动态状态分片

Shardeum提出了两种新颖的解决方式:

3.1 交易级共识

Shardeum网络上的共识在每个交易级别而不是块级别完成,允许跨分片同时处理交易。这种交易级共识消除了确保原子处理所需的复杂性,可实现秒级finality和低延迟。

3.2 线性扩展

Shardeum使用动态状态分片,每个节点可持有不同的地址范围,覆盖的地址之间存在重叠。这种方法复杂度更高,但允许真正的线性扩展。

通过地址空间和节点对应关系的动态变化,以及新的数据可用性证明,Shardeum可实现近似的"线性扩展"。

Shardeum目前拥有10个分片,每个分片128个节点,共1280个节点。2022年第四季度,主网预计上线。虽然仍在开发中,但底层Shardus技术已被证明可实现线性扩展。

2022年8月,Shardeum在测试网Liberty 2.0上展示了100TPS的能力。目前使用50个节点进行测试,每个节点存储约1/5的总数据,执行1/5的总交易。

四、结语

真正可扩展的分片区块链需要从头构建。同样,建立一个坚实的社区也需要长期努力。Shardeum测试网上线后,活跃的测试人数和交易数令人鼓舞,但也面临一些质疑声音。

我们相信,只有在Web3大规模采用时,高性能去中心化的公链才能脱颖而出。那些经历质疑、公开讨论和反复论证的社区,才能在去中心化道路上走得更远。