从冷数据到热数据：去中心化存储从Filecoin到Shelby的演进之路

2025-08-03 11:48:13

从Filecoin到Shelby:去中心化存储的演进之路

存储曾是区块链行业的热门赛道之一,Filecoin作为上轮牛市的龙头项目,市值一度超过100亿美元。Arweave以永久存储为卖点,最高市值达35亿美元。随着冷数据存储可用性被质疑,永久存储的必要性受到挑战,去中心化存储的发展陷入瓶颈。Walrus的出现让沉寂已久的存储赛道再次引起关注,而Aptos与Jump Crypto联手推出的Shelby项目,则旨在推动热数据存储的应用落地。本文将从Filecoin、Arweave、Walrus和Shelby四个项目的发展历程出发,分析去中心化存储的演进路径,探讨其未来发展前景。

Filecoin:打造去中心化数据云

Filecoin作为早期崛起的代表性项目,其发展方向围绕去中心化展开,这也是早期区块链项目的普遍特征。Filecoin将存储与去中心化相结合,试图解决中心化数据存储的信任问题。然而,为实现去中心化而牺牲的某些方面,后来成为Arweave或Walrus等项目希望解决的痛点。

IPFS:架构去中心化,但受限于传输瓶颈

IPFS于2015年问世,旨在通过内容寻址颠覆传统HTTP协议。但IPFS最大的弊端是获取速度极慢,难以满足实际应用需求。IPFS底层P2P协议主要适用于"冷数据",即不常变动的静态内容,在处理热数据方面并无明显优势。

尽管IPFS自身并非区块链,但其采用的有向无环图设计理念与许多公链及Web3协议高度契合,使其成为区块链底层构建的理想框架。

Filecoin的经济模型

Filecoin的代币经济模型主要包括用户、存储矿工和检索矿工三个角色。用户支付费用存储数据,存储矿工因存储数据获得代币奖励,检索矿工在用户需要时提供数据并获取奖励。

这种模型存在潜在漏洞。存储矿工可能填充垃圾数据以获取奖励,且由于这些数据不会被检索,即使丢失也不会触发惩罚机制。Filecoin的复制证明共识仅能确保用户数据未被删除,无法阻止矿工填充垃圾数据。

Filecoin的运行在很大程度上依赖矿工对代币经济的持续投入,而非基于终端用户对分布式存储的真实需求。尽管项目持续迭代,但目前阶段Filecoin更符合"矿币逻辑"而非"应用驱动"的存储项目定位。

Arweave:长期主义的双刃剑

相比Filecoin构建可激励、可证明的去中心化"数据云",Arweave则专注于提供永久性存储能力。Arweave并不试图构建分布式计算平台,其整个系统围绕"重要数据应一次性存储并永久保存"这一核心假设展开。这种极端的长期主义使Arweave在机制、激励模型、硬件需求和叙事角度上都与Filecoin大相径庭。

Arweave以比特币为学习对象,致力于在长周期内不断优化永久存储网络。项目团队不在乎市场营销和竞争对手,专注于迭代网络架构。这种长期主义使Arweave在上轮牛市中受到追捧,也让其有望度过多轮牛熊周期。但永久存储的价值仍需时间验证。

从1.5版本到最新的2.9版本,Arweave主网一直致力于降低矿工参与门槛,激励矿工最大化存储数据,不断提升网络健壮性。在市场偏好不利的情况下,Arweave采取保守路线,不拥抱矿工团体,生态发展停滞,以最小成本升级主网,在保证网络安全的前提下持续降低硬件要求。

主要版本升级回顾

1.5版本暴露出矿工可依赖GPU堆叠而非真实存储来优化出块几率的漏洞。1.7版本引入RandomX算法,限制专业化算力使用,要求通用CPU参与挖矿,削弱算力中心化。

2.0版本采用SPoA机制,将数据证明转为默克尔树结构的简洁路径,引入格式2交易减少同步负担。这一架构缓解了网络带宽压力,显著增强节点协同能力。但部分矿工仍可通过集中式高速存储池策略规避真实数据持有责任。

2.4版本推出SPoRA机制,引入全局索引与慢哈希随机访问,要求矿工必须真实持有数据块才能参与有效出块,从机制上削弱算力堆叠效果。矿工开始关注存储访问速度,带动SSD等高速读写设备应用。2.6版本引入哈希链控制出块节奏,平衡高性能设备的边际效益,为中小矿工提供公平参与空间。

后续版本进一步强化网络协作能力与存储多样性:2.7增加协作式挖矿与矿池机制,提升小矿工竞争力;2.8推出复合打包机制,允许大容量低速设备灵活参与;2.9以replica_2_9格式引入新型打包流程,大幅提升效率并降低计算依赖,完成数据导向挖矿模型的闭环。

整体来看,Arweave升级路径清晰呈现其以存储为导向的长期策略:在不断抵抗算力集中趋势的同时,持续降低参与门槛,保证协议长期运行的可能性。

Walrus:热数据存储的新尝试

Walrus的设计思路与Filecoin和Arweave完全不同。Filecoin致力于打造可验证的去中心化存储系统,但仅适用于冷数据;Arweave专注于永久存储数据,但应用场景有限;Walrus则旨在优化热数据存储协议的成本。

RedStuff:魔改纠删码的创新与局限

Walrus认为Filecoin和Arweave的存储开销不合理。两者均采用完全复制架构,虽然具备较强的容错能力和节点独立性,但需要多副本冗余以维持鲁棒性,推高了存储成本。Walrus试图在两者之间寻求平衡,通过结构化冗余方式增强可用性,同时控制复制成本。

Walrus自创的RedStuff技术源于Reed-Solomon(RS)编码,是一种传统的纠删码算法。纠删码允许通过添加冗余片段将数据集加倍,用于重建原始数据。RS编码广泛应用于CD-ROM、卫星通信和二维码等领域。

RedStuff的核心是将数据拆分为主切片和次切片。主切片用于恢复原始数据,生成和分布受严格约束;次切片通过简单运算生成,提供弹性容错,提升系统鲁棒性。这种结构降低了对数据一致性的要求,允许不同节点短时存储不同版本数据,强调"最终一致性"。

RedStuff实现了低算力、低带宽环境下的有效存储,但本质上仍属于纠删码系统的变体。它牺牲部分数据读取确定性,换取去中心化环境下的成本控制与扩展性。然而,RedStuff并未真正突破纠删码的编码计算瓶颈,而是通过结构策略避开了传统架构的高耦合点。其创新性更多体现在工程侧的组合优化,而非基础算法层面的颠覆。

Walrus与Sui的生态协同

Walrus的目标场景是存储大型二进制文件(Blobs),这些数据是许多去中心化应用的核心。在加密领域,这主要指NFT、社交媒体内容中的图像与视频。

虽然Walrus也提到了AI模型数据集存储和数据可用性层(DA)的潜在用途,但Web3 AI项目的退潮使相关应用前景不明朗。在DA层方面,Walrus能否成为有效替代者,还需等待Celestia等主流项目重新引发市场关注后才能验证。

因此,Walrus的核心定位可理解为服务NFT等内容资产的热存储系统,强调动态调用、实时更新与版本管理能力。这也解释了Walrus为何需要依赖Sui:借助Sui的高性能链能力,Walrus能够构建高速的数据检索网络,显著降低运营成本,避免与传统云存储服务在单位成本上正面竞争。

据官方数据,Walrus的存储成本约为传统云服务的五分之一,虽然比Filecoin与Arweave贵数十倍,但其目标是构建可用于真实业务场景的去中心化热存储系统。Walrus本身作为PoS网络运行,核心职责是验证存储节点的诚实性,为系统提供基本安全保障。

对Sui而言,当前并不迫切需要链下存储支持。但若未来希望承载AI应用、内容资产化、可组合Agent等复杂场景,存储层在提供语境、上下文与索引能力方面将不可或缺。高性能链可以处理复杂的状态模型,但这些状态需要与可验证数据绑定,才能构建可信赖的内容网络。

Shelby:专用网络释放Web3应用潜力

在Web3应用面临的技术瓶颈中,"读性能"一直是难以突破的短板。无论是视频流媒体、RAG系统、实时协作工具,还是AI模型推理引擎,都依赖低延迟、高吞吐的热数据访问能力。现有去中心化存储协议虽在数据持久性和去信任性方面有所进展,但因运行在公共互联网之上,无法摆脱高延迟、带宽不稳定和数据调度不可控的限制。

Shelby试图从根源解决这一问题。首先,Paid Reads机制重塑了去中心化存储中的"读操作"困境。传统系统中,读取数据几乎免费,缺乏有效激励导致服务节点普遍懒于响应。Shelby引入按读取量付费模型,将用户体验与服务节点收入直接挂钩:节点越快、越稳定地返回数据,就能获得更多回报。这不是附带的经济设计,而是Shelby性能设计的核心逻辑。

其次,Shelby引入专用光纤网络,为Web3热数据的即时读取构建了高速通道。这一架构绕过了Web3系统普遍依赖的公共传输层,将存储节点与RPC节点直接部署在高性能、低拥塞、物理隔离的传输骨干上。这不仅显著降低了跨节点通信的延迟,还确保了传输带宽的可预期性和稳定性。Shelby的底层网络结构更接近AWS内部数据中心之间的专线部署模式,而非其他Web3协议的"上传到某个矿工节点"逻辑。

这种网络层面的架构反转,使Shelby成为首个真正有能力承载Web2级别使用体验的去中心化热存储协议。用户在Shelby上读取4K视频、调用大型语言模型的embedding数据,或回溯交易日志,可以获得亚秒级响应。对服务节点而言,专用网络不仅提升了服务效率,还极大降低了带宽成本,使"按读取量付费"机制具有经济可行性,从而激励系统朝更高性能而非更高存储量演进。

在数据持久性与成本方面,Shelby采用Clay Codes构建的Efficient Coding Scheme,通过MSR与MDS最优编码结构,实现低至<2x的存储冗余,同时保持11个9的持久性与99.9%的可用性。这不仅技术上更高效,成本上也更具竞争力,为重视成本优化和资源调度的dApp开发者提供了"既便宜又快"的选择。