# FilecoinからShelbyへ:分散型ストレージの進化ストレージはかつてブロックチェーン業界の人気のある分野の一つでした。Filecoinは前回の牛市のリーダープロジェクトとして、市場価値が一時100億ドルを超えました。Arweaveは永久ストレージを売りにし、最高で市場価値が35億ドルに達しました。冷データストレージの利用可能性が疑問視される中、分散化ストレージの必要性も議論を引き起こしています。Walrusの登場は長らく静まり返っていたストレージのストーリーに新たな活力をもたらし、AptosとJump Cryptoが発表したShelbyプロジェクトは分散化ストレージをホットデータ領域の新たな高みへと押し上げることを目指しています。では、分散化ストレージは再び台頭し、広範な応用シーンを提供できるのでしょうか?それとも単なる再度の投機に過ぎないのでしょうか?この記事では、Filecoin、Arweave、Walrus、Shelbyの4つのプロジェクトの発展の道筋を分析することで、分散化ストレージのストーリーの変遷を探り、この問いに答えようとしています:分散化ストレージの普及までにはどれほどの距離があるのでしょうか?! [FilecoinとArweaveからWalrusとShelbyへ:分散型ストレージの人気からどれくらい離れていますか? ](https://img-cdn.gateio.im/social/moments-1ebd281e65dedbe6216b5e1496a2963e)## FIL:ストレージの名、マイニングの実Filecoinは初期に登場した暗号通貨プロジェクトの一つで、その発展方向は分散化を中心に展開しています。これは初期の代替トークンの一般的な特徴であり、さまざまな伝統的な分野において分散化の意義を見出そうとしています。Filecoinはストレージを分散化と結びつけ、中央集権的なデータストレージサービスプロバイダーには信頼リスクが存在することを強調しています。しかし、分散化を実現するために犠牲にされたある側面は、後にArweaveやWalrusなどのプロジェクトが解決しようとした痛点となりました。Filecoinが実質的には単なるマイニングコインであることを理解するためには、その基盤技術であるIPFSがホットデータを処理するのに適していないという客観的な制約を理解する必要があります。### IPFS:分散化アーキテクチャの伝送ボトルネックIPFS(インター・プラネット・ファイルシステム)は2015年頃に登場し、コンテンツアドレッシングを通じて従来のHTTPプロトコルを覆すことを目的としています。IPFSの最大の欠点は取得速度が非常に遅いことです。従来のデータサービスプロバイダーがミリ秒単位の応答を達成できる時代においても、IPFSでファイルを取得するには十数秒かかります。これにより、実際のアプリケーションでの普及が難しくなり、少数のブロックチェーンプロジェクトを除いて、伝統的な業界での採用がほとんどない理由が説明されます。IPFSの基盤となるP2Pプロトコルは、主に「コールドデータ」、つまりあまり変動しない静的なコンテンツ、例えば動画、画像、文書などに適しています。しかし、ダイナミックなウェブページ、オンラインゲーム、または人工知能のアプリケーションなどのホットデータを扱う際には、P2Pプロトコルは従来のCDNに対して明確な利点はありません。IPFS自体はブロックチェーンではありませんが、採用されている有向非巡回グラフ(DAG)の設計理念は、多くのパブリックチェーンやWeb3プロトコルと高度に適合しており、ブロックチェーンの基盤構築フレームワークとして自然に適しています。したがって、実用的な価値が欠如していても、ブロックチェーンの物語を支える基盤フレームワークとしては十分です。初期の代替コインプロジェクトは、壮大なビジョンを開始するために動作するフレームワークだけが必要でしたが、Filecoinが一定の段階に達すると、IPFSによってもたらされる制約がその前進を妨げ始めました。### ストレージの外衣の下のマイニングコインのロジックIPFSの設計の目的は、ユーザーがデータを保存する際に、ストレージネットワークの一部としても機能できるようにすることでした。しかし、経済的インセンティブが欠如している状況では、ユーザーが自発的にこのシステムを使用することは難しく、活発なストレージノードになることはなおさら困難です。これは、ほとんどのユーザーがファイルをIPFSに保存するだけで、自分のストレージスペースを提供したり、他の人のファイルを保存したりしないことを意味します。このような背景の中で、FILが登場しました。Filecoinのトークン経済モデルには主に3つの役割があります:ユーザーはデータを保存するための料金を支払う責任があり;ストレージマイナーはユーザーのデータを保存することでトークンのインセンティブを得ます;リトリーバーマイナーはユーザーが必要とする際にデータを提供し、インセンティブを得ます。このモデルには悪用の余地が存在します。ストレージマイナーはストレージスペースを提供した後、報酬を得るためにゴミデータを埋め込む可能性があります。これらのゴミデータは検索されないため、失われてもストレージマイナーの罰則メカニズムは発動しません。これにより、ストレージマイナーはゴミデータを削除し、このプロセスを繰り返すことができます。Filecoinの複製証明コンセンサスはユーザーデータが不正に削除されないことを保証することができますが、マイナーによるゴミデータの埋め込みを防ぐことはできません。Filecoinの運営は、ユーザーの分散化ストレージに対する真の需要に基づくのではなく、マイナーによるトークン経済への継続的な投入に大きく依存しています。プロジェクトは依然として継続的にイテレーションを行っていますが、現段階では、Filecoinのエコシステム構築は「マイニングコインロジック」により「アプリケーション駆動」のストレージプロジェクト定義により適合しています。## アーウィーヴ:長期主義の諸刃の剣もしFilecoinの設計目標がインセンティブがあり、証明可能な分散化された"データクラウド"を構築することであるなら、Arweaveはストレージの別の方向に極端に進んでいる:データに永続的なストレージの能力を提供すること。Arweaveは分散型コンピューティングプラットフォームを構築しようとはしておらず、その全システムは1つの核心的仮定に基づいて展開されている - 重要なデータは一度だけ保存され、ネットワーク上に永遠に残されるべきである。この極端な長期主義により、Arweaveはメカニズムからインセンティブモデル、ハードウェアの要求からストーリーの観点までFilecoinとは大きく異なっている。Arweaveはビットコインを学習対象とし、年単位の長期間にわたって永続的なストレージネットワークの最適化を試みています。Arweaveはマーケティングや競合他社、市場の発展動向に関心を持ちません。ネットワークアーキテクチャのイテレーションの道をただ進んでいるだけで、誰も関心を持たなくても気にしません。なぜなら、これがArweave開発チームの本質、すなわち長期主義だからです。長期主義のおかげで、Arweaveは前回のブルマーケットで熱烈に支持されました。また、長期主義のために、たとえ底に落ちても、Arweaveは数回のブルとベアを乗り越える可能性があります。ただ、未来の分散化ストレージにはArweaveの居場所があるのでしょうか?永続的なストレージの存在価値は時間によってのみ証明されるでしょう。Arweaveのメインネットは1.5バージョンから最近の2.9バージョンにかけて、市場の注目を失っているにもかかわらず、より広範囲のマイナーが最小限のコストでネットワークに参加できるよう努め、マイナーがデータを最大限に保存することを奨励し、ネットワーク全体の強靭性を向上させてきました。Arweaveは市場の好みに合わないことを深く理解しており、保守的なアプローチを取り、マイナーコミュニティを受け入れず、エコシステムは完全に停滞し、最小限のコストでメインネットをアップグレードし、ネットワークの安全性を損なうことなく、ハードウェアの敷居を継続的に引き下げています。### 1.5-2.9のアップグレードの道の振り返りArweave 1.5バージョンでは、マイナーが実際のストレージではなくGPUスタッキングに依存してブロック生成の確率を最適化できる脆弱性が明らかになりました。この傾向を抑制するために、1.7バージョンではRandomXアルゴリズムが導入され、専門的な計算能力の使用が制限され、一般的なCPUがマイニングに参加することが求められるようになり、計算能力の分散化が進められました。2.0バージョンでは、ArweaveはSPoAを採用し、データ証明をマークルツリー構造の簡潔なパスに変換し、フォーマット2の取引を導入して同期負担を軽減しました。このアーキテクチャはネットワークの帯域幅の圧力を緩和し、ノードの協調能力を大幅に向上させました。しかし、一部のマイナーは依然として集中型の高速ストレージプール戦略を通じて、実際のデータ保持責任を回避することができます。この偏りを修正するために、2.4ではSPoRAメカニズムを導入し、グローバルインデックスと遅いハッシュのランダムアクセスを取り入れ、マイナーがブロックの有効な生成に参加するためには実際にデータブロックを保有しなければならないようにし、メカニズム的に算力の積み重ね効果を弱めました。その結果、マイナーはストレージアクセス速度に注目し、SSDや高速読み書きデバイスの利用が促進されました。2.6ではハッシュチェーンを導入してブロック生成のリズムを制御し、高性能デバイスの限界利益のバランスを取り、中小マイナーに公平な参加のスペースを提供しました。今後のバージョンでは、ネットワーク協力能力とストレージの多様性がさらに強化されます:2.7では協力的マイニングとマイニングプールメカニズムが追加され、小規模マイナーの競争力が向上します;2.8では複合パッケージングメカニズムが導入され、大容量の低速デバイスが柔軟に参加できるようになります;2.9ではreplica_2_9形式で新しいパッケージングプロセスが導入され、効率が大幅に向上し、計算依存が低減され、データ指向マイニングモデルのクローズドループが完成します。全体的に見て、Arweaveのアップグレードパスは、ストレージを重視した長期的な戦略を明確に示しています:算力の集中傾向に抵抗し続けながら、参加の敷居を持続的に低下させ、プロトコルの長期的な運用の可能性を保証します。## Walrus: 熱データを抱きしめる革新的な試みWalrusの設計思想はFilecoinやArweaveとはまったく異なります。Filecoinの出発点は、分散化された検証可能なストレージシステムを構築することであり、その代償は冷データストレージです;Arweaveの出発点は、データを永続的に保存できるオンチェーンのアレクサンドリア図書館を構築することであり、その代償はシーンが少なすぎることです;Walrusの出発点は、ストレージコストを最適化するためのホットデータストレージプロトコルです。### 魔改糾削コード:コストの革新か、それとも新瓶に古酒か?ストレージコストの設計に関して、WalrusはFilecoinとArweaveのストレージオーバーヘッドが不合理であると考えています。後者の2つは完全複製アーキテクチャを採用しており、その主な利点は各ノードが完全なコピーを保持し、強力なフォールトトレランスとノード間の独立性を備えていることです。この種のアーキテクチャは、一部のノードがオフラインになってもネットワークがデータの可用性を維持できることを保証します。しかし、これはシステムがロバスト性を維持するために複数のコピー冗長性を必要とし、結果としてストレージコストを押し上げることを意味します。特にArweaveの設計では、コンセンサスメカニズム自体がノードの冗長ストレージを奨励し、データの安全性を高めることになります。それに対して、Filecoinはコスト管理においてより柔軟性がありますが、その代償として一部の低コストストレージにはより高いデータ喪失リスクが存在する可能性があります。Walrusは両者の間でバランスを取ろうとしており、複製コストを制御する一方で、構造化された冗長性によって可用性を高めることにより、データの可用性とコスト効率の間に新しい妥協の道を築こうとしています。Walrusが独自に開発したRedstuffは、ノードの冗長性を低減するための重要な技術であり、Reed-Solomon(RS)エンコーディングに由来しています。RSエンコーディングは非常に伝統的なエラーハンドリングコードアルゴリズムであり、エラーハンドリングコードは冗長なフラグメントを追加することでデータセットを倍増させる技術で、元のデータを再構築するために使用されます。CD-ROMから衛星通信、さらにはQRコードに至るまで、日常生活の中で頻繁に使用されています。纠删码は、ユーザーが1MBのブロックを取得し、それを2MBに"拡張"することを可能にします。この追加の1MBは、纠删码と呼ばれる特別なデータです。ブロック内の任意のバイトが失われた場合、ユーザーはコードを使用してそれらのバイトを簡単に復元できます。最大1MBのブロックが失われても、全体のブロックを復元することができます。同じ技術を使えば、コンピュータはCD-ROM内のすべてのデータを読み取ることができ、たとえそれが損傷を受けていても可能です。現在最も一般的に使用されているのはRS符号です。実現方法は、k個の情報ブロックから始まり、関連する多項式を構築し、異なるx座標で評価することで符号ブロックを取得します。RSエラー訂正符号を使用することで、大量のデータがランダムにサンプリングされて失われる可能性は非常に低くなります。例を挙げると、1つのファイルを6つのデータブロックと4つのチェックブロックに分け、合計10部にします。その中から任意の6部を保持するだけで、元のデータを完全に復元できます。利点:フォールトトレラント性が高く、CD/DVD、障害耐性ハードディスクアレイ(RAID)、およびクラウドストレージシステム(Azure Storage、Facebook F4)に広く利用されています。欠点:デコード計算が複雑で、オーバーヘッドが高い;頻繁に変動するデータシーンには適していません。したがって、通常はチェーン外の集中化環境におけるデータ復旧とスケジューリングに使用されます。分散化アーキテクチャの下で、StorjとSiaは従来のRSコーディングを調整し、分散ネットワークの実際のニーズに適応しました。Walrusもこの基盤の上に独自の変種 - RedStuffコーディングアルゴリズムを提案し、より低コストでより柔軟な冗長ストレージメカニズムを実現しています。Redstuffの最大の特徴は何ですか?改良された誤り訂正符号化アルゴリズムにより、Walrusは非構造化データブロックを小さなフラグメントに迅速かつ堅牢に符号化し、これらのフラグメントはストレージノードネットワークに分散して保存されます。最大で3分の2のフラグメントが失われても、部分的なフラグメントを使用して元のデータブロックを迅速に再構築できます。これは複製因子を4倍から5倍のみに保ちながら可能になります。したがって、Walrusを分散化シーンを中心に再設計された軽量冗長性と回復プロトコルとして定義することは妥当です。従来の誤り訂正符号(Reed-Solomonなど)と比較して、RedStuffは厳密な数学的一貫性を追求するのではなく、データ分布、ストレージ検証、および計算コストに対して現実主義的なトレードオフを行いました。このモデルは、集中型スケジューリングに必要な即時デコード機構を放棄し、代わりにオンチェーンで...
FilecoinからShelbyへ:分散型ストレージの進化と未来を探る
FilecoinからShelbyへ:分散型ストレージの進化
ストレージはかつてブロックチェーン業界の人気のある分野の一つでした。Filecoinは前回の牛市のリーダープロジェクトとして、市場価値が一時100億ドルを超えました。Arweaveは永久ストレージを売りにし、最高で市場価値が35億ドルに達しました。冷データストレージの利用可能性が疑問視される中、分散化ストレージの必要性も議論を引き起こしています。Walrusの登場は長らく静まり返っていたストレージのストーリーに新たな活力をもたらし、AptosとJump Cryptoが発表したShelbyプロジェクトは分散化ストレージをホットデータ領域の新たな高みへと押し上げることを目指しています。では、分散化ストレージは再び台頭し、広範な応用シーンを提供できるのでしょうか?それとも単なる再度の投機に過ぎないのでしょうか?この記事では、Filecoin、Arweave、Walrus、Shelbyの4つのプロジェクトの発展の道筋を分析することで、分散化ストレージのストーリーの変遷を探り、この問いに答えようとしています:分散化ストレージの普及までにはどれほどの距離があるのでしょうか?
! FilecoinとArweaveからWalrusとShelbyへ:分散型ストレージの人気からどれくらい離れていますか?
FIL:ストレージの名、マイニングの実
Filecoinは初期に登場した暗号通貨プロジェクトの一つで、その発展方向は分散化を中心に展開しています。これは初期の代替トークンの一般的な特徴であり、さまざまな伝統的な分野において分散化の意義を見出そうとしています。Filecoinはストレージを分散化と結びつけ、中央集権的なデータストレージサービスプロバイダーには信頼リスクが存在することを強調しています。しかし、分散化を実現するために犠牲にされたある側面は、後にArweaveやWalrusなどのプロジェクトが解決しようとした痛点となりました。Filecoinが実質的には単なるマイニングコインであることを理解するためには、その基盤技術であるIPFSがホットデータを処理するのに適していないという客観的な制約を理解する必要があります。
IPFS:分散化アーキテクチャの伝送ボトルネック
IPFS(インター・プラネット・ファイルシステム)は2015年頃に登場し、コンテンツアドレッシングを通じて従来のHTTPプロトコルを覆すことを目的としています。IPFSの最大の欠点は取得速度が非常に遅いことです。従来のデータサービスプロバイダーがミリ秒単位の応答を達成できる時代においても、IPFSでファイルを取得するには十数秒かかります。これにより、実際のアプリケーションでの普及が難しくなり、少数のブロックチェーンプロジェクトを除いて、伝統的な業界での採用がほとんどない理由が説明されます。
IPFSの基盤となるP2Pプロトコルは、主に「コールドデータ」、つまりあまり変動しない静的なコンテンツ、例えば動画、画像、文書などに適しています。しかし、ダイナミックなウェブページ、オンラインゲーム、または人工知能のアプリケーションなどのホットデータを扱う際には、P2Pプロトコルは従来のCDNに対して明確な利点はありません。
IPFS自体はブロックチェーンではありませんが、採用されている有向非巡回グラフ(DAG)の設計理念は、多くのパブリックチェーンやWeb3プロトコルと高度に適合しており、ブロックチェーンの基盤構築フレームワークとして自然に適しています。したがって、実用的な価値が欠如していても、ブロックチェーンの物語を支える基盤フレームワークとしては十分です。初期の代替コインプロジェクトは、壮大なビジョンを開始するために動作するフレームワークだけが必要でしたが、Filecoinが一定の段階に達すると、IPFSによってもたらされる制約がその前進を妨げ始めました。
ストレージの外衣の下のマイニングコインのロジック
IPFSの設計の目的は、ユーザーがデータを保存する際に、ストレージネットワークの一部としても機能できるようにすることでした。しかし、経済的インセンティブが欠如している状況では、ユーザーが自発的にこのシステムを使用することは難しく、活発なストレージノードになることはなおさら困難です。これは、ほとんどのユーザーがファイルをIPFSに保存するだけで、自分のストレージスペースを提供したり、他の人のファイルを保存したりしないことを意味します。このような背景の中で、FILが登場しました。
Filecoinのトークン経済モデルには主に3つの役割があります:ユーザーはデータを保存するための料金を支払う責任があり;ストレージマイナーはユーザーのデータを保存することでトークンのインセンティブを得ます;リトリーバーマイナーはユーザーが必要とする際にデータを提供し、インセンティブを得ます。
このモデルには悪用の余地が存在します。ストレージマイナーはストレージスペースを提供した後、報酬を得るためにゴミデータを埋め込む可能性があります。これらのゴミデータは検索されないため、失われてもストレージマイナーの罰則メカニズムは発動しません。これにより、ストレージマイナーはゴミデータを削除し、このプロセスを繰り返すことができます。Filecoinの複製証明コンセンサスはユーザーデータが不正に削除されないことを保証することができますが、マイナーによるゴミデータの埋め込みを防ぐことはできません。
Filecoinの運営は、ユーザーの分散化ストレージに対する真の需要に基づくのではなく、マイナーによるトークン経済への継続的な投入に大きく依存しています。プロジェクトは依然として継続的にイテレーションを行っていますが、現段階では、Filecoinのエコシステム構築は「マイニングコインロジック」により「アプリケーション駆動」のストレージプロジェクト定義により適合しています。
アーウィーヴ:長期主義の諸刃の剣
もしFilecoinの設計目標がインセンティブがあり、証明可能な分散化された"データクラウド"を構築することであるなら、Arweaveはストレージの別の方向に極端に進んでいる:データに永続的なストレージの能力を提供すること。Arweaveは分散型コンピューティングプラットフォームを構築しようとはしておらず、その全システムは1つの核心的仮定に基づいて展開されている - 重要なデータは一度だけ保存され、ネットワーク上に永遠に残されるべきである。この極端な長期主義により、Arweaveはメカニズムからインセンティブモデル、ハードウェアの要求からストーリーの観点までFilecoinとは大きく異なっている。
Arweaveはビットコインを学習対象とし、年単位の長期間にわたって永続的なストレージネットワークの最適化を試みています。Arweaveはマーケティングや競合他社、市場の発展動向に関心を持ちません。ネットワークアーキテクチャのイテレーションの道をただ進んでいるだけで、誰も関心を持たなくても気にしません。なぜなら、これがArweave開発チームの本質、すなわち長期主義だからです。長期主義のおかげで、Arweaveは前回のブルマーケットで熱烈に支持されました。また、長期主義のために、たとえ底に落ちても、Arweaveは数回のブルとベアを乗り越える可能性があります。ただ、未来の分散化ストレージにはArweaveの居場所があるのでしょうか?永続的なストレージの存在価値は時間によってのみ証明されるでしょう。
Arweaveのメインネットは1.5バージョンから最近の2.9バージョンにかけて、市場の注目を失っているにもかかわらず、より広範囲のマイナーが最小限のコストでネットワークに参加できるよう努め、マイナーがデータを最大限に保存することを奨励し、ネットワーク全体の強靭性を向上させてきました。Arweaveは市場の好みに合わないことを深く理解しており、保守的なアプローチを取り、マイナーコミュニティを受け入れず、エコシステムは完全に停滞し、最小限のコストでメインネットをアップグレードし、ネットワークの安全性を損なうことなく、ハードウェアの敷居を継続的に引き下げています。
1.5-2.9のアップグレードの道の振り返り
Arweave 1.5バージョンでは、マイナーが実際のストレージではなくGPUスタッキングに依存してブロック生成の確率を最適化できる脆弱性が明らかになりました。この傾向を抑制するために、1.7バージョンではRandomXアルゴリズムが導入され、専門的な計算能力の使用が制限され、一般的なCPUがマイニングに参加することが求められるようになり、計算能力の分散化が進められました。
2.0バージョンでは、ArweaveはSPoAを採用し、データ証明をマークルツリー構造の簡潔なパスに変換し、フォーマット2の取引を導入して同期負担を軽減しました。このアーキテクチャはネットワークの帯域幅の圧力を緩和し、ノードの協調能力を大幅に向上させました。しかし、一部のマイナーは依然として集中型の高速ストレージプール戦略を通じて、実際のデータ保持責任を回避することができます。
この偏りを修正するために、2.4ではSPoRAメカニズムを導入し、グローバルインデックスと遅いハッシュのランダムアクセスを取り入れ、マイナーがブロックの有効な生成に参加するためには実際にデータブロックを保有しなければならないようにし、メカニズム的に算力の積み重ね効果を弱めました。その結果、マイナーはストレージアクセス速度に注目し、SSDや高速読み書きデバイスの利用が促進されました。2.6ではハッシュチェーンを導入してブロック生成のリズムを制御し、高性能デバイスの限界利益のバランスを取り、中小マイナーに公平な参加のスペースを提供しました。
今後のバージョンでは、ネットワーク協力能力とストレージの多様性がさらに強化されます:2.7では協力的マイニングとマイニングプールメカニズムが追加され、小規模マイナーの競争力が向上します;2.8では複合パッケージングメカニズムが導入され、大容量の低速デバイスが柔軟に参加できるようになります;2.9ではreplica_2_9形式で新しいパッケージングプロセスが導入され、効率が大幅に向上し、計算依存が低減され、データ指向マイニングモデルのクローズドループが完成します。
全体的に見て、Arweaveのアップグレードパスは、ストレージを重視した長期的な戦略を明確に示しています:算力の集中傾向に抵抗し続けながら、参加の敷居を持続的に低下させ、プロトコルの長期的な運用の可能性を保証します。
Walrus: 熱データを抱きしめる革新的な試み
Walrusの設計思想はFilecoinやArweaveとはまったく異なります。Filecoinの出発点は、分散化された検証可能なストレージシステムを構築することであり、その代償は冷データストレージです;Arweaveの出発点は、データを永続的に保存できるオンチェーンのアレクサンドリア図書館を構築することであり、その代償はシーンが少なすぎることです;Walrusの出発点は、ストレージコストを最適化するためのホットデータストレージプロトコルです。
魔改糾削コード:コストの革新か、それとも新瓶に古酒か?
ストレージコストの設計に関して、WalrusはFilecoinとArweaveのストレージオーバーヘッドが不合理であると考えています。後者の2つは完全複製アーキテクチャを採用しており、その主な利点は各ノードが完全なコピーを保持し、強力なフォールトトレランスとノード間の独立性を備えていることです。この種のアーキテクチャは、一部のノードがオフラインになってもネットワークがデータの可用性を維持できることを保証します。しかし、これはシステムがロバスト性を維持するために複数のコピー冗長性を必要とし、結果としてストレージコストを押し上げることを意味します。特にArweaveの設計では、コンセンサスメカニズム自体がノードの冗長ストレージを奨励し、データの安全性を高めることになります。それに対して、Filecoinはコスト管理においてより柔軟性がありますが、その代償として一部の低コストストレージにはより高いデータ喪失リスクが存在する可能性があります。Walrusは両者の間でバランスを取ろうとしており、複製コストを制御する一方で、構造化された冗長性によって可用性を高めることにより、データの可用性とコスト効率の間に新しい妥協の道を築こうとしています。
Walrusが独自に開発したRedstuffは、ノードの冗長性を低減するための重要な技術であり、Reed-Solomon(RS)エンコーディングに由来しています。RSエンコーディングは非常に伝統的なエラーハンドリングコードアルゴリズムであり、エラーハンドリングコードは冗長なフラグメントを追加することでデータセットを倍増させる技術で、元のデータを再構築するために使用されます。CD-ROMから衛星通信、さらにはQRコードに至るまで、日常生活の中で頻繁に使用されています。
纠删码は、ユーザーが1MBのブロックを取得し、それを2MBに"拡張"することを可能にします。この追加の1MBは、纠删码と呼ばれる特別なデータです。ブロック内の任意のバイトが失われた場合、ユーザーはコードを使用してそれらのバイトを簡単に復元できます。最大1MBのブロックが失われても、全体のブロックを復元することができます。同じ技術を使えば、コンピュータはCD-ROM内のすべてのデータを読み取ることができ、たとえそれが損傷を受けていても可能です。
現在最も一般的に使用されているのはRS符号です。実現方法は、k個の情報ブロックから始まり、関連する多項式を構築し、異なるx座標で評価することで符号ブロックを取得します。RSエラー訂正符号を使用することで、大量のデータがランダムにサンプリングされて失われる可能性は非常に低くなります。
例を挙げると、1つのファイルを6つのデータブロックと4つのチェックブロックに分け、合計10部にします。その中から任意の6部を保持するだけで、元のデータを完全に復元できます。
利点:フォールトトレラント性が高く、CD/DVD、障害耐性ハードディスクアレイ(RAID)、およびクラウドストレージシステム(Azure Storage、Facebook F4)に広く利用されています。
欠点:デコード計算が複雑で、オーバーヘッドが高い;頻繁に変動するデータシーンには適していません。したがって、通常はチェーン外の集中化環境におけるデータ復旧とスケジューリングに使用されます。
分散化アーキテクチャの下で、StorjとSiaは従来のRSコーディングを調整し、分散ネットワークの実際のニーズに適応しました。Walrusもこの基盤の上に独自の変種 - RedStuffコーディングアルゴリズムを提案し、より低コストでより柔軟な冗長ストレージメカニズムを実現しています。
Redstuffの最大の特徴は何ですか?改良された誤り訂正符号化アルゴリズムにより、Walrusは非構造化データブロックを小さなフラグメントに迅速かつ堅牢に符号化し、これらのフラグメントはストレージノードネットワークに分散して保存されます。最大で3分の2のフラグメントが失われても、部分的なフラグメントを使用して元のデータブロックを迅速に再構築できます。これは複製因子を4倍から5倍のみに保ちながら可能になります。
したがって、Walrusを分散化シーンを中心に再設計された軽量冗長性と回復プロトコルとして定義することは妥当です。従来の誤り訂正符号(Reed-Solomonなど)と比較して、RedStuffは厳密な数学的一貫性を追求するのではなく、データ分布、ストレージ検証、および計算コストに対して現実主義的なトレードオフを行いました。このモデルは、集中型スケジューリングに必要な即時デコード機構を放棄し、代わりにオンチェーンで...