От Filecoin до Shelby: эволюция децентрализованного хранения
Хранение когда-то было одной из популярных областей в индустрии блокчейна. Filecoin, как ведущий проект предыдущего бычьего рынка, на какое-то время имел рыночную капитализацию более 10 миллиардов долларов. Arweave привлекал внимание благодаря постоянному хранению, достигнув максимальной капитализации в 3,5 миллиарда долларов. С ростом сомнений в доступности холодного хранения данных, необходимость в Децентрализации хранения также вызвала споры. Появление Walrus вдохнуло новую жизнь в давно затихшую историю хранения, в то время как проект Shelby, запущенный Aptos и Jump Crypto, нацелен на то, чтобы поднять Децентрализацию хранения на новые высоты в области горячих данных. Так сможет ли Децентрализация хранения вновь подняться и предложить широкий спектр приложений? Или это просто очередной виток спекуляций? В этой статье мы проанализируем развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, исследуя эволюцию нарратива Децентрализации хранения и попытаемся ответить на вопрос: насколько далеко еще путь к популяризации Децентрализации хранения?
FIL: Имя хранения, суть майнинга
Filecoin является одним из ранних криптовалютных проектов, который развивает свои направления вокруг Децентрализации. Это общая черта ранних альтернативных токенов - поиск значения децентрализации в различных традиционных областях. Filecoin связывает хранение с децентрализацией, подчеркивая риски доверия, связанные с централизованными провайдерами услуг хранения данных. Тем не менее, некоторые аспекты, которые были пожертвованы для достижения децентрализации, стали болевыми точками, которые позже пытались решить такие проекты, как Arweave или Walrus. Чтобы понять, что Filecoin по сути является лишь майнинг-токеном, необходимо осознать объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.
IPFS: Проблемы передачи в архитектуре Децентрализации
IPFS (Межзвёздная файловая система) появился около 2015 года с целью революционизировать традиционный протокол HTTP с помощью адресации по содержимому. Главным недостатком IPFS является очень медленная скорость получения. В эпоху, когда традиционные поставщики услуг данных могут достигать отклика в миллисекунды, получение файла через IPFS всё ещё занимает несколько секунд, что затрудняет его внедрение в реальных приложениях и объясняет, почему, за исключением нескольких блокчейн-проектов, он редко используется в традиционных отраслях.
Основной P2P протокол IPFS в первую очередь предназначен для "холодных данных", то есть статического контента, который редко меняется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения искусственного интеллекта, P2P протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Хотя IPFS сам по себе не является блокчейном, его концепция направленного ациклического графа (DAG) в высокой степени соответствует многим публичным цепочкам и протоколам Web3, что делает его естественным кандидатом для использования в качестве базовой строительной структуры блокчейна. Поэтому, даже если ему не хватает практической ценности, как базовая структура для несения блокчейн-наративов он уже достаточно хорош. Ранние проекты альтернативных монет нуждались только в рабочей структуре, чтобы начать грандиозное видение, но когда Filecoin достиг определенной стадии, ограничения, возникающие из-за IPFS, начали мешать его движению вперед.
Логика майнинг-монет под оболочкой хранения
Дизайн IPFS изначально предполагал, что пользователи, сохраняя данные, также будут частью сети хранения. Однако в условиях отсутствия экономических стимулов пользователям сложно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут просто хранить файлы в IPFS, не внося свой вклад в пространство хранения или не храня файлы других. Именно в таком контексте появилась FIL.
В экономической модели токенов Filecoin основными ролями являются три: пользователи отвечают за оплату хранения данных; майнеры хранилищ получают токен-стимулы за хранение данных пользователей; майнеры поиска предоставляют данные по мере необходимости пользователю и получают стимулы.
Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут заполнять мусорными данными после предоставления пространства для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не подлежат извлечению, их потеря не запустит механизм наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копирования в Filecoin может лишь гарантировать, что пользовательские данные не были удалены без ведома, но не может предотвратить заполнение мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных инвестиций майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Хотя проект продолжает постоянно развиваться, на текущем этапе построение экосистемы Filecoin больше соответствует определению "логики майнинга", нежели "приложенческого驱动" хранилищ.
Arweave: Двусторонний меч долгосрочного мышления
Если целью проектирования Filecoin является создание стимулирующей, доказуемой Децентрализации "облачной" оболочки данных, то Arweave движется в другом направлении хранения к экстремуму: предоставляя возможность постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу, вся его система строится вокруг одной ключевой гипотезы - важные данные должны храниться один раз и навсегда оставаться в сети. Этот экстремальный долгосрочный подход делает Arweave совершенно другим по механизму, модели стимулов, требованиям к аппаратному обеспечению и нарративу по сравнению с Filecoin.
Arweave использует биткойн в качестве объекта для изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения на протяжении длительных периодов, измеряемых годами. Arweave не заботится о маркетинге, не беспокоится о конкурентах и тенденциях на рынке. Он просто движется вперед по пути итерации архитектуры сети, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался большой популярностью в прошлый бычий рынок; и из-за долгосрочности, даже упав на дно, Arweave все еще может пережить несколько циклов бычьего и медвежьего рынков. Но будет ли у Arweave место в будущем децентрализованного хранения? Существительная ценность постоянного хранения может быть доказана только временем.
С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на утрату рыночного внимания, она продолжала стремиться к тому, чтобы большему числу майнеров было доступно участие в сети с минимальными затратами, и поощряла майнеров максимально хранить данные, что способствовало постоянному повышению устойчивости всей сети. Arweave хорошо осознает, что не соответствует рыночным предпочтениям, и придерживается консервативного подхода, не поддерживая сообщество майнеров, экосистема полностью застыла, обновления основной сети происходят с минимальными затратами, при этом постоянно снижается порог аппаратных требований без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 обнаружила уязвимость, позволяющую майнерам полагаться на стек GPU вместо реального хранения для оптимизации шансов на создание блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, который ограничивает использование специализированных вычислительных мощностей и требует участия универсальных ЦП в майнинге, тем самым ослабляя централизацию вычислительной мощности.
В версии 2.0 Arweave использует SPoA, преобразуя доказательства данных в компактные пути структурыMerkle-дерева и вводя транзакции формата 2 для снижения нагрузки на синхронизацию. Эта архитектура облегчает давление на сетевую пропускную способность, значительно увеличивая способность узлов к сотрудничеству. Однако некоторые майнеры все еще могут избежать реальной ответственности за хранение данных с помощью стратегий централизованных высокоскоростных хранилищ.
Чтобы исправить этот уклон, версия 2.4 внедрила механизм SPoRA, который вводит глобальный индекс и медленный хэш для случайного доступа, заставляя майнеров действительно владеть блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. Версия 2.6 внедрила хэш-цепочку для контроля темпа создания блоков, сбалансировав предельную полезность высокопроизводительных устройств и предоставив справедливое пространство для участия мелким и средним майнерам.
В последующих версиях further укрепляются сетевые возможности сотрудничества и разнообразие хранения: версия 2.7 добавляет механизмы совместной добычи и пулов, повышая конкурентоспособность мелких майнеров; версия 2.8 представляет комбинированный механизм упаковки, позволяющий большим объемам низкоскоростных устройств гибко участвовать; версия 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели добычи, ориентированной на данные.
В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: в то время как он постоянно сопротивляется тенденции концентрации вычислительной мощности, он продолжает снижать барьеры для участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Инновационные попытки принять горячие данные
Дизайн Walrus совершенно отличается от Filecoin и Arweave. Основная идея Filecoin заключается в создании децентрализованной и проверяемой системы хранения, ценой за это является хранение холодных данных; основная идея Arweave заключается в создании онлайновой Александрийской библиотеки, которая может хранить данные навсегда, ценой за это является слишком мало сценариев; основная идея Walrus заключается в оптимизации затрат на хранение протокола горячих данных.
Магическая модификация кодов исправления ошибок: инновация в стоимости или старая история в новой упаковке?
В отношении дизайна затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave являются неразумными, так как оба используют архитектуру полной репликации, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую отказоустойчивость и независимость между узлами. Такая архитектура может гарантировать, что даже если некоторые узлы отключены, сеть все равно будет иметь доступность данных. Однако это также означает, что системе требуется многократная избыточность для поддержания надежности, что, в свою очередь, повышает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые низкозатратные хранилища могут иметь более высокий риск потери данных. Walrus пытается найти баланс между двумя, его механизм контролирует затраты на репликацию, одновременно повышая доступность через структурированную избыточность, создавая тем самым новый компромисс между доступностью данных и эффективностью затрат.
Redstuff, разработанный Walrus, является ключевой технологией для снижения избыточности узлов, и он основан на кодировании Рида-Соломона (RS). Кодирование RS — это очень традиционный алгоритм исправления ошибок, который позволяет удваивать набор данных с помощью добавления избыточных фрагментов, что может использоваться для восстановления оригинальных данных. От CD-ROM до спутниковой связи и QR-кодов, он часто используется в повседневной жизни.
Код исправления ошибок позволяет пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительный 1 МБ представляет собой специальные данные, называемые кодом исправления ошибок. Если любой байт в блоке потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, весь блок может быть восстановлен. Технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.
В настоящее время наиболее часто используется кодирование РС. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить закодированные блоки. Используя коды РС, вероятность случайной потери больших объемов данных очень мала.
Пример: разделите файл на 6 данных и 4 контрольных блока, всего 10 частей. Если сохранить любые 6 из них, можно полностью восстановить исходные данные.
Преимущества: высокая способность к исправлению ошибок, широко используется в CD/DVD, системах защиты от сбоев (RAID) и облачных хранилищах (например, Azure Storage, Facebook F4).
Недостатки: сложность вычислений при декодировании, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и распределения данных в централизованной среде вне цепи.
В рамках Децентрализации, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенной сети. Walrus также на этой основе представил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм резервного хранения.
Каковы основные характеристики Redstuff? Благодаря улучшенному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить с помощью части фрагментов. Это стало возможным при сохранении коэффициента репликации всего от 4 до 5 раз.
Таким образом, определение Walrus как легковесного протокола избыточности и восстановления, переработанного вокруг Децентрализации, является разумным. В отличие от традиционных кодов исправления ошибок (таких как Рид–Соломон), RedStuff больше не стремится к строгой математической согласованности, а вместо этого проводит реалистичные компромиссы по распределению данных, проверке хранения и затратам на вычисления. Эта модель отказывается от механизма немедленного декодирования, требуемого централизованным планированием, и вместо этого переключается на ончейн.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
21 Лайков
Награда
21
7
Поделиться
комментарий
0/400
LiquidityNinja
· 07-19 18:11
Я продолжаю быть рабочим в сфере Ликвидности
Посмотреть ОригиналОтветить0
FarmToRiches
· 07-19 11:35
Слепая реклама, играют все еще в ту же ловушку!
Посмотреть ОригиналОтветить0
DuckFluff
· 07-16 18:52
Ну что ж, опять пришли к старым темам.
Посмотреть ОригиналОтветить0
SchroedingerMiner
· 07-16 18:52
Майнинг однажды! fil на свете первый!
Посмотреть ОригиналОтветить0
DeFiDoctor
· 07-16 18:50
Новые клинические проявления, связанные с нарушением памяти, по-прежнему страдают от нехватки данных.
Посмотреть ОригиналОтветить0
JustHereForMemes
· 07-16 18:49
Спекулятивная вероятность 99.9%
Посмотреть ОригиналОтветить0
ForumMiningMaster
· 07-16 18:30
Снова занимаемся хранением, как долго это продлится?
От Filecoin до Shelby: Исследование эволюции и будущих перспектив Децентрализации хранения
От Filecoin до Shelby: эволюция децентрализованного хранения
Хранение когда-то было одной из популярных областей в индустрии блокчейна. Filecoin, как ведущий проект предыдущего бычьего рынка, на какое-то время имел рыночную капитализацию более 10 миллиардов долларов. Arweave привлекал внимание благодаря постоянному хранению, достигнув максимальной капитализации в 3,5 миллиарда долларов. С ростом сомнений в доступности холодного хранения данных, необходимость в Децентрализации хранения также вызвала споры. Появление Walrus вдохнуло новую жизнь в давно затихшую историю хранения, в то время как проект Shelby, запущенный Aptos и Jump Crypto, нацелен на то, чтобы поднять Децентрализацию хранения на новые высоты в области горячих данных. Так сможет ли Децентрализация хранения вновь подняться и предложить широкий спектр приложений? Или это просто очередной виток спекуляций? В этой статье мы проанализируем развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, исследуя эволюцию нарратива Децентрализации хранения и попытаемся ответить на вопрос: насколько далеко еще путь к популяризации Децентрализации хранения?
FIL: Имя хранения, суть майнинга
Filecoin является одним из ранних криптовалютных проектов, который развивает свои направления вокруг Децентрализации. Это общая черта ранних альтернативных токенов - поиск значения децентрализации в различных традиционных областях. Filecoin связывает хранение с децентрализацией, подчеркивая риски доверия, связанные с централизованными провайдерами услуг хранения данных. Тем не менее, некоторые аспекты, которые были пожертвованы для достижения децентрализации, стали болевыми точками, которые позже пытались решить такие проекты, как Arweave или Walrus. Чтобы понять, что Filecoin по сути является лишь майнинг-токеном, необходимо осознать объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.
IPFS: Проблемы передачи в архитектуре Децентрализации
IPFS (Межзвёздная файловая система) появился около 2015 года с целью революционизировать традиционный протокол HTTP с помощью адресации по содержимому. Главным недостатком IPFS является очень медленная скорость получения. В эпоху, когда традиционные поставщики услуг данных могут достигать отклика в миллисекунды, получение файла через IPFS всё ещё занимает несколько секунд, что затрудняет его внедрение в реальных приложениях и объясняет, почему, за исключением нескольких блокчейн-проектов, он редко используется в традиционных отраслях.
Основной P2P протокол IPFS в первую очередь предназначен для "холодных данных", то есть статического контента, который редко меняется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения искусственного интеллекта, P2P протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Хотя IPFS сам по себе не является блокчейном, его концепция направленного ациклического графа (DAG) в высокой степени соответствует многим публичным цепочкам и протоколам Web3, что делает его естественным кандидатом для использования в качестве базовой строительной структуры блокчейна. Поэтому, даже если ему не хватает практической ценности, как базовая структура для несения блокчейн-наративов он уже достаточно хорош. Ранние проекты альтернативных монет нуждались только в рабочей структуре, чтобы начать грандиозное видение, но когда Filecoin достиг определенной стадии, ограничения, возникающие из-за IPFS, начали мешать его движению вперед.
Логика майнинг-монет под оболочкой хранения
Дизайн IPFS изначально предполагал, что пользователи, сохраняя данные, также будут частью сети хранения. Однако в условиях отсутствия экономических стимулов пользователям сложно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут просто хранить файлы в IPFS, не внося свой вклад в пространство хранения или не храня файлы других. Именно в таком контексте появилась FIL.
В экономической модели токенов Filecoin основными ролями являются три: пользователи отвечают за оплату хранения данных; майнеры хранилищ получают токен-стимулы за хранение данных пользователей; майнеры поиска предоставляют данные по мере необходимости пользователю и получают стимулы.
Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут заполнять мусорными данными после предоставления пространства для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не подлежат извлечению, их потеря не запустит механизм наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копирования в Filecoin может лишь гарантировать, что пользовательские данные не были удалены без ведома, но не может предотвратить заполнение мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных инвестиций майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Хотя проект продолжает постоянно развиваться, на текущем этапе построение экосистемы Filecoin больше соответствует определению "логики майнинга", нежели "приложенческого驱动" хранилищ.
Arweave: Двусторонний меч долгосрочного мышления
Если целью проектирования Filecoin является создание стимулирующей, доказуемой Децентрализации "облачной" оболочки данных, то Arweave движется в другом направлении хранения к экстремуму: предоставляя возможность постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу, вся его система строится вокруг одной ключевой гипотезы - важные данные должны храниться один раз и навсегда оставаться в сети. Этот экстремальный долгосрочный подход делает Arweave совершенно другим по механизму, модели стимулов, требованиям к аппаратному обеспечению и нарративу по сравнению с Filecoin.
Arweave использует биткойн в качестве объекта для изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения на протяжении длительных периодов, измеряемых годами. Arweave не заботится о маркетинге, не беспокоится о конкурентах и тенденциях на рынке. Он просто движется вперед по пути итерации архитектуры сети, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался большой популярностью в прошлый бычий рынок; и из-за долгосрочности, даже упав на дно, Arweave все еще может пережить несколько циклов бычьего и медвежьего рынков. Но будет ли у Arweave место в будущем децентрализованного хранения? Существительная ценность постоянного хранения может быть доказана только временем.
С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на утрату рыночного внимания, она продолжала стремиться к тому, чтобы большему числу майнеров было доступно участие в сети с минимальными затратами, и поощряла майнеров максимально хранить данные, что способствовало постоянному повышению устойчивости всей сети. Arweave хорошо осознает, что не соответствует рыночным предпочтениям, и придерживается консервативного подхода, не поддерживая сообщество майнеров, экосистема полностью застыла, обновления основной сети происходят с минимальными затратами, при этом постоянно снижается порог аппаратных требований без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 обнаружила уязвимость, позволяющую майнерам полагаться на стек GPU вместо реального хранения для оптимизации шансов на создание блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, который ограничивает использование специализированных вычислительных мощностей и требует участия универсальных ЦП в майнинге, тем самым ослабляя централизацию вычислительной мощности.
В версии 2.0 Arweave использует SPoA, преобразуя доказательства данных в компактные пути структурыMerkle-дерева и вводя транзакции формата 2 для снижения нагрузки на синхронизацию. Эта архитектура облегчает давление на сетевую пропускную способность, значительно увеличивая способность узлов к сотрудничеству. Однако некоторые майнеры все еще могут избежать реальной ответственности за хранение данных с помощью стратегий централизованных высокоскоростных хранилищ.
Чтобы исправить этот уклон, версия 2.4 внедрила механизм SPoRA, который вводит глобальный индекс и медленный хэш для случайного доступа, заставляя майнеров действительно владеть блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. Версия 2.6 внедрила хэш-цепочку для контроля темпа создания блоков, сбалансировав предельную полезность высокопроизводительных устройств и предоставив справедливое пространство для участия мелким и средним майнерам.
В последующих версиях further укрепляются сетевые возможности сотрудничества и разнообразие хранения: версия 2.7 добавляет механизмы совместной добычи и пулов, повышая конкурентоспособность мелких майнеров; версия 2.8 представляет комбинированный механизм упаковки, позволяющий большим объемам низкоскоростных устройств гибко участвовать; версия 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели добычи, ориентированной на данные.
В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: в то время как он постоянно сопротивляется тенденции концентрации вычислительной мощности, он продолжает снижать барьеры для участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Инновационные попытки принять горячие данные
Дизайн Walrus совершенно отличается от Filecoin и Arweave. Основная идея Filecoin заключается в создании децентрализованной и проверяемой системы хранения, ценой за это является хранение холодных данных; основная идея Arweave заключается в создании онлайновой Александрийской библиотеки, которая может хранить данные навсегда, ценой за это является слишком мало сценариев; основная идея Walrus заключается в оптимизации затрат на хранение протокола горячих данных.
Магическая модификация кодов исправления ошибок: инновация в стоимости или старая история в новой упаковке?
В отношении дизайна затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave являются неразумными, так как оба используют архитектуру полной репликации, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую отказоустойчивость и независимость между узлами. Такая архитектура может гарантировать, что даже если некоторые узлы отключены, сеть все равно будет иметь доступность данных. Однако это также означает, что системе требуется многократная избыточность для поддержания надежности, что, в свою очередь, повышает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые низкозатратные хранилища могут иметь более высокий риск потери данных. Walrus пытается найти баланс между двумя, его механизм контролирует затраты на репликацию, одновременно повышая доступность через структурированную избыточность, создавая тем самым новый компромисс между доступностью данных и эффективностью затрат.
Redstuff, разработанный Walrus, является ключевой технологией для снижения избыточности узлов, и он основан на кодировании Рида-Соломона (RS). Кодирование RS — это очень традиционный алгоритм исправления ошибок, который позволяет удваивать набор данных с помощью добавления избыточных фрагментов, что может использоваться для восстановления оригинальных данных. От CD-ROM до спутниковой связи и QR-кодов, он часто используется в повседневной жизни.
Код исправления ошибок позволяет пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительный 1 МБ представляет собой специальные данные, называемые кодом исправления ошибок. Если любой байт в блоке потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, весь блок может быть восстановлен. Технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.
В настоящее время наиболее часто используется кодирование РС. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить закодированные блоки. Используя коды РС, вероятность случайной потери больших объемов данных очень мала.
Пример: разделите файл на 6 данных и 4 контрольных блока, всего 10 частей. Если сохранить любые 6 из них, можно полностью восстановить исходные данные.
Преимущества: высокая способность к исправлению ошибок, широко используется в CD/DVD, системах защиты от сбоев (RAID) и облачных хранилищах (например, Azure Storage, Facebook F4).
Недостатки: сложность вычислений при декодировании, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и распределения данных в централизованной среде вне цепи.
В рамках Децентрализации, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенной сети. Walrus также на этой основе представил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм резервного хранения.
Каковы основные характеристики Redstuff? Благодаря улучшенному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить с помощью части фрагментов. Это стало возможным при сохранении коэффициента репликации всего от 4 до 5 раз.
Таким образом, определение Walrus как легковесного протокола избыточности и восстановления, переработанного вокруг Децентрализации, является разумным. В отличие от традиционных кодов исправления ошибок (таких как Рид–Соломон), RedStuff больше не стремится к строгой математической согласованности, а вместо этого проводит реалистичные компромиссы по распределению данных, проверке хранения и затратам на вычисления. Эта модель отказывается от механизма немедленного декодирования, требуемого централизованным планированием, и вместо этого переключается на ончейн.