Эволюция технологий индексирования данных Блокчейн: от первичных Узлов до AI-управляемого сервиса данных по всей цепи
1. Введение
С 2017 года, когда начали появляться первые децентрализованные приложения, и до настоящего времени, когда на различных Блокчейнах расцвели финансовые, игровые и социальные приложения, задумывались ли мы о том, откуда берутся различные данные, используемые в этих приложениях во время взаимодействия?
В 2024 году AI и Web3 стали горячими темами. В области искусственного интеллекта данные являются жизненной силой его роста и эволюции. Как растениям необходимы солнечный свет и вода для здорового роста, так и AI-системы зависят от огромного количества данных, чтобы постоянно "учиться" и "думать". Без данных даже самые изощренные алгоритмы AI не смогут проявить свою истинную интеллектуальность и эффективность.
В данной статье будет проведен глубокий анализ эволюции индексации данных Блокчейн в процессе развития отрасли с точки зрения доступности данных Блокчейн, а также будет проведено сравнение устоявшихся протоколов индексации данных и новых протоколов сервисов данных Блокчейн, с особым акцентом на различия и сходства новых протоколов, использующих технологии ИИ, в области сервисов данных и архитектуры продуктов.
2. Сложность и простота индексирования данных: от Узла Блокчейна до базы данных всей цепочки
2.1 Источник данных: Узел Блокчейн
Блокчейн описывается как децентрализованный реестр. Узлы блокчейна являются основой всей сети, отвечая за запись, хранение и распространение всех данных о транзакциях в цепи. Каждый узел имеет полную копию данных блокчейна, что обеспечивает децентрализованные характеристики сети. Тем не менее, для обычных пользователей создание и поддержка узла не является простой задачей, требующей профессиональных технических навыков и высоких затрат.
Для решения этой проблемы появились провайдеры узлов удаленного вызова процедур (RPC). Эти провайдеры отвечают за стоимость и управление узлами, предоставляя данные через RPC-эндпоинты. Пользователям не нужно самостоятельно создавать узлы для доступа к данным блокчейна. Общественные RPC-эндпоинты бесплатны, но имеют ограничения по скорости. Частные RPC-эндпоинты обеспечивают лучшую производительность, но неэффективны для сложных запросов данных. Стандартизированные API-интерфейсы провайдеров узлов обеспечивают более низкий порог доступа для пользователей к данным на цепочке.
2.2 Анализ данных: от прототипных данных до пригодных данных
Данные, полученные от узлов Блокчейн, часто являются исходными данными, которые были зашифрованы и закодированы. Хотя эти данные сохраняют целостность и безопасность Блокчейн, их сложность увеличивает трудности в их интерпретации. Обычным пользователям или разработчикам для непосредственной обработки этих исходных данных требуется большое количество технических знаний и вычислительных ресурсов.
Процесс解析 данных в этом контексте становится особенно важным. Преобразуя сложные прототипные данные в более понятный и удобный формат, пользователи могут более интуитивно понимать и использовать эти данные. Успех или неудача解析 данных напрямую определяет эффективность и результативность применения данных Блокчейн, это ключевой этап в целом процессе индексации данных.
2.3 Эволюция индексатора данных
С увеличением объема данных в блокчейне растет потребность в индексаторах. Индексаторы играют важную роль в организации данных в цепочке и их отправке в базу данных для удобства запроса. Принцип работы индексатора заключается в индексации данных блокчейна и их доступности в любое время с помощью языка запросов, аналогичного SQL. Предоставляя единый интерфейс запросов, индексаторы позволяют разработчикам быстро и точно извлекать необходимую информацию, используя стандартизированный язык запросов.
Разные типы индексаторов оптимизируют извлечение данных различными способами:
Полный узел индексатор: извлекает данные непосредственно из полного Блокчейн узла, обеспечивая полную и точную информацию, но требует большого объема хранилища и вычислительных мощностей.
Легковесный индексатор: полагается на полные узлы для получения конкретных данных по мере необходимости, снижая требования к хранилищу, но возможно увеличивая время запроса.
Специальный индексатор: оптимизация поиска для определенных типов данных или конкретного Блокчейн, ориентированная на специфические случаи использования.
Аггрегатор индексов: извлечение данных из нескольких Блокчейнов и источников, включая оффлайн информацию, предоставление унифицированного интерфейса для запросов.
В настоящее время основные протоколы индексирования поддерживают не только многосетевое индексирование, но и настраивают рамки анализа данных в соответствии с потребностями различных приложений.
Появление индексаторов значительно повысило эффективность индексации и запроса данных. В отличие от традиционных RPC конечных точек, индексаторы могут эффективно индексировать большие объемы данных и поддерживать высокоскоростные запросы. Эти индексаторы позволяют пользователям выполнять сложные запросы, легко фильтровать данные и анализировать их после извлечения. Кроме того, некоторые индексаторы также поддерживают агрегирование данных из нескольких Блокчейн источников. Запускаясь в распределенном режиме на нескольких Узлах, индексаторы не только обеспечивают большую безопасность и производительность, но и уменьшают риск сбоев и простоя, которые могут возникнуть из-за централизованных RPC провайдеров.
2.4 Полноценная цепочка данных: выравнивание по приоритету потока
Использование узлов индекса для запроса данных обычно означает, что API становится единственным порталом для усвоения данных на Блокчейне. Однако, когда проект входит в стадию расширения, часто требуется более гибкий источник данных. С усложнением требований приложений первичные индексаторы данных с их стандартизированным форматом индекса постепенно начинают испытывать трудности с удовлетворением все более разнообразных запросов.
В современной архитектуре данных подход "потоковое управление" стал решением для ограничения традиционной пакетной обработки, позволяя реализовать сбор, обработку и анализ данных в реальном времени. Развитие поставщиков услуг блокчейн-данных также движется в направлении создания потоков данных блокчейн, традиционные провайдеры индексирования постепенно запускают продукты для получения данных блокчейн в реальном времени в виде потока данных.
Эти услуги предназначены для решения потребности в реальном анализе транзакций Блокчейн и предоставлении более широких возможностей для запросов. Переопределяя вызовы управления данными в сети с точки зрения современных данных, мы можем взглянуть на весь потенциал управления, хранения и предоставления данных в сети с совершенно новой точки зрения.
3. AI + База данных? Глубокое сравнение протоколов индексирования данных
3.1 Граф
Сеть The Graph реализует многосетевую индексацию и услуги запросов данных через децентрализованную сеть узлов, что позволяет разработчикам удобно индексировать данные блокчейна и строить децентрализованные приложения. Основные продукты включают рынок выполнения запросов данных и рынок кэширования индексации данных.
Субграф — это основная структура данных в сети The Graph, которая определяет, как извлекать и преобразовывать данные из блокчейна в запрашиваемый формат. Любой может создать субграф, и несколько приложений могут повторно использовать эти субграфы.
Сеть The Graph состоит из четырех ключевых ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно обеспечивают поддержку данных для приложений web3.
В настоящее время The Graph перешел к полностью децентрализованному хостингу субграфов, где экономические стимулы между различными участниками обеспечивают функционирование системы.
Продукты The Graph также быстро развиваются на волне ИИ. Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, в разных аспектах повышают производительность экосистемы.
3.2 Chainbase
Chainbase — это сеть данных, которая объединяет все данные блокчейна на одной платформе. Его уникальные функции включают:
Реальное время хранилище данных
Двойная архитектура
Инновационный стандарт формата данных
Модель криптомира
Эти функции выделяют Chainbase в протоколе индексирования Блокчейн, особенно акцентируя внимание на доступности данных в реальном времени, инновационных форматах данных и создании более умных моделей для повышения аналитики через комбинацию ончейновых и оффчейновых данных.
AI-модель Chainbase Theia является ключевым преимуществом, отличающим его от других протоколов данных. Theia основана на модели DORA, разработанной NVIDIA, и сочетает в себе данные из блокчейна и за его пределами, а также временные и пространственные активности, чтобы изучать и анализировать криптографические паттерны и реагировать на них с помощью причинно-следственного вывода.
3.3 Пространство и Время
Space and Time (SxT) направлен на создание проверяемого вычислительного слоя, который расширяет нулевое знание в децентрализованных хранилищах данных, обеспечивая надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.
SxT внедрил технологию Proof of SQL, которая является инновационной технологией нулевых знаний, обеспечивающей целостность и проверяемость SQL-запросов, выполняемых на децентрализованном хранилище данных. Этот подход изменяет потери ресурсов, связанные с многократным индексированием одних и тех же данных несколькими узлами в рамках механизма консенсуса, улучшая общую производительность системы.
SxT также тесно сотрудничает с лабораторией совместных инноваций Microsoft AI, ускоряя разработку инструментов генеративного ИИ, чтобы пользователи могли легче обрабатывать данные Блокчейн с помощью обработки естественного языка.
Выводы и перспективы
Технология индексации данных Блокчейн прошла путь от первоначального источника данных Узел, через развитие анализа данных и индексаторов, и в конечном итоге эволюционировала в полностью цепочечные данные услуги, обладающие AI. Этот процесс был постепенно усовершенствован. Постоянное развитие этих технологий не только повысило эффективность и точность доступа к данным, но и принесло пользователям беспрецедентный умный опыт.
С развитием технологий AI и таких новых технологий, как доказательство нулевого знания, услуги блокчейн-данных станут еще более умными и безопасными. Услуги блокчейн-данных в будущем продолжат играть важную роль в качестве инфраструктуры, предоставляя мощную поддержку для прогресса и инноваций в отрасли.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
20 Лайков
Награда
20
7
Поделиться
комментарий
0/400
BridgeNomad
· 07-25 16:28
хм, не буду лгать, эта эволюция данных выглядит подозрительно... сейчас испытываю ПТСР от моста червоточины из-за того, как эти индексирующие сервисы могут быть векторами атак
Посмотреть ОригиналОтветить0
WalletDivorcer
· 07-24 10:19
Мои данные — это жизнь
Посмотреть ОригиналОтветить0
RektCoaster
· 07-22 17:11
Нет денег на торговлю криптовалютой, только лежать и смотреть на представление.
Посмотреть ОригиналОтветить0
SybilAttackVictim
· 07-22 17:11
Кроме данных все еще данные
Посмотреть ОригиналОтветить0
PortfolioAlert
· 07-22 17:08
Что можно сказать об индексе, данные - это основа.
Эволюция индексирования данных Блокчейн: от Узлов до AI-управляемых полных цепочных услуг
Эволюция технологий индексирования данных Блокчейн: от первичных Узлов до AI-управляемого сервиса данных по всей цепи
1. Введение
С 2017 года, когда начали появляться первые децентрализованные приложения, и до настоящего времени, когда на различных Блокчейнах расцвели финансовые, игровые и социальные приложения, задумывались ли мы о том, откуда берутся различные данные, используемые в этих приложениях во время взаимодействия?
В 2024 году AI и Web3 стали горячими темами. В области искусственного интеллекта данные являются жизненной силой его роста и эволюции. Как растениям необходимы солнечный свет и вода для здорового роста, так и AI-системы зависят от огромного количества данных, чтобы постоянно "учиться" и "думать". Без данных даже самые изощренные алгоритмы AI не смогут проявить свою истинную интеллектуальность и эффективность.
В данной статье будет проведен глубокий анализ эволюции индексации данных Блокчейн в процессе развития отрасли с точки зрения доступности данных Блокчейн, а также будет проведено сравнение устоявшихся протоколов индексации данных и новых протоколов сервисов данных Блокчейн, с особым акцентом на различия и сходства новых протоколов, использующих технологии ИИ, в области сервисов данных и архитектуры продуктов.
2. Сложность и простота индексирования данных: от Узла Блокчейна до базы данных всей цепочки
2.1 Источник данных: Узел Блокчейн
Блокчейн описывается как децентрализованный реестр. Узлы блокчейна являются основой всей сети, отвечая за запись, хранение и распространение всех данных о транзакциях в цепи. Каждый узел имеет полную копию данных блокчейна, что обеспечивает децентрализованные характеристики сети. Тем не менее, для обычных пользователей создание и поддержка узла не является простой задачей, требующей профессиональных технических навыков и высоких затрат.
Для решения этой проблемы появились провайдеры узлов удаленного вызова процедур (RPC). Эти провайдеры отвечают за стоимость и управление узлами, предоставляя данные через RPC-эндпоинты. Пользователям не нужно самостоятельно создавать узлы для доступа к данным блокчейна. Общественные RPC-эндпоинты бесплатны, но имеют ограничения по скорости. Частные RPC-эндпоинты обеспечивают лучшую производительность, но неэффективны для сложных запросов данных. Стандартизированные API-интерфейсы провайдеров узлов обеспечивают более низкий порог доступа для пользователей к данным на цепочке.
2.2 Анализ данных: от прототипных данных до пригодных данных
Данные, полученные от узлов Блокчейн, часто являются исходными данными, которые были зашифрованы и закодированы. Хотя эти данные сохраняют целостность и безопасность Блокчейн, их сложность увеличивает трудности в их интерпретации. Обычным пользователям или разработчикам для непосредственной обработки этих исходных данных требуется большое количество технических знаний и вычислительных ресурсов.
Процесс解析 данных в этом контексте становится особенно важным. Преобразуя сложные прототипные данные в более понятный и удобный формат, пользователи могут более интуитивно понимать и использовать эти данные. Успех или неудача解析 данных напрямую определяет эффективность и результативность применения данных Блокчейн, это ключевой этап в целом процессе индексации данных.
2.3 Эволюция индексатора данных
С увеличением объема данных в блокчейне растет потребность в индексаторах. Индексаторы играют важную роль в организации данных в цепочке и их отправке в базу данных для удобства запроса. Принцип работы индексатора заключается в индексации данных блокчейна и их доступности в любое время с помощью языка запросов, аналогичного SQL. Предоставляя единый интерфейс запросов, индексаторы позволяют разработчикам быстро и точно извлекать необходимую информацию, используя стандартизированный язык запросов.
Разные типы индексаторов оптимизируют извлечение данных различными способами:
В настоящее время основные протоколы индексирования поддерживают не только многосетевое индексирование, но и настраивают рамки анализа данных в соответствии с потребностями различных приложений.
Появление индексаторов значительно повысило эффективность индексации и запроса данных. В отличие от традиционных RPC конечных точек, индексаторы могут эффективно индексировать большие объемы данных и поддерживать высокоскоростные запросы. Эти индексаторы позволяют пользователям выполнять сложные запросы, легко фильтровать данные и анализировать их после извлечения. Кроме того, некоторые индексаторы также поддерживают агрегирование данных из нескольких Блокчейн источников. Запускаясь в распределенном режиме на нескольких Узлах, индексаторы не только обеспечивают большую безопасность и производительность, но и уменьшают риск сбоев и простоя, которые могут возникнуть из-за централизованных RPC провайдеров.
2.4 Полноценная цепочка данных: выравнивание по приоритету потока
Использование узлов индекса для запроса данных обычно означает, что API становится единственным порталом для усвоения данных на Блокчейне. Однако, когда проект входит в стадию расширения, часто требуется более гибкий источник данных. С усложнением требований приложений первичные индексаторы данных с их стандартизированным форматом индекса постепенно начинают испытывать трудности с удовлетворением все более разнообразных запросов.
В современной архитектуре данных подход "потоковое управление" стал решением для ограничения традиционной пакетной обработки, позволяя реализовать сбор, обработку и анализ данных в реальном времени. Развитие поставщиков услуг блокчейн-данных также движется в направлении создания потоков данных блокчейн, традиционные провайдеры индексирования постепенно запускают продукты для получения данных блокчейн в реальном времени в виде потока данных.
Эти услуги предназначены для решения потребности в реальном анализе транзакций Блокчейн и предоставлении более широких возможностей для запросов. Переопределяя вызовы управления данными в сети с точки зрения современных данных, мы можем взглянуть на весь потенциал управления, хранения и предоставления данных в сети с совершенно новой точки зрения.
3. AI + База данных? Глубокое сравнение протоколов индексирования данных
3.1 Граф
Сеть The Graph реализует многосетевую индексацию и услуги запросов данных через децентрализованную сеть узлов, что позволяет разработчикам удобно индексировать данные блокчейна и строить децентрализованные приложения. Основные продукты включают рынок выполнения запросов данных и рынок кэширования индексации данных.
Субграф — это основная структура данных в сети The Graph, которая определяет, как извлекать и преобразовывать данные из блокчейна в запрашиваемый формат. Любой может создать субграф, и несколько приложений могут повторно использовать эти субграфы.
Сеть The Graph состоит из четырех ключевых ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно обеспечивают поддержку данных для приложений web3.
В настоящее время The Graph перешел к полностью децентрализованному хостингу субграфов, где экономические стимулы между различными участниками обеспечивают функционирование системы.
Продукты The Graph также быстро развиваются на волне ИИ. Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, в разных аспектах повышают производительность экосистемы.
3.2 Chainbase
Chainbase — это сеть данных, которая объединяет все данные блокчейна на одной платформе. Его уникальные функции включают:
Эти функции выделяют Chainbase в протоколе индексирования Блокчейн, особенно акцентируя внимание на доступности данных в реальном времени, инновационных форматах данных и создании более умных моделей для повышения аналитики через комбинацию ончейновых и оффчейновых данных.
AI-модель Chainbase Theia является ключевым преимуществом, отличающим его от других протоколов данных. Theia основана на модели DORA, разработанной NVIDIA, и сочетает в себе данные из блокчейна и за его пределами, а также временные и пространственные активности, чтобы изучать и анализировать криптографические паттерны и реагировать на них с помощью причинно-следственного вывода.
3.3 Пространство и Время
Space and Time (SxT) направлен на создание проверяемого вычислительного слоя, который расширяет нулевое знание в децентрализованных хранилищах данных, обеспечивая надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.
SxT внедрил технологию Proof of SQL, которая является инновационной технологией нулевых знаний, обеспечивающей целостность и проверяемость SQL-запросов, выполняемых на децентрализованном хранилище данных. Этот подход изменяет потери ресурсов, связанные с многократным индексированием одних и тех же данных несколькими узлами в рамках механизма консенсуса, улучшая общую производительность системы.
SxT также тесно сотрудничает с лабораторией совместных инноваций Microsoft AI, ускоряя разработку инструментов генеративного ИИ, чтобы пользователи могли легче обрабатывать данные Блокчейн с помощью обработки естественного языка.
Выводы и перспективы
Технология индексации данных Блокчейн прошла путь от первоначального источника данных Узел, через развитие анализа данных и индексаторов, и в конечном итоге эволюционировала в полностью цепочечные данные услуги, обладающие AI. Этот процесс был постепенно усовершенствован. Постоянное развитие этих технологий не только повысило эффективность и точность доступа к данным, но и принесло пользователям беспрецедентный умный опыт.
С развитием технологий AI и таких новых технологий, как доказательство нулевого знания, услуги блокчейн-данных станут еще более умными и безопасными. Услуги блокчейн-данных в будущем продолжат играть важную роль в качестве инфраструктуры, предоставляя мощную поддержку для прогресса и инноваций в отрасли.