Эволюция технологий индексирования данных Блокчейн: от первичных Узлов до AI-обогащенных услуг данных по всей цепочке
1. Введение
С момента появления первых dApp в 2017 году экосистема приложений на Блокчейн стала все более разнообразной. Обсуждая децентрализованные приложения, задумывались ли мы когда-либо о том, откуда берутся данные, используемые этими dApp?
В 2024 году AI и Web3 станут горячими темами. В области искусственного интеллекта данные являются источником жизни и имеют решающее значение для обучения и размышлений систем AI. Без поддержки данных даже самые сложные алгоритмы AI не смогут проявить интеллект.
В данной статье будет подробно рассмотрена история развития доступности данных в Блокчейн, проанализирован процесс эволюции индексирования данных и сопоставлены характеристики таких протоколов данных, как The Graph, Chainbase и Space and Time, с особым акцентом на инновации последних двух в сочетании с технологиями ИИ.
2. Сложность и простота индексации данных: от узла Блокчейн до полной базы данных цепи
2.1 Источник данных: Узел Блокчейн
Блокчейн рассматривается как децентрализованная бухгалтерская книга, узлы являются его инфраструктурой, отвечающей за запись, хранение и распространение всех данных о транзакциях в цепочке. Тем не менее, обычные пользователи сталкиваются с техническими и затратными трудностями при создании и обслуживании узлов. Хотя теоретически каждый может запускать узлы, на практике пользователи в основном полагаются на сторонние услуги.
Для решения этой проблемы появились провайдеры RPC-узлов. Они управляют узлами и предоставляют данные через RPC-эндпоинты, позволяя пользователям получать доступ к данным блокчейна без необходимости создания собственных узлов. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, в то время как частные RPC-эндпоинты имеют лучшую производительность, но их эффективность все еще нуждается в улучшении. Стандартизированные API-интерфейсы провайдеров узлов снижают барьер доступа к данным и закладывают основу для последующей обработки данных и приложений.
2.2 Анализ данных: от прототипных данных до пригодных данных
Данные, предоставляемые узлами Блокчейн, обычно проходят шифрование и кодирование, что увеличивает сложность их анализа. Для обычных пользователей и разработчиков прямое обращение с этими данными требует значительных технических знаний и вычислительных ресурсов.
Процесс анализа данных имеет решающее значение, так как он преобразует сложные прототипные данные в удобный для понимания и использования формат, что позволяет пользователям более интуитивно использовать эти данные. Качество анализа напрямую влияет на эффективность и результативность применения данных, являясь ключевым этапом всего процесса индексации.
2.3 Эволюция индексатора данных
С увеличением объема данных Блокчейн, потребность в индексаторе возрастает. Индексатор организует данные на цепочке и отправляет их в базу данных, обеспечивая удобный поиск. Они индексируют данные Блокчейн и делают их доступными в любое время через язык запросов, подобный SQL (, такой как GraphQL API ), что значительно упрощает процесс извлечения данных.
Разные типы индексаторов оптимизируют способы поиска данных:
Полный узел индексатор: извлекает данные непосредственно из полного узла блокчейна, обеспечивая целостность и точность, но требует больших объемов памяти и вычислительных мощностей.
Легковесный индексатор: зависит от полных узлов для получения конкретных данных по мере необходимости, снижая требования к хранению, но возможно увеличивая время запроса.
Специальный индексатор: оптимизирован для определенных типов данных или Блокчейн, таких как данные NFT или DeFi-транзакции.
Аггрегатор индексов: извлечение данных из нескольких Блокчейн и источников, включая оффлайн информацию, предоставляющее унифицированный интерфейс для запросов, подходящее для многоцепочечных dApp.
В настоящее время архивные узлы Ethereum занимают от 3 до 13,5 ТБ пространства для хранения в зависимости от различных клиентов и увеличиваются с ростом Блокчейн. Столкнувшись с огромным объемом данных, основные протоколы индексации поддерживают многоцепочечный индекс и настраивают фреймы разбора данных под разные потребности приложений, такие как "подграф" фреймворка The Graph.
Индексы значительно повышают эффективность индексации и запроса данных. В отличие от традиционных RPC-эндпоинтов, индексы поддерживают эффективную индексацию большого объема данных и высокоскоростные запросы. Они позволяют выполнять сложные запросы, фильтровать данные и проводить анализ. Некоторые индексы также поддерживают агрегацию источников данных из нескольких блокчейнов, избегая проблем с развертыванием нескольких API для многосетевых dApp. Благодаря распределенной работе индексы обеспечивают большую безопасность и производительность, снижая риск сбоев, которые могут возникнуть из-за централизованных поставщиков RPC.
2.4 Полная цепочка данных: выравнивание по приоритету потока
Использование узлов индекса для запроса данных обычно зависит от API как единственного портала данных. Однако, при расширении проекта часто требуются более гибкие источники данных, и стандартизированные API трудно удовлетворить. С усложнением требований приложений, первичные индексаторы данных и их стандартизированные форматы индексов трудно удовлетворяют разнообразным требованиям запросов, таким как поиск, межцепочечный доступ или отображение данных вне цепочки.
В современной архитектуре трубопроводов данных метод "приоритет потока" становится решением ограничений традиционной пакетной обработки, позволяя осуществлять实时摄取, обработку и анализ данных. Провайдеры данных на Блокчейн также развиваются в направлении создания потоков данных, такие как Substreams от The Graph, Mirror от Goldsky, а также实时数据湖 от Chainbase и SubSquid.
Эти услуги предназначены для решения потребностей в анализе реальных сделок и предоставлении всесторонних возможностей запросов. Они поддерживают разработку приложений и помогают в анализе данных на Блокчейн с помощью более современных и зрелых источников данных.
С точки зрения современных данных, переопределение вызовов данных на блокчейне позволяет нам рассмотреть потенциал управления, хранения и предоставления данных с новой перспективы. Рассматривая подсети и такие индексаторы, как Ethereum ETL, как поток данных, а не конечный результат, мы можем вообразить возможность настройки высокопроизводительных наборов данных для любого бизнес-кейса.
3. AI + База данных? Глубокое сравнение The Graph, Chainbase, Space and Time
3.1 Граф
Сеть The Graph предоставляет многосетевые услуги индексации и запроса данных через децентрализованную сеть узлов, облегчая разработчикам индексацию данных блокчейна и создание децентрализованных приложений. Основные продуктовые модели включают рынок выполнения запросов данных и рынок кэширования индексации данных, обслуживающие потребности пользователей в запросах продуктов.
Субграф — это основная структура данных сети The Graph, определяющая, как извлекать и преобразовывать данные из блокчейна в формат, пригодный для запросов. Любой может создать субграф, и несколько приложений могут повторно использовать его, повышая переиспользуемость данных и эффективность использования.
Сеть The Graph состоит из четырех ключевых ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно предоставляют поддержку данных для приложений web3.
The Graph перешел на полностью децентрализованный сервис хостинга субграфов, где между различными участниками существуют экономические стимулы для обеспечения работы системы.
Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, повысили производительность экосистемы в нескольких областях, таких как динамическое ценообразование, оптимальное распределение ресурсов и запросы на естественном языке. Эти применения инструмента позволили The Graph в сочетании с ИИ еще больше повысить интеллектуальные возможности системы и удобство для пользователей.
3.2 Chainbase
Chainbase — это сеть данных для всей цепи, которая интегрирует все данные блокчейна на одной платформе, что упрощает разработку и поддержку приложений. Его особенности включают:
Реальное время дата-озеро: предоставляет специализированное дата-озеро для потоков данных блокчейна, поддерживает мгновенный доступ к данным.
Двухцепочная архитектура: построенная на базе Eigenlayer AVS, слой исполнения образует параллельную двухцепочную архитектуру с алгоритмом консенсуса CometBFT, усиливая программируемость и комбинируемость данных между цепями.
Инновационный стандарт формата данных: внедрение стандарта формата данных "manuscripts", оптимизация структурирования и использования данных в криптоиндустрии.
Модель криптомира: сочетая технологии AI моделей, создается AI модель, способная понимать, предсказывать блокчейн-транзакции и взаимодействовать с ними, такая как базовая модель Theia.
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA, сочетая данные на блокчейне и вне его, а также пространственно-временные активности, анализирует криптографические паттерны и реагирует на них с помощью причинно-следственного вывода, глубоко исследуя потенциальную ценность данных на блокчейне.
Искусственный интеллект позволяет Chainbase стать более конкурентоспособным поставщиком интеллектуальных данных, предлагая более широкий спектр аналитики данных и оптимизируя процесс обработки данных.
3.3 Пространство и Время
Space and Time (SxT) нацелен на создание проверяемого вычислительного слоя, расширяющего нулевое знание на децентрализованных хранилищах данных, чтобы предоставить надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.
SxT вводит технологию Proof of SQL, которая является инновационной технологией нулевых знаний, обеспечивающей защиту от подделки и проверку SQL-запросов, выполняемых на децентрализованных хранилищах данных. Proof of SQL генерирует криптографические доказательства, подтверждающие целостность и точность результатов запросов, что позволяет любому проверяющему независимо подтвердить, что данные не были подделаны.
SxT сотрудничает с лабораторией инноваций Microsoft AI для разработки инструментов генеративного ИИ, упрощающих пользователям обработку данных блокчейна с помощью обработки естественного языка. Space and Time Studio позволяет пользователям вводить запросы на естественном языке, ИИ автоматически преобразует их в SQL и выполняет запрос, представляя окончательный результат.
Заключение и перспективы
Технология индексации данных Блокчейн прошла путь от исходных данных узла, через развитие анализа данных и индексаторов, до полного сервиса данных с поддержкой ИИ, пройдя процесс поэтапного совершенствования. Эти технологии постоянно развиваются, повышая эффективность и точность доступа к данным, обеспечивая пользователям интеллектуальный опыт.
В будущем, с развитием новых технологий, таких как ИИ и доказательства с нулевым разглашением, услуги данных Блокчейн станут еще более интеллектуальными и безопасными. Услуги данных Блокчейн как инфраструктура будут продолжать играть важную роль, поддерживая прогресс и инновации в отрасли.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Эволюция индексирования данных Блокчейн: от Узла до AI полного сервиса цепи
Эволюция технологий индексирования данных Блокчейн: от первичных Узлов до AI-обогащенных услуг данных по всей цепочке
1. Введение
С момента появления первых dApp в 2017 году экосистема приложений на Блокчейн стала все более разнообразной. Обсуждая децентрализованные приложения, задумывались ли мы когда-либо о том, откуда берутся данные, используемые этими dApp?
В 2024 году AI и Web3 станут горячими темами. В области искусственного интеллекта данные являются источником жизни и имеют решающее значение для обучения и размышлений систем AI. Без поддержки данных даже самые сложные алгоритмы AI не смогут проявить интеллект.
В данной статье будет подробно рассмотрена история развития доступности данных в Блокчейн, проанализирован процесс эволюции индексирования данных и сопоставлены характеристики таких протоколов данных, как The Graph, Chainbase и Space and Time, с особым акцентом на инновации последних двух в сочетании с технологиями ИИ.
2. Сложность и простота индексации данных: от узла Блокчейн до полной базы данных цепи
2.1 Источник данных: Узел Блокчейн
Блокчейн рассматривается как децентрализованная бухгалтерская книга, узлы являются его инфраструктурой, отвечающей за запись, хранение и распространение всех данных о транзакциях в цепочке. Тем не менее, обычные пользователи сталкиваются с техническими и затратными трудностями при создании и обслуживании узлов. Хотя теоретически каждый может запускать узлы, на практике пользователи в основном полагаются на сторонние услуги.
Для решения этой проблемы появились провайдеры RPC-узлов. Они управляют узлами и предоставляют данные через RPC-эндпоинты, позволяя пользователям получать доступ к данным блокчейна без необходимости создания собственных узлов. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, в то время как частные RPC-эндпоинты имеют лучшую производительность, но их эффективность все еще нуждается в улучшении. Стандартизированные API-интерфейсы провайдеров узлов снижают барьер доступа к данным и закладывают основу для последующей обработки данных и приложений.
2.2 Анализ данных: от прототипных данных до пригодных данных
Данные, предоставляемые узлами Блокчейн, обычно проходят шифрование и кодирование, что увеличивает сложность их анализа. Для обычных пользователей и разработчиков прямое обращение с этими данными требует значительных технических знаний и вычислительных ресурсов.
Процесс анализа данных имеет решающее значение, так как он преобразует сложные прототипные данные в удобный для понимания и использования формат, что позволяет пользователям более интуитивно использовать эти данные. Качество анализа напрямую влияет на эффективность и результативность применения данных, являясь ключевым этапом всего процесса индексации.
2.3 Эволюция индексатора данных
С увеличением объема данных Блокчейн, потребность в индексаторе возрастает. Индексатор организует данные на цепочке и отправляет их в базу данных, обеспечивая удобный поиск. Они индексируют данные Блокчейн и делают их доступными в любое время через язык запросов, подобный SQL (, такой как GraphQL API ), что значительно упрощает процесс извлечения данных.
Разные типы индексаторов оптимизируют способы поиска данных:
В настоящее время архивные узлы Ethereum занимают от 3 до 13,5 ТБ пространства для хранения в зависимости от различных клиентов и увеличиваются с ростом Блокчейн. Столкнувшись с огромным объемом данных, основные протоколы индексации поддерживают многоцепочечный индекс и настраивают фреймы разбора данных под разные потребности приложений, такие как "подграф" фреймворка The Graph.
Индексы значительно повышают эффективность индексации и запроса данных. В отличие от традиционных RPC-эндпоинтов, индексы поддерживают эффективную индексацию большого объема данных и высокоскоростные запросы. Они позволяют выполнять сложные запросы, фильтровать данные и проводить анализ. Некоторые индексы также поддерживают агрегацию источников данных из нескольких блокчейнов, избегая проблем с развертыванием нескольких API для многосетевых dApp. Благодаря распределенной работе индексы обеспечивают большую безопасность и производительность, снижая риск сбоев, которые могут возникнуть из-за централизованных поставщиков RPC.
2.4 Полная цепочка данных: выравнивание по приоритету потока
Использование узлов индекса для запроса данных обычно зависит от API как единственного портала данных. Однако, при расширении проекта часто требуются более гибкие источники данных, и стандартизированные API трудно удовлетворить. С усложнением требований приложений, первичные индексаторы данных и их стандартизированные форматы индексов трудно удовлетворяют разнообразным требованиям запросов, таким как поиск, межцепочечный доступ или отображение данных вне цепочки.
В современной архитектуре трубопроводов данных метод "приоритет потока" становится решением ограничений традиционной пакетной обработки, позволяя осуществлять实时摄取, обработку и анализ данных. Провайдеры данных на Блокчейн также развиваются в направлении создания потоков данных, такие как Substreams от The Graph, Mirror от Goldsky, а также实时数据湖 от Chainbase и SubSquid.
Эти услуги предназначены для решения потребностей в анализе реальных сделок и предоставлении всесторонних возможностей запросов. Они поддерживают разработку приложений и помогают в анализе данных на Блокчейн с помощью более современных и зрелых источников данных.
С точки зрения современных данных, переопределение вызовов данных на блокчейне позволяет нам рассмотреть потенциал управления, хранения и предоставления данных с новой перспективы. Рассматривая подсети и такие индексаторы, как Ethereum ETL, как поток данных, а не конечный результат, мы можем вообразить возможность настройки высокопроизводительных наборов данных для любого бизнес-кейса.
3. AI + База данных? Глубокое сравнение The Graph, Chainbase, Space and Time
3.1 Граф
Сеть The Graph предоставляет многосетевые услуги индексации и запроса данных через децентрализованную сеть узлов, облегчая разработчикам индексацию данных блокчейна и создание децентрализованных приложений. Основные продуктовые модели включают рынок выполнения запросов данных и рынок кэширования индексации данных, обслуживающие потребности пользователей в запросах продуктов.
Субграф — это основная структура данных сети The Graph, определяющая, как извлекать и преобразовывать данные из блокчейна в формат, пригодный для запросов. Любой может создать субграф, и несколько приложений могут повторно использовать его, повышая переиспользуемость данных и эффективность использования.
Сеть The Graph состоит из четырех ключевых ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно предоставляют поддержку данных для приложений web3.
The Graph перешел на полностью децентрализованный сервис хостинга субграфов, где между различными участниками существуют экономические стимулы для обеспечения работы системы.
Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, повысили производительность экосистемы в нескольких областях, таких как динамическое ценообразование, оптимальное распределение ресурсов и запросы на естественном языке. Эти применения инструмента позволили The Graph в сочетании с ИИ еще больше повысить интеллектуальные возможности системы и удобство для пользователей.
3.2 Chainbase
Chainbase — это сеть данных для всей цепи, которая интегрирует все данные блокчейна на одной платформе, что упрощает разработку и поддержку приложений. Его особенности включают:
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA, сочетая данные на блокчейне и вне его, а также пространственно-временные активности, анализирует криптографические паттерны и реагирует на них с помощью причинно-следственного вывода, глубоко исследуя потенциальную ценность данных на блокчейне.
Искусственный интеллект позволяет Chainbase стать более конкурентоспособным поставщиком интеллектуальных данных, предлагая более широкий спектр аналитики данных и оптимизируя процесс обработки данных.
3.3 Пространство и Время
Space and Time (SxT) нацелен на создание проверяемого вычислительного слоя, расширяющего нулевое знание на децентрализованных хранилищах данных, чтобы предоставить надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.
SxT вводит технологию Proof of SQL, которая является инновационной технологией нулевых знаний, обеспечивающей защиту от подделки и проверку SQL-запросов, выполняемых на децентрализованных хранилищах данных. Proof of SQL генерирует криптографические доказательства, подтверждающие целостность и точность результатов запросов, что позволяет любому проверяющему независимо подтвердить, что данные не были подделаны.
SxT сотрудничает с лабораторией инноваций Microsoft AI для разработки инструментов генеративного ИИ, упрощающих пользователям обработку данных блокчейна с помощью обработки естественного языка. Space and Time Studio позволяет пользователям вводить запросы на естественном языке, ИИ автоматически преобразует их в SQL и выполняет запрос, представляя окончательный результат.
Заключение и перспективы
Технология индексации данных Блокчейн прошла путь от исходных данных узла, через развитие анализа данных и индексаторов, до полного сервиса данных с поддержкой ИИ, пройдя процесс поэтапного совершенствования. Эти технологии постоянно развиваются, повышая эффективность и точность доступа к данным, обеспечивая пользователям интеллектуальный опыт.
В будущем, с развитием новых технологий, таких как ИИ и доказательства с нулевым разглашением, услуги данных Блокчейн станут еще более интеллектуальными и безопасными. Услуги данных Блокчейн как инфраструктура будут продолжать играть важную роль, поддерживая прогресс и инновации в отрасли.