Еволюція технології індексації даних Блокчейн: від первісних Нод до AI-управлінських послуг даних по всьому Блоку
1. Вступ
Від початку перших децентралізованих додатків у 2017 році і до сьогодні, коли на різних Блокчейнах розцвітають фінансові, ігрові та соціальні додатки, чи замислювались ми над тим, звідки береться різноманітні дані, які використовуються в цих додатках під час взаємодії?
У 2024 році AI та Web3 стануть гарячими темами. У сфері штучного інтелекту дані є його життєво важливим джерелом для зростання та еволюції. Як рослинам потрібні сонячне світло та волога для здорового розвитку, так і AI-системи залежать від величезних обсягів даних для постійного "навчання" та "роздумів". Без даних алгоритми AI, якими б досконалими вони не були, не зможуть продемонструвати свою справжню інтелектуальність та ефективність.
Ця стаття детально аналізує еволюцію індексації даних блокчейн з точки зору доступності даних блокчейн, порівнюючи старі протоколи індексації даних з новими протоколами сервісів даних блокчейн, особливо обговорюючи подібності та відмінності нових протоколів, що поєднують технології ШІ, у характеристиках сервісу даних та архітектури продуктів.
2. Складність і простота даних індексації: від нод Блокчейн до повноцінної бази даних
2.1 Джерело даних: Блокчейн Нода
Блокчейн описується як децентралізований реєстр. Ноди блокчейну є основою всього мережі, відповідальні за запис, зберігання та поширення всіх даних транзакцій в мережі. Кожна нода має повну копію даних блокчейну, що забезпечує децентралізовані характеристики мережі. Однак для звичайних користувачів створення та обслуговування ноди є непростим завданням, яке потребує професійних технічних навичок і високих витрат.
Щоб вирішити цю проблему, з'явилися постачальники нод віддаленого виклику процедури (RPC). Ці постачальники відповідають за витрати та управління нодами, надаючи дані через точки доступу RPC. Користувачам не потрібно створювати власні ноди для доступу до даних Блокчейн. Публічні точки доступу RPC, хоча й безкоштовні, мають обмеження на швидкість. Приватні точки доступу RPC забезпечують кращу продуктивність, але мають низьку ефективність для складних запитів даних. Стандартизований API інтерфейс постачальників нод забезпечує користувачам нижчий поріг для доступу до даних на ланцюзі.
2.2 Аналіз даних: від прототипних даних до придатних для використання даних
Дані, отримані з блокчейн-ноди, часто є зашифрованими та закодованими вихідними даними. Хоча ці дані зберігають цілісність і безпеку блокчейну, їхня складність ускладнює розбір даних. Для звичайних користувачів або розробників безпосередня робота з цими вихідними даними вимагає великої кількості технічних знань та обчислювальних ресурсів.
Процес解析 даних в цьому контексті є особливо важливим. Перетворюючи складні прототипні дані у більш зрозумілий та зручний формат, користувачі можуть більш інтуїтивно зрозуміти та використовувати ці дані. Успіх або невдача解析 даних безпосередньо визначає ефективність і результативність застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.
2.3 Еволюція індексаторів даних
Зі збільшенням обсягу даних Блокчейн зростає попит на індексатори даних. Індексатори відіграють важливу роль в організації даних на ланцюгу та їх передачі до бази даних для зручності запитів. Принцип роботи індексатора полягає в індексації даних Блокчейн і наданні їх у будь-який момент за допомогою мови запитів, схожої на SQL. Забезпечуючи єдиний інтерфейс запитів, індексатор дозволяє розробникам швидко та точно отримувати необхідну інформацію, використовуючи стандартизовану мову запитів.
Різні типи індексаторів оптимізують отримання даних різними способами:
Повний індексатор нод: безпосередньо отримує дані з повного Блокчейн ноду, забезпечуючи повноту та точність даних, але потребує великої кількості пам'яті та обчислювальних потужностей.
Легкий індексатор: покладається на повні ноди для отримання конкретних даних за потреби, зменшуючи вимоги до зберігання, але може збільшити час запиту.
Спеціалізований індексатор: оптимізація пошуку для певних типів даних або конкретного Блокчейн у певних випадках використання.
Агрегатор індексів: отримує дані з кількох Блокчейн і джерел, включаючи поза ланцюгова інформація, надає єдиний інтерфейс запиту.
На сьогоднішній день основні протоколи індексаторів підтримують не тільки багатоланцюговий індекс, але й налаштували рамки для解析 даних відповідно до потреб різних застосувань.
Поява індексаторів значно підвищила ефективність індексації та запиту даних. На відміну від традиційних RPC кінцевих точок, індексатори можуть ефективно індексувати великі обсяги даних та підтримувати швидкі запити. Ці індексатори дозволяють користувачам виконувати складні запити, легко фільтрувати дані та аналізувати їх після вилучення. Крім того, деякі індексатори також підтримують агрегацію джерел даних з кількох Блокчейн. Завдяки розподіленій роботі на кількох Нода, індексатори не лише забезпечують більшу безпеку та продуктивність, але й зменшують ризики перерв та простоїв, які можуть виникнути через централізованих постачальників RPC.
2.4 Повна ланцюгова база даних: орієнтація на потік
Використання індексних нод для запиту даних зазвичай означає, що API стає єдиними воротами для обробки даних на блокчейні. Однак, коли проекти переходять у стадію розширення, часто потрібні більш гнучкі джерела даних. З ускладненням вимог до додатків, початкові індексатори даних із їх стандартизованими форматами індексації поступово стають недостатніми для все більш різноманітних запитів.
У сучасній архітектурі даних, метод "пріоритету потоку" став одним із рішень для подолання обмежень традиційної пакетної обробки, що дозволяє реалізувати миттєве збори, обробку та аналіз даних. Розвиток постачальників даних блокчейн також рухається в напрямку створення потоків даних блокчейн, традиційні постачальники індексів поступово випускають продукти для отримання даних блокчейн у реальному часі у вигляді потоків даних.
Ці послуги мають на меті вирішити потребу в реальному аналізі транзакцій Блокчейн і забезпечити більш комплексні можливості запиту. Переглядаючи проблеми з даними на ланцюзі з точки зору сучасних дата-трубопроводів, ми можемо по-новому оцінити управління, зберігання та весь потенціал надання даних на ланцюзі.
3. Штучний інтелект + База даних? Глибоке порівняння протоколів індексації даних
3.1 Граф
Мережа The Graph реалізує багатоланцюговий індексування та послуги запитів даних через децентралізовану мережу нод, що сприяє зручному індексуванню даних блокчейну та побудові децентралізованих додатків для розробників. Її основна продуктова модель — це ринок виконання запитів даних та ринок кешування індексів даних.
Субграф є основною структурою даних у мережі The Graph, яка визначає, як витягувати та перетворювати дані з Блокчейн в запитуваний формат. Кожен може створити субграф, і кілька додатків можуть повторно використовувати ці субграфи.
Мережа The Graph складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів та розробників, які разом забезпечують підтримку даних для web3 додатків.
Наразі The Graph перейшов на повноцінний децентралізований сервіс хостингу підграфів, де економічні стимули між різними учасниками забезпечують функціонування системи.
Продукти The Graph також швидко розвиваються в епоху AI. Інструменти AutoAgora, Allocation Optimizer та AgentC, розроблені Semiotic Labs, покращили продуктивність екосистеми в різних аспектах.
3.2 Ланцюгова база
Chainbase є мережею даних для всього Блокчейн, яка інтегрує всі дані блокчейну в одну платформу. Його унікальні функції включають:
Реальний дата-озеро
Подвійна архітектура
Інноваційний стандарт формату даних
Модель криптосвіту
Ці функції роблять Chainbase видатним у протоколі індексації Блокчейн, особливо акцентуючи увагу на доступності реальних даних, інноваційних форматах даних, а також створенні розумніших моделей для підвищення інсайтів шляхом поєднання даних з Нода та поза Нода.
AI-модель Chainbase Theia є ключовою особливістю, яка відрізняє його від інших протоколів даних. Theia базується на моделі DORA, розробленій NVIDIA, поєднуючи дані на ланцюзі та поза ланцюгом, а також просторову та часову активність, вивчає та аналізує криптографічні моделі та реагує за допомогою причинно-наслідкового висновування.
3.3 Простір і час
Space and Time (SxT) має на меті створення перевіряємого обчислювального шару, розширюючи нульові знання на децентралізованому сховищі даних, для надання надійної обробки даних інтелектуальним контрактам, великим мовним моделям та підприємствам.
SxT запровадила технологію Proof of SQL, яка є інноваційною технологією нульових знань, що забезпечує незмінність і перевіряємість SQL запитів, що виконуються на децентралізованому сховищі даних. Цей підхід змінює витрати ресурсів на повторне індексування однакових даних кількома нодами в механізмі консенсусу, підвищуючи загальну продуктивність системи.
SxT також тісно співпрацює з дослідницькою лабораторією штучного інтелекту Microsoft для прискорення розробки генеративних AI інструментів, що полегшують користувачам доступ до даних Блокчейн за допомогою обробки природної мови.
Висновок та перспективи
Техніка індексації даних Блокчейн спочатку з джерела даних Нода, пройшла через розвиток解析 даних та індексаторів, врешті-решт еволюціонувала до повноцінного сервісу даних усієї ланцюга з підтримкою AI, пройшовши поступовий процес вдосконалення. Ця постійна еволюція технологій не лише підвищила ефективність і точність доступу до даних, але й принесла користувачам безпрецедентний досвід інтелектуалізації.
З розвитком нових технологій, таких як AI та нульові знання, послуги даних Блокчейн стануть ще більш інтелектуальними та безпечними. У майбутньому послуги даних Блокчейн продовжать відігравати важливу роль як інфраструктура, надаючи потужну підтримку для прогресу та інновацій в галузі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
12 лайків
Нагородити
12
5
Поділіться
Прокоментувати
0/400
RektCoaster
· 07-22 17:11
Немає грошей для торгівлі криптовалютою, можна лише лежати і дивитися спектакль.
Еволюція індексації даних Блокчейн: від Ноди до AI-управлінських послуг по всьому ланцюгу
Еволюція технології індексації даних Блокчейн: від первісних Нод до AI-управлінських послуг даних по всьому Блоку
1. Вступ
Від початку перших децентралізованих додатків у 2017 році і до сьогодні, коли на різних Блокчейнах розцвітають фінансові, ігрові та соціальні додатки, чи замислювались ми над тим, звідки береться різноманітні дані, які використовуються в цих додатках під час взаємодії?
У 2024 році AI та Web3 стануть гарячими темами. У сфері штучного інтелекту дані є його життєво важливим джерелом для зростання та еволюції. Як рослинам потрібні сонячне світло та волога для здорового розвитку, так і AI-системи залежать від величезних обсягів даних для постійного "навчання" та "роздумів". Без даних алгоритми AI, якими б досконалими вони не були, не зможуть продемонструвати свою справжню інтелектуальність та ефективність.
Ця стаття детально аналізує еволюцію індексації даних блокчейн з точки зору доступності даних блокчейн, порівнюючи старі протоколи індексації даних з новими протоколами сервісів даних блокчейн, особливо обговорюючи подібності та відмінності нових протоколів, що поєднують технології ШІ, у характеристиках сервісу даних та архітектури продуктів.
2. Складність і простота даних індексації: від нод Блокчейн до повноцінної бази даних
2.1 Джерело даних: Блокчейн Нода
Блокчейн описується як децентралізований реєстр. Ноди блокчейну є основою всього мережі, відповідальні за запис, зберігання та поширення всіх даних транзакцій в мережі. Кожна нода має повну копію даних блокчейну, що забезпечує децентралізовані характеристики мережі. Однак для звичайних користувачів створення та обслуговування ноди є непростим завданням, яке потребує професійних технічних навичок і високих витрат.
Щоб вирішити цю проблему, з'явилися постачальники нод віддаленого виклику процедури (RPC). Ці постачальники відповідають за витрати та управління нодами, надаючи дані через точки доступу RPC. Користувачам не потрібно створювати власні ноди для доступу до даних Блокчейн. Публічні точки доступу RPC, хоча й безкоштовні, мають обмеження на швидкість. Приватні точки доступу RPC забезпечують кращу продуктивність, але мають низьку ефективність для складних запитів даних. Стандартизований API інтерфейс постачальників нод забезпечує користувачам нижчий поріг для доступу до даних на ланцюзі.
2.2 Аналіз даних: від прототипних даних до придатних для використання даних
Дані, отримані з блокчейн-ноди, часто є зашифрованими та закодованими вихідними даними. Хоча ці дані зберігають цілісність і безпеку блокчейну, їхня складність ускладнює розбір даних. Для звичайних користувачів або розробників безпосередня робота з цими вихідними даними вимагає великої кількості технічних знань та обчислювальних ресурсів.
Процес解析 даних в цьому контексті є особливо важливим. Перетворюючи складні прототипні дані у більш зрозумілий та зручний формат, користувачі можуть більш інтуїтивно зрозуміти та використовувати ці дані. Успіх або невдача解析 даних безпосередньо визначає ефективність і результативність застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.
2.3 Еволюція індексаторів даних
Зі збільшенням обсягу даних Блокчейн зростає попит на індексатори даних. Індексатори відіграють важливу роль в організації даних на ланцюгу та їх передачі до бази даних для зручності запитів. Принцип роботи індексатора полягає в індексації даних Блокчейн і наданні їх у будь-який момент за допомогою мови запитів, схожої на SQL. Забезпечуючи єдиний інтерфейс запитів, індексатор дозволяє розробникам швидко та точно отримувати необхідну інформацію, використовуючи стандартизовану мову запитів.
Різні типи індексаторів оптимізують отримання даних різними способами:
На сьогоднішній день основні протоколи індексаторів підтримують не тільки багатоланцюговий індекс, але й налаштували рамки для解析 даних відповідно до потреб різних застосувань.
Поява індексаторів значно підвищила ефективність індексації та запиту даних. На відміну від традиційних RPC кінцевих точок, індексатори можуть ефективно індексувати великі обсяги даних та підтримувати швидкі запити. Ці індексатори дозволяють користувачам виконувати складні запити, легко фільтрувати дані та аналізувати їх після вилучення. Крім того, деякі індексатори також підтримують агрегацію джерел даних з кількох Блокчейн. Завдяки розподіленій роботі на кількох Нода, індексатори не лише забезпечують більшу безпеку та продуктивність, але й зменшують ризики перерв та простоїв, які можуть виникнути через централізованих постачальників RPC.
2.4 Повна ланцюгова база даних: орієнтація на потік
Використання індексних нод для запиту даних зазвичай означає, що API стає єдиними воротами для обробки даних на блокчейні. Однак, коли проекти переходять у стадію розширення, часто потрібні більш гнучкі джерела даних. З ускладненням вимог до додатків, початкові індексатори даних із їх стандартизованими форматами індексації поступово стають недостатніми для все більш різноманітних запитів.
У сучасній архітектурі даних, метод "пріоритету потоку" став одним із рішень для подолання обмежень традиційної пакетної обробки, що дозволяє реалізувати миттєве збори, обробку та аналіз даних. Розвиток постачальників даних блокчейн також рухається в напрямку створення потоків даних блокчейн, традиційні постачальники індексів поступово випускають продукти для отримання даних блокчейн у реальному часі у вигляді потоків даних.
Ці послуги мають на меті вирішити потребу в реальному аналізі транзакцій Блокчейн і забезпечити більш комплексні можливості запиту. Переглядаючи проблеми з даними на ланцюзі з точки зору сучасних дата-трубопроводів, ми можемо по-новому оцінити управління, зберігання та весь потенціал надання даних на ланцюзі.
3. Штучний інтелект + База даних? Глибоке порівняння протоколів індексації даних
3.1 Граф
Мережа The Graph реалізує багатоланцюговий індексування та послуги запитів даних через децентралізовану мережу нод, що сприяє зручному індексуванню даних блокчейну та побудові децентралізованих додатків для розробників. Її основна продуктова модель — це ринок виконання запитів даних та ринок кешування індексів даних.
Субграф є основною структурою даних у мережі The Graph, яка визначає, як витягувати та перетворювати дані з Блокчейн в запитуваний формат. Кожен може створити субграф, і кілька додатків можуть повторно використовувати ці субграфи.
Мережа The Graph складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів та розробників, які разом забезпечують підтримку даних для web3 додатків.
Наразі The Graph перейшов на повноцінний децентралізований сервіс хостингу підграфів, де економічні стимули між різними учасниками забезпечують функціонування системи.
Продукти The Graph також швидко розвиваються в епоху AI. Інструменти AutoAgora, Allocation Optimizer та AgentC, розроблені Semiotic Labs, покращили продуктивність екосистеми в різних аспектах.
3.2 Ланцюгова база
Chainbase є мережею даних для всього Блокчейн, яка інтегрує всі дані блокчейну в одну платформу. Його унікальні функції включають:
Ці функції роблять Chainbase видатним у протоколі індексації Блокчейн, особливо акцентуючи увагу на доступності реальних даних, інноваційних форматах даних, а також створенні розумніших моделей для підвищення інсайтів шляхом поєднання даних з Нода та поза Нода.
AI-модель Chainbase Theia є ключовою особливістю, яка відрізняє його від інших протоколів даних. Theia базується на моделі DORA, розробленій NVIDIA, поєднуючи дані на ланцюзі та поза ланцюгом, а також просторову та часову активність, вивчає та аналізує криптографічні моделі та реагує за допомогою причинно-наслідкового висновування.
3.3 Простір і час
Space and Time (SxT) має на меті створення перевіряємого обчислювального шару, розширюючи нульові знання на децентралізованому сховищі даних, для надання надійної обробки даних інтелектуальним контрактам, великим мовним моделям та підприємствам.
SxT запровадила технологію Proof of SQL, яка є інноваційною технологією нульових знань, що забезпечує незмінність і перевіряємість SQL запитів, що виконуються на децентралізованому сховищі даних. Цей підхід змінює витрати ресурсів на повторне індексування однакових даних кількома нодами в механізмі консенсусу, підвищуючи загальну продуктивність системи.
SxT також тісно співпрацює з дослідницькою лабораторією штучного інтелекту Microsoft для прискорення розробки генеративних AI інструментів, що полегшують користувачам доступ до даних Блокчейн за допомогою обробки природної мови.
Висновок та перспективи
Техніка індексації даних Блокчейн спочатку з джерела даних Нода, пройшла через розвиток解析 даних та індексаторів, врешті-решт еволюціонувала до повноцінного сервісу даних усієї ланцюга з підтримкою AI, пройшовши поступовий процес вдосконалення. Ця постійна еволюція технологій не лише підвищила ефективність і точність доступу до даних, але й принесла користувачам безпрецедентний досвід інтелектуалізації.
З розвитком нових технологій, таких як AI та нульові знання, послуги даних Блокчейн стануть ще більш інтелектуальними та безпечними. У майбутньому послуги даних Блокчейн продовжать відігравати важливу роль як інфраструктура, надаючи потужну підтримку для прогресу та інновацій в галузі.