Еволюція індексації даних Блокчейн: від Ноди до повноцінного розумного сервісу даних

1 Вступ

З моменту появи перших децентралізованих додатків (dApp) у 2017 році, екосистема Блокчейн розвинула різноманітні фінансові, ігрові та соціальні dApp. Коли ми обговорюємо ці ланцюгові додатки, чи задумувалися ми над джерелами різних даних, які вони використовують?

У 2024 році штучний інтелект та Web3 стануть в центрі уваги. У сфері ШІ дані є його джерелом життя та еволюції. Як рослинам потрібні сонячне світло та волога, так і системи ШІ залежать від величезної кількості даних для безперервного навчання та мислення. Без підтримки даних навіть найсучасніші алгоритми ШІ не зможуть продемонструвати свою справжню інтелектуальність та ефективність.

Ця стаття глибоко аналізує еволюцію індексації даних блокчейну з точки зору доступності даних блокчейну, порівнюючи традиційні протоколи індексації даних з новими протоколами блокчейн-сервісів, з особливим акцентом на аналогії та відмінності нових протоколів, що поєднують технології ШІ, у сфері сервісів даних та архітектури продуктів.

2 Дані індексації: від ноди Блокчейн до бази даних усієї ланцюга

2.1 Джерело даних: Блокчейн Нода

Блокчейн часто описується як децентралізована книга обліку. Ноди блокчейну є основою всієї мережі, відповідальні за запис, зберігання та розповсюдження всіх даних транзакцій в мережі. Кожен вузол має повну копію даних блокчейну, що забезпечує децентралізований характер мережі. Однак для звичайних користувачів створення та обслуговування вузлів не є простим завданням, оскільки це вимагає спеціальних знань, а також пов'язане з високими витратами на апаратуру та пропускну спроможність. Запитувальні можливості звичайних вузлів також обмежені, що ускладнює задоволення потреб розробників. Тому, хоча теоретично кожен може запускати вузол, на практиці користувачі часто покладаються на послуги третіх сторін.

Щоб вирішити цю проблему, з'явилися постачальники RPC-ноди. Вони беруть на себе витрати на ноди та управління, надаючи дані через RPC-інтерфейси, що дозволяє користувачам отримувати доступ до даних Блокчейн без необхідності створювати власні ноди. Публічні RPC-інтерфейси безкоштовні, але мають обмеження на швидкість, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси мають кращу продуктивність, але їх ефективність при складних запитах низька, і вони важко масштабуються та сумісні з різними мережами. Проте стандартизовані API-інтерфейси постачальників нод знижують поріг доступу користувачів до даних на ланцюгу, закладаючи основу для подальшого аналізу даних і застосувань.

2.2 Аналіз даних: від прототипних даних до корисних даних

Дані, що надаються нодами блокчейну, зазвичай проходять процеси шифрування та кодування. Ці дані зберігають цілісність і безпеку блокчейну, але ускладнюють їх обробку. Для звичайних користувачів або розробників безпосередня обробка цих прототипних даних вимагає значних технічних знань і обчислювальних ресурсів.

Процес解析 даних у цьому контексті є надзвичайно важливим. Перетворюючи складні прототипні дані в зрозумілий і зручний формат, користувачі можуть більш інтуїтивно використовувати ці дані. Успіх або невдача解析 даних безпосередньо впливають на ефективність та результативність застосування даних Блокчейн, що є ключовим етапом у всьому процесі індексації даних.

2.3 Еволюція індексаторів даних

З збільшенням обсягу даних Блокчейн зростає попит на індексатори даних. Індексатори відіграють ключову роль в організації даних на ланцюгу та їх відправці до бази даних для запитів. Їхня робота полягає в індексації даних Блокчейн і наданні їх для використання через запитувальну мову, подібну до SQL (, таку як GraphQL ). Надаючи єдиний інтерфейс запитів, індексатори дозволяють розробникам швидко та точно отримувати необхідну інформацію, значно спрощуючи процес.

Різні типи індексаторів оптимізують отримання даних різними способами:

1. Повний індексатор нод: безпосередньо витягує дані з повного Блокчейн нода, забезпечуючи повну та точну інформацію, але потребує великої пам'яті та обчислювальних потужностей.
2. Легкий індексатор: покладається на повні ноди для отримання специфічних даних за запитом, зменшуючи вимоги до зберігання, але можливо збільшуючи час запиту.
3. Спеціалізований індексатор: оптимізований для пошуку певних типів даних або Блокчейн, такі як дані NFT або DeFi транзакції.
4. Агрегатор індексів: витягує дані з кількох блокчейнів та джерел, включаючи поза-ланцюгову інформацію, надає єдиний інтерфейс запиту, підходить для багатоланцюгових dApp.

Наразі, вимоги до зберігання архівних нод Ethereum варіюються від 3TB до 13.5TB залежно від різних клієнтів. З ростом Блокчейн, вимоги до зберігання продовжать зростати. З огляду на величезну кількість даних, основні протоколи індексації не лише підтримують багатоchain-індексацію, але й налаштували рамки для解析 даних відповідно до різних потреб застосування.

Поява індексаторів значно підвищила ефективність індексації та запитів даних. На відміну від традиційних RPC-точок, індексатор може ефективно індексувати великі обсяги даних і підтримувати швидкі запити. Користувачі можуть виконувати складні запити, легко фільтруючи та аналізуючи дані. Деякі індексатори також підтримують агрегацію джерел даних з кількох блокчейнів, уникаючи проблеми розгортання кількох API для багатоланкових dApp. Завдяки розподіленій роботі, індексатор забезпечує більшу безпеку та продуктивність, зменшуючи ризики, пов'язані з централізованими постачальниками RPC.

У порівнянні з цим, індексатор через попередньо визначену мову запитів дозволяє користувачам отримувати необхідну інформацію без необхідності працювати з підлеглими складними даними. Цей механізм значно підвищує ефективність і надійність витягування даних, є важливим нововведенням в доступі до даних Блокчейн.

2.4 Повна база даних блокчейн: вирівнювання за пріоритетом потоку

Використання індексної ноди для запиту даних зазвичай розглядається як єдиний спосіб обробки даних на Блокчейні. Однак, коли проекти розширюються, часто потрібні більш гнучкі джерела даних, а стандартизовані API важко відповідають цій вимозі. З ускладненням вимог до застосувань, початкові індексатори даних та їх стандартизовані формати поступово важко задовольняють різноманітні вимоги до запитів, такі як пошук, міжланцюговий доступ або відображення даних поза мережею.

У сучасній архітектурі даних, метод "потокової переваги" став рішенням для подолання обмежень традиційної пакетної обробки, реалізуючи миттєве захоплення, обробку та аналіз даних. Ця зміна парадигми дозволяє організаціям миттєво реагувати на вхідні дані, швидко отримувати інсайти та приймати рішення. Аналогічно, постачальники послуг даних Блокчейн також розвиваються в напрямку створення потоків даних, основні постачальники індексування запустили продукти потокових даних Блокчейн у реальному часі.

Ці послуги спрямовані на задоволення потреб у реальному аналізі Блокчейн-транзакцій та наданні більш комплексних можливостей для запитів. Як "потокове управління" революціонізувало традиційні методи обробки даних, ці постачальники послуг Блокчейн-даних також сподіваються підтримати розвиток більшої кількості додатків за допомогою передових зрілих джерел даних та допомогти в аналізі даних на ланцюгу.

Визначення викликів даних на ланцюгу з точки зору сучасних даних, ми можемо подивитися на управління, зберігання та надання даних на ланцюгу з нової перспективи. Розглядаючи індексатор як потік даних у даних, а не як кінцевий вихід, ми можемо уявити світ, в якому можна налаштувати високопродуктивні набори даних для будь-якого бізнес-кейсу.

3 AI + База даних? Глибоке порівняння основних протоколів

3.1 Відомий індексний протокол

Ця мережа реалізує мульти-лінійний індекс даних і послуги запитів через децентралізовану мережу нод, що полегшує розробникам індексацію даних Блокчейн та побудову децентралізованих додатків. Її основна продуктова модель - це ринок виконання запитів даних та ринок кешування індексів даних, який по суті відповідає на потреби користувачів у запитах продуктів.

Мережа складається з чотирьох ключових ролей: індексатор, куратор, делегатор та розробник, які спільно забезпечують підтримку даних для веб3-додатків. Обов'язки кожної ролі такі:

• Індексатор: оператори вузлів у мережі, які беруть участь у мережі шляхом стейкінгу, надають послуги індексації та обробки запитів.
• Делегатор: користувач, який закладає токени у вузол-індексатор для підтримки його роботи, отримуючи частину винагороди через делегований вузол.
• Куратор: відповідає за те, які підграфи сигналу повинні бути проіндексовані мережею, забезпечуючи пріоритетну обробку цінних підграфів.
• Розробники: як замовник, є основними користувачами мережі. Вони створюють та подають підграфи до мережі, чекаючи, поки їхні вимоги до даних будуть задоволені.

Наразі ця мережа перейшла на повноцінний децентралізований сервіс зберігання підграфів, де економічні стимули між різними учасниками забезпечують функціонування системи.

Продукти цього протоколу також швидко розвиваються на хвилі ШІ. Одна з основних команд розробників прагне використовувати технології ШІ для оптимізації індексного ціноутворення та досвіду запитів користувачів, розробивши кілька інструментів для підвищення продуктивності екосистеми, таких як механізм динамічного ціноутворення, оптимізатор розподілу ресурсів та інструмент запитів природною мовою тощо.

3.2 певна повноцінна мережа даних Блокчейн

Це платформа, яка інтегрує всі дані блокчейну, що дозволяє розробникам легше будувати та підтримувати програми. Її унікальні функції включають:

• Реальний дата-озеро: забезпечує спеціалізоване реальне дата-озеро для потоків даних Блокчейн, що дозволяє даним бути миттєво доступними.
• Подвійна архітектура: на основі певної технології побудовано виконавчий рівень, що утворює паралельну подвійною архітектуру з алгоритмом консенсусу. Це підвищує програмованість і комбінованість міжланцюгових даних, підтримує високу пропускну здатність, низьку затримку та остаточність, а також підвищує безпеку мережі через модель подвійного стейкінгу.
• Інноваційний стандарт формату даних: введення нового стандарту формату даних, оптимізуючи структуризацію та використання даних у криптоіндустрії.
• Модель криптосвіту: поєднання технології AI-моделей, створення AI-моделі, яка може ефективно розуміти, прогнозувати Блокчейн-транзакції та взаємодіяти з ними.

Ці функції роблять цю мережу видатною в протоколі індексації блокчейну, зокрема зосереджуючи увагу на доступності даних в режимі реального часу, інноваційних форматах даних та створенні розумніших моделей для підвищення інсайтів шляхом поєднання даних на ланцюгу та поза ним.

Його AI-модель ґрунтується на моделі, розробленій певною компанією, поєднуючи дані з блокчейну та поза блокчейном, а також просторово-часову активність, вивчає та аналізує криптографічні патерни, робить відповіді через причинно-наслідкове мислення, глибше досліджуючи потенційну цінність і закономірності даних на блокчейні, надаючи користувачам більш інтелектуальні дані послуги.

3.3 Деякий верифікований обчислювальний шар

Цей проєкт прагне створити перевіряємий обчислювальний рівень, розширюючи нульові знання на децентралізованому сховищі даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей та підприємств.

У сфері індексації даних і верифікації цей проект впроваджує інноваційну технологію нульових знань, яка забезпечує, що SQL-запити, виконані на децентралізованому сховищі даних, є незмінними та перевіреними. Ця технологія генерує криптографічні докази, які перевіряють цілісність та точність результатів запитів. На відміну від традиційних Блокчейн-мереж, які покладаються на механізми консенсусу, ця технологія реалізує більш ефективний спосіб верифікації даних: одна Нода відповідає за отримання даних, а інші Ноди перевіряють достовірність даних за допомогою технології нульових знань, що підвищує загальну продуктивність системи.

Одночасно, цей проект тісно співпрацює з однією AI лабораторією, прискорюючи розробку генеративних AI інструментів, щоб полегшити користувачам обробку даних Блокчейн за допомогою обробки природної мови. Користувачі можуть вводити запити природною мовою, AI автоматично перетворює їх на SQL і виконує запит, представляючи кінцевий результат.

Висновок та перспективи

Технологія індексації даних Блокчейн з початкового джерела даних Нод, через розвиток аналізу даних та індексаторів, зрештою еволюціонувала в повноцінний сервіс даних з підтримкою штучного інтелекту, пройшовши поступовий процес вдосконалення. Ці технології постійно еволюціонують, що не лише підвищує ефективність і точність доступу до даних, але й забезпечує користувачам безпрецедентний інтелектуальний досвід.

Заглядаючи в майбутнє, з постійним розвитком нових технологій, таких як AI-технології та нульові докази, послуги блокчейн-даних стануть ще більш інтелектуальними та безпечними. У нас є підстави вірити, що послуги блокчейн-даних продовжать відігравати важливу роль як інфраструктура, надаючи потужну підтримку для прогресу та інновацій у галузі.