區塊鏈數據索引技術的演進：從節點到AI賦能的全鏈數據服務

1 引言

自2017年第一批dApp誕生以來，區塊鏈應用已經蓬勃發展，涵蓋金融、遊戲和社交等多個領域。在討論去中心化應用時，我們是否曾思考過這些dApp所使用的數據來源？

2024年，AI與Web3成爲熱點話題。在人工智能領域，數據如同生命之源，對AI系統的成長和進化至關重要。正如植物需要陽光和水分才能茁壯成長，AI系統同樣依賴海量數據來不斷"學習"和"思考"。沒有數據支持，再精妙的AI算法也難以發揮其應有的智能與效能。

本文將從區塊鏈數據可訪問性的角度，深入分析行業發展過程中區塊鏈數據索引的演變歷程。我們還將對比老牌數據索引協議與新興的區塊鏈數據服務協議，特別關注結合AI技術的新晉協議在數據服務與產品架構特色方面的異同。

2 數據索引的繁與簡：從區塊鏈節點到全鏈數據庫

2.1 數據源頭：區塊鏈節點

區塊鏈常被描述爲去中心化的記帳本。區塊鏈節點是整個網路的基礎，負責記錄、存儲和傳播鏈上所有交易數據。每個節點都保存完整的區塊鏈數據副本，確保網路的去中心化特性。然而，對普通用戶來說，自建和維護節點並非易事，不僅需要專業技能，還伴隨着高昂的硬件和帶寬成本。普通節點的查詢能力也有限，難以滿足開發人員的需求。因此，盡管理論上人人都可以運行節點，但實際上用戶更傾向於依賴第三方服務。

爲解決這一問題，RPC節點提供商應運而生。這些提供商負責節點的成本和管理，並通過RPC端點提供數據服務。用戶無需自建節點即可輕鬆訪問區塊鏈數據。公共RPC端點免費但有速率限制，可能影響dApp的用戶體驗。私有RPC端點提供更好的性能，但對於復雜查詢效率較低，且難以擴展和跨網路兼容。盡管如此，節點提供商標準化的API接口降低了用戶訪問鏈上數據的門檻，爲後續的數據解析和應用奠定了基礎。

2.2 數據解析：從原型數據到可用數據

從區塊鏈節點獲取的數據通常是經過加密和編碼處理的原始數據。這些數據雖然保證了區塊鏈的完整性和安全性，但也增加了數據解析的難度。對普通用戶或開發者而言，直接處理這些原型數據需要大量技術知識和計算資源。

數據解析過程在這一背景下顯得尤爲重要。通過將復雜的原型數據轉換爲更易理解和操作的格式，用戶可以更直觀地理解和利用這些數據。數據解析的效果直接影響區塊鏈數據應用的效率和效果，是整個數據索引流程中的關鍵環節。

2.3 數據索引器的演進

隨着區塊鏈數據量增加，數據索引器的需求日益增長。索引器在組織鏈上數據並將其發送到數據庫以便查詢方面發揮着重要作用。索引器通過索引區塊鏈數據並提供類似SQL的查詢語言（如GraphQL API）使數據隨時可用。通過提供統一的查詢接口，索引器允許開發人員使用標準化查詢語言快速準確地檢索所需信息，大大簡化了流程。

不同類型的索引器通過各種方式優化數據檢索：

1. 完整節點索引器：直接從完整區塊鏈節點提取數據，確保數據完整準確，但需要大量存儲和處理能力。
2. 輕量級索引器：依靠完整節點根據需要獲取特定數據，減少存儲需求但可能增加查詢時間。
3. 專用索引器：針對特定類型數據或特定區塊鏈優化，如NFT數據或DeFi交易。
4. 聚合索引器：從多個區塊鏈和來源提取數據，包括鏈下信息，提供統一查詢接口，特別適用於多鏈dApp。

目前，以太坊檔案節點在Geth客戶端中佔用約13.5 TB存儲空間，而在Erigon客戶端下約爲3 TB。隨着區塊鏈增長，檔案節點的數據存儲量將持續增加。面對如此龐大的數據量，主流索引器協議不僅支持多鏈索引，還針對不同應用的數據需求定制了數據解析框架。

索引器的出現大大提升了數據的索引和查詢效率。與傳統RPC端點相比，索引器可高效索引大量數據，支持高速查詢。用戶可執行復雜查詢，輕鬆過濾數據，並進行提取後分析。一些索引器還支持聚合多個區塊鏈的數據源，避免多鏈dApp需部署多個API的問題。通過分布式運行，索引器提供更強的安全性和性能，減少了集中式RPC提供商可能帶來的中斷風險。

相比之下，索引器通過預定義的查詢語言，使用戶無需處理底層復雜數據即可直接獲取所需信息。這種機制顯著提高了數據檢索的效率和可靠性，是區塊鏈數據訪問的重要創新。

2.4 全鏈數據庫：向流優先對齊

使用索引節點查詢數據通常意味着API成爲處理鏈上數據的唯一入口。然而，當項目進入擴展階段時，往往需要更靈活的數據源，而標準化API難以滿足這一需求。隨着應用需求復雜化，初級數據索引器及其標準化索引格式逐漸難以滿足日益多樣化的查詢需求，如搜索、跨鏈訪問或鏈下數據映射。

在現代數據管道架構中，"流優先"方法成爲解決傳統批處理局限性的方案，實現實時數據攝取、處理和分析。這種範式轉變使組織能夠立即響應傳入數據，幾乎實時地得出洞察並做出決策。類似地，區塊鏈數據服務提供商也朝着構建區塊鏈數據流的方向發展，傳統索引器服務商陸續推出了以數據流方式獲取實時區塊鏈數據的產品。

這些服務旨在解決對區塊鏈交易進行實時解析和提供更全面查詢能力的需求。正如"流優先"架構通過降低延遲和增強響應能力革新了傳統數據管道中的數據處理方式，這些區塊鏈數據流服務商也希望通過更先進且成熟的數據源，支持更多應用程序的發展並輔助鏈上數據分析。

通過現代數據管道的視角重新定義鏈上數據的挑戰，我們得以從全新角度看待鏈上數據的管理、存儲和提供的潛力。當我們開始將子圖和以太坊ETL等索引器視爲數據管道中的數據流而非最終輸出時，便可以設想一個能爲任何業務用例量身定制高性能數據集的可能世界。

3 深入對比The Graph、Chainbase和Space and Time

3.1 The Graph

The Graph網路通過去中心化節點網路實現多鏈數據索引和查詢服務，便於開發者索引區塊鏈數據並構建去中心化應用。其主要產品模式包括數據查詢執行市場和數據索引緩存市場，本質上都服務於用戶的產品查詢需求。

子圖是The Graph網路中的基礎數據結構，定義了如何從區塊鏈中提取並轉換數據爲可查詢的格式。任何人都可以創建子圖，多個應用可重復使用這些子圖，提升了數據可復用性和使用效率。

The Graph網路由索引器、策展人、委托人和開發者四個關鍵角色構成，共同爲Web3應用提供數據支持。目前，The Graph已轉向全面的去中心化子圖托管服務，不同參與方之間有流通的經濟激勵確保系統運轉。

The Graph的產品也在AI浪潮中迅速發展。Semiotic Labs開發的AutoAgora、Allocation Optimizer和AgentC工具分別在多個方面提升了生態系統的性能。這些工具的應用使The Graph結合AI輔助進一步提升了系統的智能化和用戶友好度。

3.2 Chainbase

Chainbase是一個全鏈數據網路，將所有區塊鏈數據整合到一個平台，方便開發者更輕鬆地構建和維護應用程序。其獨特功能包括：

• 實時數據湖：提供專門用於區塊鏈數據流的實時數據湖，使數據在生成時即可被即時訪問。
• 雙鏈架構：基於Eigenlayer AVS構建執行層，與CometBFT共識算法形成並行的雙鏈架構。
• 創新數據格式標準：引入"manuscripts"數據格式標準，優化加密行業中數據的結構化和利用方式。
• 加密世界模型：結合AI模型技術，打造能有效理解、預測區塊鏈交易並與之交互的AI模型。

Chainbase的AI模型Theia是其區別於其他數據服務協議的關鍵亮點。Theia基於NVIDIA開發的DORA模型，結合鏈上和鏈下數據以及時空活動，學習並分析加密模式，通過因果推理做出響應，深入挖掘鏈上數據的潛在價值和規律，爲用戶提供更智能化的數據服務。

3.3 Space and Time

Space and Time (SxT)旨在打造可驗證的計算層，在去中心化數據倉庫上擴展零知識證明，爲智能合約、大語言模型和企業提供可信的數據處理。

SxT引入了Proof of SQL技術，這是一種創新的零知識證明技術，確保在去中心化數據倉庫上執行的SQL查詢是防篡改和可驗證的。Proof of SQL生成加密證明，驗證查詢結果的完整性和準確性，使任何驗證者都可以獨立確認數據在處理過程中未被篡改。

SxT一直與微軟AI聯合創新實驗室密切合作，加速研發生成式AI工具，方便用戶通過自然語言處理區塊鏈數據。在Space and Time Studio中，用戶可以體驗輸入自然語言查詢，AI會自動將其轉換爲SQL並執行查詢語句，呈現用戶需要的最終結果。

結論與展望

區塊鏈數據索引技術從最初的節點數據源頭，經過數據解析和索引器的發展，最終演進到AI賦能的全鏈數據服務，經歷了一個逐步完善的過程。這些技術的不斷演進不僅提高了數據訪問的效率和準確性，還爲用戶帶來了前所未有的智能化體驗。

展望未來，隨着AI技術和零知識證明等新技術的不斷發展，區塊鏈數據服務將進一步智能化和安全化。區塊鏈數據服務作爲基礎設施將繼續發揮重要作用，爲行業的進步和創新提供有力支持。