Foresight Ventures: zkML とは一体何ですか?

zkML は AI とブロックチェーン間の架け橋であり、その重要性は、ブロックチェーンが物理世界を認識できるようにし、スマート コントラクトによる意思決定を可能にし、プライバシーを保護しながら AI モデルを実行できるようにすることです。

＃＃ まとめ

• ZKML (ゼロ知識機械学習) は 機械学習にゼロ知識証明を使用するテクノロジー、ZKML は AI とブロックチェーンの間の橋渡しです。 ZKML は、AI モデル/入力の プライバシー保護 と 検証可能な推論プロセス の問題を解決できるため、小さなモデルまたは推論の ZKP をチェーンにアップロードできます。モデル/推論証明チェーンの重要性は次のとおりです。
• ブロックチェーンに物理世界を認識させます。たとえば、ブロックチェーン上で実行される顔認識モデルは、ブロックチェーンの顔を認識でき、ブロックチェーン上の AI モデルは、その顔が女性である可能性があること、その顔が何歳であるかなどを理解できます。
• スマートコントラクトによる意思決定の実現。たとえば、チェーン上の WETH 価格予測モデルは、スマート コントラクトによる取引の決定に役立ちます。
• AI モデルをプライベートで実行。たとえば、企業は、プライバシーを保護した方法で推論サービスを提供したいと考えて、モデルのトレーニングに多くのコンピューティング能力を費やしたり、ユーザーの入力によってプライバシーを確保したいと考えています。 ZKML を使用すると、モデル/入力のプライバシーを保証できるだけでなく、推論が正しく実行されていることをユーザーに証明し、信頼できない推論を実現できます。 ※ZKMLの応用
• チェーン上の AI: AI モデル/AI 推論証明をチェーン上に置き、スマート コントラクトが AI を使用して意思決定できるようにします。たとえば、オンチェーン取引システムは、オンチェーンの投資決定に使用されます。
• **自己改善型ブロックチェーン: **ブロックチェーンに AI の機能を利用させ、履歴データに基づいて戦略を継続的に改善および修正します。たとえば、AI ベースのオンチェーン評価システムです。
• AIGC オンチェーン: AIGC によって生成されたコンテンツ/アートワーク、オンチェーン Mint into NFT、ZK はプロセスの正しさを証明でき、データセットには著作権で保護された画像が使用されていないなど。
• **ウォレットの生体認証 (KYC) **: 顔認証の証明がチェーンにアップロードされ、ウォレットは KYC を完了します。
• AI セキュリティ: 不正行為の検出、Sybil 攻撃の防止などに AI を使用します。
• チェーン上の ZKML ゲーム: チェーン上の人工知能チェスプレイヤー、ニューラル ネットワークによって駆動される NFT キャラクターなど。
• 技術的には ZKML
• 目標: ニューラル ネットワークを ZK 回路に変換 困難: 1. ZK 回路は浮動小数点数をサポートしません、2. 大きすぎるニューラル ネットワークは変換が困難です。
• 現在の進行度合：
• 最初の ZKML ライブラリは 2 年前であり、テクノロジー全体の開発の歴史は非常に浅いです。現在、最新の ZKML ライブラリは、単純なニューラル ネットワーク ZK をサポートしており、ブロックチェーンに適用されています。基本的な線形回帰モデルはチェーンにアップロードでき、他のタイプのより小さなニューラル ネットワーク モデルは証明チェーンをサポートできると言われています。しかし、私が見たデモはほとんどなく、手書きの数字認識のみでした。
• **一部のツールは 100M パラメーターをサポートすると主張しており、一部のツールは GPT2 を ZK 回路に変換して ZK プルーフを生成すると主張しています。 **
• 開発の方向性:
• ネットワーク量子化 (ネットワーク量子化)、ニューラル ネットワーク内の浮動小数点数を固定小数点数に変換し、ニューラル ネットワークを軽量化します (ZK フレンドリー)。
• 大規模なパラメータを持つニューラル ネットワークを ZK 回路 に変換し、証明効率を向上させる (ZK 機能を拡張する) ことを試みます。 *要約:
• ZKML は AI とブロックチェーンの間の架け橋です。その重要性は、ブロックチェーンが物理世界を認識できるようにし、スマート コントラクトによる意思決定を可能にし、プライバシーを保護しながら AI モデルを実行できるようにすることです**。**は非常に有望なテクノロジーです。 。
• この技術の歴史は非常に短いですが、開発は非常に早く、現在、いくつかの単純なニューラル ネットワーク モデルを ZK 回路に変換し、モデル チェーンや推論証明チェーンに使用できます。ただし、言語は比較的難しいです。現在、Ddkang/zkml は、GPT2、Bert および Diffusion の自然言語処理モデルの ZK バージョンを生成できると主張していますが、実際の効果については不明です。実行できますが、実行できない可能性があります。チェーンにアップロードされます。 ネットワークボリュームテクノロジー、ZKテクノロジー、ブロックチェーン拡張テクノロジーの発展により、ZKML言語モデルが間もなく利用可能になると私は信じています。

1. 背景

(ZK、ML についてある程度の知識がある場合は、この章をスキップしてください)。

• **ゼロ知識証明 (ZK): **ゼロ知識証明とは、証明者が検証者に有用な情報を提供することなく、特定の主張が正しいと検証者に納得させることができることを意味します。 ZK は主に、計算プロセスが正しく実行されていることを証明し、プライバシーを保護するために使用されます。
• 計算プロセスの正しさを証明する: ZK ロールアップを例にとります。ZK ロールアップの操作は、複数のトランザクションをまとめてパッケージ化し、L1 で公開し、同時に証明を発行するだけです (ゼロ知識証明技術) を使用して、これらのトランザクションが有効であると主張するには、それらが有効であることが L1 で検証されると、zk-rollup の状態が更新されます。
• プライバシー保護: Aztec プロトコルを例にとると、Aztec の zk.money 上の資産は、ビットコインの UTXO と同様に紙幣の形で存在し、ユーザーが送金する必要がある場合、紙幣の金額は暗号化されます。 、請求書を破棄し、受取人および自分宛ての新しいメモを作成する必要があります（変更）。ゼロ知識証明は、プライバシーを保護するために使用され、破棄された紙幣の量が新しく作成された紙幣の量と同じであること、およびユーザーが紙幣を制御する権利を持っていることを証明します。
• 機械学習: 機械学習は人工知能の一分野です。機械学習理論は主に、コンピューターが自動的に「学習」できるようにするいくつかのアルゴリズムを設計および分析することです。機械学習アルゴリズムは、データを自動的に分析して法則を取得し、その法則を使用して未知のデータを予測します。機械学習は、コンピューター ビジョン、自然言語処理、生体認証認識、検索エンジン、医療診断、クレジット カード詐欺の検出、証券市場分析、DNA 配列決定、音声および手書き認識、ゲーム、ロボット工学などで広く使用されています。

**2. ZKML はどのような問題を解決しますか? **

ZKML は、過去 2 年間で暗号化コミュニティに一石を投じた研究開発分野です。機械学習にゼロ知識証明を使用する**、この テクノロジーの主な目的は、ゼロ知識証明を使用してプライバシー保護と機械学習の検証可能な問題を解決することです。このようにして、推論の小さなモデルまたは ZKP をチェーンにアップロードし、AI とブロックチェーンの間の橋渡しにすることができます。

• モデルチェーン: ML モデルは ZK 回路に変換でき、小さな ZKML モデルはブロックチェーンのスマート コントラクトに保存できます。ユーザーは、スマート コントラクト メソッドを呼び出すことでモデルを使用できます。たとえば、Modulus Labs の RockyBot は、取引の決定のために WETH の価格を予測するチェーン上の AI モデルを作成しました。
• チェーン上のモデル推論証明など: ML モデルを ZK 回路に変換し、チェーン外で推論を実行し、ZK 証明を生成します。 ZK 証明は、推論プロセスが正しく実行されていることを証明できます。推論結果と ZK 証明は、呼び出し元による参照とスマート コントラクトの検証証明のためにチェーンに送信されます。

** チェーン上のモデル/推論証明の重要性は何ですか? **

• ブロックチェーンに物理世界を認識させます。たとえば、ブロックチェーン上で実行される顔認識モデルは、ブロックチェーンの顔を認識でき、ブロックチェーン上の AI モデルは、その顔が女性である可能性があること、その顔が何歳であるかなどを理解できます。
• スマートコントラクトによる意思決定の実現。たとえば、チェーン上の WETH 価格予測モデルは、スマート コントラクトによる取引の決定に役立ちます。
• AI モデルをプライベートで実行。たとえば、企業は、プライバシーを保護した方法で推論サービスを提供したいと考えて、モデルのトレーニングに多くのコンピューティング能力を費やしたり、ユーザーの入力によってプライバシーを確保したいと考えています。 ZKML を使用すると、モデル/入力のプライバシーを保証できるだけでなく、推論が正しく実行されていることをユーザーに証明し、信頼できない推論を実現できます。

ゼロ知識証明は ZKML での役割を証明します:

**1. プライバシー保護: ML モデルまたは予測プロセスにおける入力データのプライバシーを保護します。 **

• **データ プライバシー (パブリック モデル + プライベート データ): **医療データ、顔画像などの機密データがいくつかあります。 ZKML を使用して入力データのプライバシーを保護し、このデータに対してパブリック ニューラル ネットワーク モデルを実行して結果を取得できます。たとえば、顔認識モデル、
• モデルのプライバシー (プライベート モデル + パブリック データ): たとえば、モデルのトレーニングに多額の費用を費やしていますが、モデルを公開したくないので、モデルのプライバシーを保護する必要があります。 ZKML を使用してプライバシーを保護するプライベート ニューラル ネットワーク モデルを実行でき、このモデルはパブリック入力を推論して出力を取得できます。

**2. 検証可能性: ZKP は、ML 推論プロセスの正しい実行を証明するために使用され、機械学習プロセスを検証可能にします。 **

• モデルの実行は私のサーバー上では行われないが、推測が正しく実行されることを確認する必要があるとします。 ZKML を使用して入力とモデルに対して推論を実行し、出力を生成できます。ZKP は、このプロセスが正しく実行されていることを証明できます。実行中のプロセスが自分のコンピューター上にない場合でも、推論が正しいことを次の方法で検証できます。 ZKP の実装を検証し、その結果を信じます。

3. ZKML の使用例

• ** コンピューティングの完全性 **
• **オンチェーン AI (オンチェーン AI): **AI モデルをブロックチェーン上にデプロイし、スマート コントラクトが AI モデルを通じて意思決定機能を持つことができるようにします。
• Modulus Labs: RockyBot オンチェーン検証可能な ML トレーディング ボット (ブロックチェーン上で検証可能な機械学習トレーディング ロボット)
• 自己改善型ブロックチェーン: ブロックチェーンに AI の機能を利用させ、履歴データに基づいて戦略を継続的に改善および修正します。
• 人工知能を使用して Lyra Finance の AMM を強化しました。
• Astraly 用の AI ベースの評判システムを作成します。
• Aztec プロトコル向けのスマート コントラクト レベルの AI ベースのコンプライアンス機能を作成
• Modulus Labs:自己改善するブロックチェーン (リンク):
• AIGC オンチェーン: AIGC によって生成されたコンテンツ/アートワーク、オンチェーン Mint into NFT、ZK はプロセスの正しさを証明でき、データセットには著作権で保護された画像は使用されていません。
• サービスとしての ML(MLaaS) の透明性 (リンク)
• AI セキュリティ: 不正行為の検出、Sybil 攻撃の防止などに AI を使用します。 AI異常検出モデルはスマートコントラクトデータに従ってトレーニングされ、インジケーターが異常な場合は契約を一時停止し、異常検出にはZKを使用してオンチェーンであることを証明します。
• チェーン上の ZKML ゲーム: チェーン上の人工知能チェスプレイヤー、ニューラル ネットワークによって駆動される NFT キャラクターなど。
• 検証可能な AI モデル ベンチマーク テスト: ZK を使用してモデル ベンチマーク テストの証拠を提供し、モデルのパフォーマンスと効果のテスト結果の検証可能性を提供します。
• モデル トレーニングの正しさの証明: モデルのトレーニングは非常にリソースを大量に消費するため、ZK を使用したモデル トレーニングの正しさの証明は現在利用できませんが、多くの人がこの技術が実現可能であると考え、ZK を使用して証明しようとしています。 AIGC の著作権問題を解決するために、モデルは特定のデータを使用している / 特定のデータを使用していません。
• プライバシー保護
• ウォレット用の生体認証/デジタル ID *WordCoin は生体認証デバイス Orb を使用して虹彩をスキャンし、ユーザーに固有の検証可能なデジタル ID を提供します。 WorldCoin は World ID のアップグレードに使用される zkml に取り組んでいます。アップグレード後、ユーザーはモバイル デバイスの暗号化されたストレージに署名生体認証を自律的に保存し、虹彩コードによって生成された ML モデルをダウンロードできるようになります。そしてローカルでゼロ知識証明を作成し、その虹彩コードが実際に正しいモデルを使用して署名画像から生成されたことを証明します。
• ブロックチェーンベースの機械学習報奨金プラットフォーム ※当社は報酬の発行、公開・非公開データの提供を行っております。パブリック データはモデルのトレーニングに使用され、プライベート データは予測に使用されます。一部の AI サービス パーティは、モデルをトレーニングして ZK 回路に変換します。モデルを暗号化し、検証のためにコントラクトに送信します。プライベート データの場合は、予測を行い、結果を取得し、検証のために契約に送信される ZK プルーフを生成します。 AI サービスプロバイダーは、一連の操作を完了した後に報奨金を受け取ります。 zkML: Goerli テストネット上の circomlib-ml のデモ
• プライバシー保護推論: たとえば、個人の患者データを医療診断に使用し、機密の推論 (癌検出結果など) を患者に送信します。 (vCNN 論文、2/16 ページ)

4. ZKML のレイアウト

SevenX Ventures がまとめた ZKML レイアウトから判断します。

• ハードウェア アクセラレーション: 多くの組織が ZKP ハードウェア アクセラレーションの開発を積極的に行っており、これは ZKML の開発にも役立ちます。一般に、ZKP の生成を高速化するには、FPGA、GPU、および ASIC チップが使用されます。例: Accseal は ZKP ハードウェア アクセラレーション用の ASIC チップを開発しており、Ingonyama は CUDA をサポートする GPU 向けに設計された ZK アクセラレーション ライブラリ ICIClE を構築しています。 Supranational は GPU アクセラレーションに重点を置き、Cysic と Ulvetanna は FPGA アクセラレーションに重点を置いています。
• 入力: オンチェーン データ入力を使用するため、Axiom、Herodotus、Hyper Oracle、Lagrange はブロックチェーン データへのユーザー アクセスを向上させ、より複雑なオンチェーン データ ビューを提供します。 ML 入力データは、インポートされた履歴データから抽出できます。
• 推論: ModulusLabs は、ZKML 専用の新しい zkSNARK システムを開発しています。この部分は、主にモデルの ZK 化および ZK 化プロセスに必要なツールセットのために、ZKML ツール セットとマージできます。 Giza は、完全なオンチェーン モデル 導入のスケーリングに重点を置いた StarkNet ベースの機械学習プラットフォーム* です。
• コンピューティング: 誰もがアクセスできる AI モデルをトレーニングするための分散コンピューティング ネットワークの構築に重点を置きます。これにより、人々はエッジ コンピューティング リソースを使用して、AI モデルを低コストでトレーニングできるようになります。
• 分散型トレーニング/コンピューティング能力: 誰もがアクセスできる AI モデルをトレーニングするための分散型コンピューティング ネットワークの構築に重点を置きます。これにより、人々はエッジ コンピューティング リソースを使用して、AI モデルを低コストでトレーニングできるようになります。
• ZKML ツールセット: 第 5 章テクノロジー開発の歴史を参照してください。図のZAMAは機械学習のプライバシー保護に主に完全準同型暗号（FHE）を使用しており、ZKMLと比較するとFHEMLはプライバシーのみを保護し、トラストレス検証は行いません。
• 使用例: Worldcoin、デジタル ID 認証に ZKML を使用。ユーザーの署名の生体認証は暗号化されてユーザーのデバイスに保存され、ZK ベースの虹彩認識の機械学習モデルが ID 認識中にモデルを実行して、生体認証が一致するかどうかを検証します。 ZKP を使用して、実行中のプロセスが正しいことを証明します。 Modulars Labs は、チェーン上の AI 取引ロボットです。 Cathie の EIP7007、zkML AIGC-NFT 標準。チェーン上の人工知能チェスプレイヤー、ニューラルネットワークによって駆動されるNFTキャラクターなど。

5. ZKML 技術開発の歴史

ニューラル ネットワークを ZK 回路に変える際の主な課題は次のとおりです。

1. 回路では固定小数点演算が必要ですが、ニューラル ネットワークでは浮動小数点数が広く使用されています。
2. モデルサイズの問題、大きなモデルの変換は難しく、回路も大きくなります。

ZKML ライブラリの開発履歴は次のとおりです。

1.2021、zk-ml/linear-regression-demo、Peiyuan Liao

• 線形回帰回路の実現 線形回帰は、出力変数と入力変数の間に線形関係があると仮定する非常に基本的な予測アルゴリズムであり、数値変数の予測や 2 つ以上の変数間の関係の研究に適しています。たとえば、住宅のサイズやその他の特性に基づいて住宅価格を予測したり、過去の販売データに基づいて将来の販売を予測したりすることができます。

2.2022 年、0xZKML/zk-mnist、0xZKML

• MNISTデータセットに基づいて手書き数字を認識できるニューラルネットワークZK回路を作成しました。例: 数字の 2 を手書きすると、その筆跡は 2 と認識され、推論プロセスの証明 ** が生成されます。 **証明はチェーンにアップロードでき、チェーン上の証明はethers + snarkjs で検証できます。
• 実際、zk-mnist ライブラリは現在、最後の層を回路に変換するだけで、完全なニューラル ネットワークを回路に変換するわけではありません。

3. 2022 年、ソカシー/zkML、キャシー

• zk-mnist と比較すると、ZKML は完全なニューラル ネットワークを回路に変換します。 Cathie の zkMachineLearning は、ML エンジニアがモデルを回路に変換するのに役立つ複数の ZKML ツールキット cirocmlib-ml および keras2circom を提供します。

4. 2022 年 11 月、zk-ml/uchikoma、Peiyuan Liao

• ニューラル ネットワークの浮動小数点演算を固定小数点演算に転送します。ほぼすべての機械学習アルゴリズムを、ブロックチェーンと簡単に統合できるゼロ知識証明回路に変換する汎用ツールとフレームワークを作成し、オープンソース化しました。
• ビジュアルモデル -> AIGC
• 言語モデル -> チャットボット、ライティングアシスタント
• 線形モデルとデシジョン ツリー -> 不正検出、Sybil 攻撃の防止
• マルチモーダルモデル -> レコメンダーシステム
• ブロックチェーンに適したコンテンツ生成機械学習モデル (AIGC) をトレーニングし、ZK 回路に変換しました。 これを使用してアートワークを生成し、簡潔な ZK プルーフを生成し、最後にアートワークを NFT にミントします。

5. 2022 年 7 月、2023 年 3 月更新、zkonduit/ezkl

• ezkl は、zk-snark (ZKML) の深層学習モデルおよびその他の計算グラフを推論するためのライブラリおよびコマンド ライン ツールです。証明システムとして Halo2 を使用します。 ※ニューラルネットワークなどの計算グラフを定義し、ezklでZK-SNARK回路を生成することが可能です。推論用に生成された ZKP は、スマート コントラクトを使用して検証できます。 ※100Mパラメータ対応モデルとのことですが、リソースを多く消費する可能性があります。

6. 2023 年 5 月、Ddkang/zkml (リンク)

• zkml は、ZK を使用して GPT2、Bert、および Diffusion モデルを変換すると主張しています。しかし、大量のメモリを使用する可能性があり、証拠をスマートコントラクトに保存できるかどうかは不明です。
• zkml は、ImageNet 上でモデルの実行を 92.4% の精度で検証でき、4 秒で 99% の精度で MNIST モデルを証明することもできます。

2023 年 5 月 7 日、zkp-gravity/0g

• 軽量ニューラル ネットワーク、プライベート データ + パブリック モデルをサポート。

一般的に、ZKML テクノロジーの現在の探求の方向性がわかります。

1. ネットワーク量子化、ニューラル ネットワークの浮動小数点数を固定小数点数に変換し、ニューラル ネットワークを軽量化します (ZK フレンドリー)。
2. 大規模なパラメータを含むニューラル ネットワークを ZK 回路に変換し、証明効率の向上 (ZK 機能の拡張) を試みます。

6. 概要

1. ZKML は AI とブロックチェーンの間の橋渡しです。その重要性は、**ブロックチェーンが物理世界を認識できるようにし、スマート コントラクトによる意思決定を可能にし、プライバシーを保護しながら AI モデルを実行できるようにすることです。これは非常に有望なテクノロジーです。 。
2. ZKML の歴史は非常に短く、その開発は非常に速いです。現在、いくつかの単純なニューラル ネットワーク モデルは ZK 回路に変換でき、モデルをチェーンにアップロードしたり、推論証明をチェーンにアップロードしたりできます。言語モデルは比較的難しいですが、現在、Ddkang/zkml は GPT2 の ZK バージョン、Bert および Diffusion モデルを生成できると主張しています。 ネットワークボリュームテクノロジー、ZKテクノロジー、ブロックチェーン拡張テクノロジーの発展により、ZKML言語モデルが間もなく利用可能になると私は信じています。