Foresight Ventures : Qu'est-ce que c'est que zkML ?

zkML est un pont entre l'IA et la blockchain. Son importance est de permettre à la blockchain de percevoir le monde physique, de permettre aux contrats intelligents de prendre des décisions et d'exécuter des modèles d'IA avec protection de la vie privée.

Résumé

• ZKML (Zero knowledge machine learning) est une technologie qui utilise des preuves à connaissance zéro pour l'apprentissage automatique, ZKML est un pont entre l'IA et la blockchain. ZKML peut résoudre le problème de la protection de la vie privée du modèle/entrée d'IA et du processus de raisonnement vérifiable, de sorte que le ZKP du petit modèle ou raisonnement puisse être téléchargé sur la chaîne. La signification de la chaîne de preuve modèle/raisonnement est :
• Laissez la blockchain percevoir le monde physique. Par exemple : un modèle de reconnaissance faciale fonctionnant sur la blockchain peut percevoir le visage pour la blockchain, et le modèle d'IA sur la blockchain peut comprendre que le visage peut être une femme, son âge, etc.
• ** Permettre aux contrats intelligents de prendre des décisions **. Par exemple : le modèle de prévision des prix WETH sur la chaîne peut aider les contrats intelligents à prendre des décisions de transaction.
• Exécutez des modèles d'IA en privé. Par exemple, une entreprise dépense beaucoup de puissance de calcul pour former un modèle, dans l'espoir de fournir des services d'inférence tout en préservant la confidentialité, ou l'entrée de l'utilisateur veut garantir la confidentialité. L'utilisation de ZKML peut non seulement garantir la confidentialité du modèle/de l'entrée, mais également prouver à l'utilisateur que le raisonnement est effectué correctement, réalisant un raisonnement sans confiance.
• Application de ZKML
• IA sur la chaîne : placez le modèle d'IA/la preuve du raisonnement de l'IA sur la chaîne, afin que les contrats intelligents puissent utiliser l'IA pour prendre des décisions. Par exemple, un système de trading en chaîne est utilisé pour les décisions d'investissement en chaîne.
• ** Blockchain auto-améliorée : ** Laissez la blockchain utiliser la capacité de l'IA pour améliorer et réviser en permanence les stratégies basées sur des données historiques. Par exemple, un système de réputation en chaîne basé sur l'IA.
• AIGC en chaîne : Contenu/illustration généré par AIGC, Mint en chaîne en NFT, ZK peut prouver l'exactitude du processus, aucune image protégée par le droit d'auteur n'est utilisée dans l'ensemble de données, etc.
• Authentification biométrique (KYC) du portefeuille : La preuve de la reconnaissance faciale est téléchargée sur la chaîne, et le portefeuille complète le KYC.
• Sécurité IA : utilisez l'IA pour la détection des fraudes, la prévention des attaques Sybil, etc.
• Jeux ZKML sur la chaîne : joueurs d'échecs à intelligence artificielle sur la chaîne, personnages NFT pilotés par des réseaux de neurones, etc.
• ZKML techniquement
• Objectif : Transformer le réseau neuronal en circuit ZK. Difficultés : 1. Le circuit ZK ne prend pas en charge les nombres à virgule flottante, 2. Un réseau neuronal trop volumineux est difficile à convertir.
• Progrès en cours:
• La première bibliothèque ZKML remonte à 2 ans et l'historique de développement de l'ensemble de la technologie est très court. À l'heure actuelle, la dernière bibliothèque ZKML prend en charge certains réseaux de neurones simples ZK, et appliqués à la blockchain. On dit que le modèle de régression linéaire de base peut être téléchargé sur la chaîne, et d'autres types de modèles de réseaux neuronaux plus petits peuvent prendre en charge le chaînage de preuves. Mais j'ai vu très peu de démos, seulement une reconnaissance manuscrite des chiffres.
• **Certains outils prétendent prendre en charge les paramètres 100M, et certains prétendent convertir GPT2 en un circuit ZK pour générer une preuve ZK. **
• Direction du développement :
• ** Quantification du réseau (quantification du réseau) **, convertissez les nombres à virgule flottante du réseau de neurones en nombres à virgule fixe et allégez le réseau de neurones (compatible ZK).
• Essayez de convertir le réseau de neurones avec des ** paramètres à grande échelle en un circuit ZK ** et améliorez l'efficacité de la preuve (étendez la capacité ZK).
• Résumer:
• ZKML est un pont entre l'IA et la blockchain, son importance est de permettre à la blockchain de percevoir le monde physique, de permettre aux contrats intelligents de prendre des décisions et d'exécuter des modèles d'IA dans le respect de la vie privée**, **est un technologie très prometteuse.
• L'histoire de cette technologie est très courte mais elle se développe très rapidement.À l'heure actuelle, certains modèles simples de réseaux de neurones peuvent être transformés en circuits ZK, qui peuvent être utilisés pour le chaînage de modèles ou le chaînage de preuves de raisonnement. Mais le langage est relativement difficile. À l'heure actuelle, Ddkang/zkml affirme qu'il peut générer la version ZK du modèle de traitement du langage naturel GPT2, Bert et Diffusion, mais l'effet réel n'est pas clair. Il peut fonctionner mais peut ne pas être en mesure à télécharger sur la chaîne. ** Je pense qu'avec le développement de la technologie de volume de réseau, de la technologie ZK et de la technologie d'expansion de la blockchain, le modèle de langage ZKML sera bientôt disponible **.

1. Origines

(Si vous savez quelque chose sur ZK, ML, vous pouvez sauter ce chapitre).

• **Preuve à connaissance nulle (ZK) : **La preuve à connaissance nulle signifie que le démonstrateur peut convaincre le vérificateur qu'une certaine assertion est correcte sans fournir aucune information utile au vérificateur. ZK est principalement utilisé pour prouver que le processus de calcul est effectué correctement et pour protéger la vie privée.
• ** Prouver l'exactitude du processus de calcul ** : prenez ZK-rollup comme exemple, l'opération de ZK-rollup consiste simplement à regrouper plusieurs transactions, à les publier sur L1 et à émettre une preuve en même temps (en utilisant technologie de preuve de connaissance zéro) pour affirmer que ces transactions sont valides, une fois qu'il est vérifié sur L1 qu'elles sont valides, l'état de zk-rollup sera mis à jour.
• Protection de la vie privée : en prenant le protocole Aztec comme exemple, les actifs sur le zk.money d'Aztec existent sous la forme de factures, similaires à l'UTXO de Bitcoin, le montant des factures est crypté, lorsque l'utilisateur a besoin de transférer de l'argent , les factures doivent être détruites et créer de nouvelles notes au bénéficiaire ainsi qu'à vous-même (modifier). La preuve à connaissance nulle est utilisée pour protéger la vie privée afin de prouver que le montant du billet détruit est le même que celui du billet nouvellement créé, et l'utilisateur a le droit de contrôler le billet.
• Apprentissage automatique : L'apprentissage automatique est une branche de l'intelligence artificielle. La théorie de l'apprentissage automatique consiste principalement à concevoir et à analyser certains algorithmes qui permettent aux ordinateurs "d'apprendre" automatiquement. Les algorithmes d'apprentissage automatique analysent et obtiennent automatiquement des lois à partir des données, et utilisent les lois pour prédire des données inconnues. L'apprentissage automatique a été largement utilisé dans la vision par ordinateur, le traitement du langage naturel, la reconnaissance biométrique, les moteurs de recherche, le diagnostic médical, la détection de la fraude par carte de crédit, l'analyse du marché des valeurs mobilières, le séquençage de l'ADN, la reconnaissance de la parole et de l'écriture manuscrite, les jeux et la robotique.

**2. Quel problème ZKML résout-il ? **

ZKML est un domaine de recherche et de développement qui a fait sensation dans la communauté de la cryptographie au cours des deux dernières années. En utilisant la preuve de connaissance zéro pour l'apprentissage automatique**, l'objectif principal de cette technologie est d'utiliser la preuve de connaissance zéro pour résoudre la protection de la vie privée et les problèmes vérifiables de l'apprentissage automatique. De cette manière, le petit modèle ou ZKP de raisonnement peut être téléchargé sur la chaîne et devenir un pont entre l'IA et la blockchain :

• Chaînage de modèles : les modèles ML peuvent être convertis en circuits ZK, et les petits modèles ZKML peuvent être stockés dans le contrat intelligent de la blockchain. Les utilisateurs peuvent utiliser le modèle en appelant des méthodes de contrat intelligent. Par exemple, RockyBot de Modulus Labs a créé un modèle d'IA sur la chaîne pour prédire le prix du WETH pour les décisions commerciales.
• Preuve de raisonnement du modèle, etc. sur la chaîne : convertissez le modèle ML en un circuit ZK, effectuez un raisonnement hors de la chaîne et générez une preuve ZK. Les preuves ZK peuvent prouver que le processus de raisonnement est effectué correctement. Les résultats du raisonnement et la preuve ZK sont soumis à la chaîne pour référence par l'appelant et la preuve de vérification du contrat intelligent.

** Quelle est la signification de la preuve modèle/raisonnement sur la chaîne ? **

• Laissez la blockchain percevoir le monde physique. Par exemple : un modèle de reconnaissance faciale fonctionnant sur la blockchain peut percevoir le visage pour la blockchain, et le modèle d'IA sur la blockchain peut comprendre que le visage peut être une femme, son âge, etc.
• ** Permettre aux contrats intelligents de prendre des décisions **. Par exemple : le modèle de prévision des prix WETH sur la chaîne peut aider les contrats intelligents à prendre des décisions de transaction.
• Exécutez des modèles d'IA en privé. Par exemple, une entreprise dépense beaucoup de puissance de calcul pour former un modèle, dans l'espoir de fournir des services d'inférence tout en préservant la confidentialité, ou l'entrée de l'utilisateur veut garantir la confidentialité. L'utilisation de ZKML peut non seulement garantir la confidentialité du modèle/de l'entrée, mais également prouver à l'utilisateur que le raisonnement est effectué correctement, réalisant un raisonnement sans confiance.

La preuve de connaissance zéro prouve le rôle dans ZKML :

**1. Protection de la vie privée : protégez la confidentialité des données d'entrée dans le modèle ML ou le processus de prédiction. **

• **Confidentialité des données (modèle public + données privées) : **J'ai des données sensibles, telles que des données médicales, des images de visage, etc. Je peux utiliser ZKML pour protéger la confidentialité des données d'entrée, exécuter le modèle de réseau neuronal public sur ces données et obtenir le résultat. Par exemple, les modèles de reconnaissance faciale,
• Confidentialité du modèle (modèle privé + données publiques) : par exemple, je dépense beaucoup d'argent pour former le modèle. Je ne veux pas exposer mon modèle, je dois donc protéger la confidentialité du modèle. Je peux utiliser ZKML pour exécuter un modèle de réseau neuronal privé qui préserve la confidentialité, et ce modèle peut déduire une entrée publique pour obtenir une sortie.

**2. Vérifiabilité : ZKP est utilisé pour prouver l'exécution correcte du processus de raisonnement ML, ce qui rend le processus d'apprentissage automatique vérifiable. **

• Supposons que l'exécution du modèle ne soit pas sur mon serveur, mais je dois m'assurer que la spéculation est exécutée correctement. Je peux utiliser ZKML pour effectuer une inférence sur une entrée et un modèle, il produit une sortie, ZKP peut prouver que ce processus est exécuté correctement, même si le processus en cours n'est pas sur mon ordinateur, je peux vérifier que l'inférence est correcte en vérifier le ZKP mis en œuvre, et donc croire au résultat.

3. Cas d'utilisation pour ZKML

• ** INTÉGRALITÉ DU CALCUL **
• **On-chain AI (On-chain AI): ** Déployez le modèle d'IA sur la blockchain, afin que les contrats intelligents puissent avoir des capacités de prise de décision via le modèle d'IA.
• Modulus Labs : RockyBot On-chain vérifiable ML trading bot (un robot de trading d'apprentissage machine vérifiable sur la blockchain)
• ** Blockchain auto-améliorée ** : laissez la blockchain utiliser la capacité de l'IA pour améliorer et corriger en permanence les stratégies basées sur des données historiques.
• Amélioration de l'AMM de Lyra finance avec l'intelligence artificielle.
• Créez un système de réputation basé sur l'IA pour Astraly.
• Créer des fonctions de conformité intelligentes basées sur l'IA au niveau du contrat pour le protocole Aztec
• Modulus Labs : Blockchains qui s'auto-améliorent (lien) :
• AIGC en chaîne : Contenu/illustration généré par AIGC, Mint en chaîne en NFT, ZK peut prouver l'exactitude du processus, aucune image protégée par le droit d'auteur n'est utilisée dans l'ensemble de données, etc.
• Transparence ML as a Service (MLaaS) (lien)
• Sécurité IA : utilisez l'IA pour la détection des fraudes, la prévention des attaques Sybil, etc. Le modèle de détection d'anomalies de l'IA est formé en fonction des données du contrat intelligent, et le contrat est suspendu si l'indicateur est anormal, et ZK est utilisé pour la détection d'anomalies afin de prouver qu'il est en chaîne.
• Jeux ZKML sur la chaîne : joueurs d'échecs à intelligence artificielle sur la chaîne, personnages NFT pilotés par des réseaux de neurones, etc.
• ** Test de référence de modèle d'IA vérifiable ** : utilisez ZK pour fournir une preuve de test de référence de modèle et fournir une vérifiabilité pour les résultats de test des performances et de l'effet du modèle.
• Preuve d'exactitude de la formation de modèle : étant donné que la formation de modèle est très gourmande en ressources, la preuve d'exactitude de la formation de modèle avec ZK n'est actuellement pas disponible, mais beaucoup de gens pensent que la technologie est faisable et essaient d'utiliser ZK pour prouver que le modèle utilise certaines données / n'utilise pas certaines données pour résoudre le problème de droit d'auteur de l'AIGC.
• la protection de la vie privée
• Authentification biométrique/identité numérique pour les portefeuilles *WordCoin scanne l'iris avec le dispositif biométrique Orb, fournissant aux utilisateurs une identité numérique vérifiable unique. WorldCoin travaille sur zkml, qui devrait être utilisé pour mettre à niveau World ID. Après la mise à niveau, les utilisateurs pourront conserver de manière autonome leur signature biométrique dans le stockage crypté de leurs appareils mobiles, télécharger le modèle ML généré par le code iris, et créer localement des preuves sans connaissance, prouvant que son code d'iris a bien été généré à partir de l'image de signature en utilisant le bon modèle.
• Plate-forme de primes d'apprentissage automatique basée sur la blockchain
• La société émet des récompenses et fournit des données publiques et privées. Les données publiques sont utilisées pour former le modèle et les données privées sont utilisées pour prédire. Certaines parties de service d'IA entraînent le modèle et le transforment en un circuit ZK. Chiffrez le modèle et soumettez-le au contrat pour vérification. Pour les données privées, faites des prédictions, obtenez des résultats et générez des preuves ZK, qui sont soumises au contrat pour vérification. Les fournisseurs de services d'IA reçoivent des primes après avoir terminé une série d'opérations. zkML : démo pour circomlib-ml sur le testnet Goerli
• Raisonnement de préservation de la vie privée : par exemple, utiliser les données privées du patient pour un diagnostic médical, puis envoyer des conclusions sensibles (telles que les résultats de la détection du cancer) au patient. (papier vCNN, page 2/16)

4. Mise en page de ZKML

À en juger par la mise en page ZKML organisée par SevenX Ventures.

• Accélération matérielle : de nombreuses organisations développent activement l'accélération matérielle ZKP, ce qui est également propice au développement de ZKML. Généralement, les puces FPGA, GPU et ASIC sont utilisées pour accélérer la génération de ZKP. Par exemple : Accseal développe des puces ASIC pour l'accélération matérielle ZKP, et Ingonyama construit une bibliothèque d'accélération ZK ICIClE, qui est conçue pour les GPU prenant en charge CUDA. Supranational se concentre sur l'accélération GPU, Cysic et Ulvetanna se concentrent sur l'accélération FPGA.
• ** Entrée ** : pour utiliser l'entrée de données en chaîne, Axiom, Herodotus, Hyper Oracle, Lagrange améliorera l'accès des utilisateurs aux données de la chaîne de blocs et fournira des vues de données en chaîne plus complexes. Les données d'entrée ML peuvent ensuite être extraites des données historiques importées
• raisonnement : ModulusLabs développe un nouveau système zkSNARK spécifiquement pour ZKML. Cette partie peut être fusionnée avec l'ensemble d'outils ZKML, principalement pour la ZKisation du modèle et l'ensemble d'outils nécessaires au processus de ZKisation. Giza est une plate-forme d'apprentissage automatique basée sur StarkNet* qui *se concentre sur la mise à l'échelle du déploiement du modèle entièrement en chaîne.
• Calcul : concentrez-vous sur la création d'un réseau informatique décentralisé pour former des modèles d'IA accessibles à tous. Ils permettent aux gens d'utiliser des ressources informatiques de pointe pour former des modèles d'IA à moindre coût.
• Formation décentralisée/puissance de calcul : concentrez-vous sur la création d'un réseau informatique décentralisé pour la formation de modèles d'IA accessibles à tous. Ils permettent aux gens d'utiliser des ressources informatiques de pointe pour former des modèles d'IA à moindre coût.
• Ensemble d'outils ZKML : voir le chapitre 5 Historique du développement technologique. ZAMA dans la figure utilise principalement le cryptage entièrement homomorphe (FHE) pour la protection de la confidentialité de l'apprentissage automatique. Comparé à ZKML, FHEML ne fait que la confidentialité et ne fait pas de vérification sans confiance.
• Cas d'utilisation : Worldcoin, utilisant ZKML pour l'authentification de l'identité numérique. Les données biométriques de la signature de l'utilisateur sont cryptées et stockées dans l'appareil de l'utilisateur, et le modèle d'apprentissage automatique de la reconnaissance de l'iris basé sur ZK exécute le modèle pendant la reconnaissance d'identité pour vérifier si les données biométriques correspondent. Utilisez ZKP pour prouver l'exactitude du processus en cours d'exécution. Modulars Labs est un robot de trading IA sur la chaîne. Norme EIP7007, zkML AIGC-NFT de Cathie. Joueurs d'échecs d'intelligence artificielle sur la chaîne, personnages NFT pilotés par des réseaux de neurones, etc.

5. Historique du développement de la technologie ZKML

Les principaux défis liés à la transformation d'un réseau de neurones en un circuit ZK sont :

1. Les circuits nécessitent des opérations en virgule fixe, mais les nombres en virgule flottante sont largement utilisés dans les réseaux de neurones.
2. Le problème de la taille du modèle, la conversion de grands modèles est difficile et le circuit est grand.

L'historique de développement de la bibliothèque ZKML est le suivant :

1.2021, zk-ml/démo de régression linéaire, Peiyuan Liao

• Réalisé le circuit de régression linéaire. La régression linéaire est un algorithme de prédiction très basique, qui suppose une relation linéaire entre la variable de sortie et la variable d'entrée, et convient pour prédire des variables numériques et étudier la relation entre deux variables ou plus. . Par exemple : prévoir les prix des maisons en fonction de la taille de la maison et d'autres caractéristiques, ou prédire les ventes futures en fonction des données de ventes historiques, etc.

2.2022 年, 0xZKML/zk-mnist, 0xZKML

• Création d'un circuit ZK de réseau neuronal basé sur l'ensemble de données MNIST, qui peut reconnaître les nombres manuscrits. Par exemple : écriture manuscrite d'un chiffre 2, l'écriture manuscrite est reconnue comme 2 et une preuve de processus de raisonnement** est générée. ** La preuve peut être téléchargée sur la chaîne, et la preuve sur la chaîne peut être vérifiée avec ethers + snarkjs.
• En fait, la bibliothèque zk-mnist ne convertit actuellement que la dernière couche en circuit, mais ne convertit pas le réseau neuronal complet en circuit.

3. 2022, socathie/zkML, Cathie

• Par rapport à zk-mnist, ZKML convertit un réseau de neurones complet en un circuit. zkMachineLearning de Cathie fournit plusieurs kits d'outils ZKML cirocmlib-ml et keras2circom pour aider les ingénieurs ML à convertir des modèles en circuits.

4 novembre 2022, zk-ml/uchikoma, Peiyuan Liao

• Transférez les opérations en virgule flottante dans les réseaux de neurones vers les opérations en virgule fixe. Création et open source d'un outil et d'un cadre généraux qui convertissent presque tous les algorithmes d'apprentissage automatique en un circuit à l'épreuve des connaissances nulles qui s'intègre facilement aux chaînes de blocs.
• Modèle visuel -> AIGC
• Modèle de langage -> chatbot, assistant d'écriture
• Modèles linéaires et arbres de décision -> Détection des fraudes, prévention des attaques Sybil
• Modèle multimodal -> système de recommandation
• Formation d'un modèle d'apprentissage automatique de génération de contenu (AIGC) compatible avec la blockchain et conversion en un circuit ZK. ** Utilisez-le pour générer des illustrations, générer des épreuves ZK concises et enfin Mint l'illustration en NFT **.

5. juillet 2022, mise à jour mars 2023, zkonduit/ezkl

• ezkl est une bibliothèque et un outil de ligne de commande pour l'inférence sur des modèles d'apprentissage en profondeur et d'autres graphiques de calcul dans zk-snark (ZKML). Utilisez Halo2 comme système de preuve.
• Il est possible de définir un graphe de calcul, tel qu'un réseau de neurones, puis d'utiliser ezkl pour générer un circuit ZK-SNARK. Les ZKP générés pour l'inférence peuvent être vérifiés avec des contrats intelligents.
• On dit que c'est un modèle qui peut prendre en charge 100 millions de paramètres, mais il peut consommer beaucoup de ressources.

6. Mai 2023, Ddkang/zkml (Lien)

• zkml prétend utiliser ZK pour convertir les modèles GPT2, Bert et Diffusion. Mais cela peut utiliser beaucoup de mémoire et il n'est pas clair si la preuve peut être stockée dans le contrat intelligent.
• zkml peut vérifier l'exécution du modèle avec une précision de 92,4 % sur ImageNet, et peut également prouver un modèle MNIST avec une précision de 99 % en en quatre secondes.

7. mai 2023, zkp-gravity/0g

• Réseau neuronal léger, prenant en charge les données privées + modèle public.

En général, nous pouvons voir la direction d'exploration actuelle de la technologie ZKML :

1. Quantification du réseau, convertissez les nombres à virgule flottante du réseau de neurones en nombres à virgule fixe et allégez le réseau de neurones (compatible ZK).
2. Essayez de convertir le réseau de neurones avec des ** paramètres à grande échelle en un circuit ZK ** et améliorez l'efficacité de la preuve (étendez la capacité ZK).

6. Résumé

1. ZKML est un pont entre l'IA et la blockchain. Son importance est de permettre à la **blockchain de percevoir le monde physique, de permettre aux contrats intelligents de prendre des décisions et d'exécuter des modèles d'IA avec protection de la vie privée. C'est une technologie très prometteuse .
2. L'histoire de ZKML est très courte et son développement est très rapide. À l'heure actuelle, certains modèles de réseaux de neurones simples peuvent être convertis en circuits ZK, et des modèles peuvent être téléchargés sur la chaîne ou des preuves de raisonnement peuvent être téléchargées sur la chaîne. Le modèle de langage est relativement difficile, à l'heure actuelle, Ddkang/zkml prétend pouvoir générer la version ZK du modèle GPT2, Bert et Diffusion. ** Je pense qu'avec le développement de la technologie de volume de réseau, de la technologie ZK et de la technologie d'expansion de la blockchain, le modèle de langage ZKML sera bientôt disponible **.