Foresight Ventures: що таке zkML?

zkML — це міст між штучним інтелектом і блокчейном. Його значення полягає в тому, щоб блокчейн сприймав фізичний світ, дозволяв смарт-контрактам приймати рішення та запускав моделі штучного інтелекту із захистом конфіденційності.

Резюме

• ZKML (машинне навчання з нульовим знанням) — це технологія, яка використовує докази з нульовим знанням для машинного навчання, ZKML — це міст між ШІ та блокчейном. ZKML може вирішити проблему захисту конфіденційності моделі/введення ШІ та процесу міркування, яке можна перевірити, так що ZKP малої моделі або міркування можна завантажити в ланцюг. Значення ланцюжка доказів моделі/міркування таке:
• Дозвольте блокчейну сприймати фізичний світ. Наприклад: модель розпізнавання обличчя, що працює в блокчейні, може сприймати обличчя для блокчейну, а модель ШІ в блокчейні може зрозуміти, що це обличчя може бути жінкою, скільки їй років тощо.
• Дозволити смарт-контрактам приймати рішення. Наприклад: модель прогнозування ціни WETH у ланцюжку може допомогти розумним контрактам приймати рішення щодо транзакцій.
• Запускайте моделі штучного інтелекту приватно. Наприклад, підприємство витрачає багато обчислювальної потужності на навчання моделі, сподіваючись надати послуги логічного висновку таким чином, щоб зберегти конфіденційність, або введення користувача хоче забезпечити конфіденційність. Використання ZKML може не тільки гарантувати конфіденційність моделі/вхідних даних, але й довести користувачеві, що міркування виконано правильно, реалізуючи недовірливе міркування.
• Застосування ZKML
• Штучний інтелект у ланцюжку: розмістіть модель штучного інтелекту/доказ аргументації штучного інтелекту в ланцюжку, щоб розумні контракти могли використовувати ШІ для прийняття рішень. Наприклад, мережева торгова система використовується для прийняття інвестиційних рішень у мережі.
• **Блокчейн із самовдосконаленням: **Дозвольте блокчейну використовувати здатність штучного інтелекту для постійного вдосконалення та перегляду стратегій на основі історичних даних. Наприклад, система репутації на основі ШІ.
• AIGC on-chain: контент/ілюстрації, створені AIGC, on-chain Mint у NFT, ZK може підтвердити правильність процесу, у наборі даних не використовуються зображення, захищені авторським правом, тощо.
• Біометрична автентифікація (KYC) гаманця: доказ розпізнавання обличчя завантажується в ланцюжок, і гаманець завершує KYC.
• Безпека штучного інтелекту: використовуйте ШІ для виявлення шахрайства, запобігання атакам Sybil тощо.
• Ігри ZKML у ланцюжку: шахісти зі штучним інтелектом у ланцюжку, персонажі NFT, керовані нейронними мережами тощо.
• ZKML технічно
• Мета: трансформувати нейронну мережу в схему ZK Труднощі: 1. Схема ZK не підтримує числа з плаваючою комою, 2. Занадто велику нейронну мережу важко конвертувати.
• Поточний прогрес:
• Найперша бібліотека ZKML була створена 2 роки тому, і історія розвитку всієї технології дуже коротка. Наразі найновіша бібліотека ZKML підтримує деякі прості нейронні мережі ZK і застосовується до блокчейну. Кажуть, що базова модель лінійної регресії може бути завантажена в ланцюг, а інші типи менших моделей нейронної мережі можуть підтримувати ланцюжок доказів. Але я бачив дуже мало демонстрацій, лише розпізнавання рукописних цифр.
• **Деякі інструменти стверджують, що підтримують 100M параметрів, а деякі стверджують, що перетворюють GPT2 у схему ZK для створення доказу ZK. **
• Напрямок розвитку:
• Мережеве квантування (мережеве квантування), перетворює числа з плаваючою комою в нейронній мережі на числа з фіксованою комою та полегшує нейронну мережу (зручна для ZK).
• Спроба перетворити нейронну мережу з великомасштабними параметрами в схему ZK і підвищити ефективність доказу (розширити можливості ZK).
• Підсумуйте:
• ZKML — це міст між штучним інтелектом і блокчейном, його значення полягає в тому, щоб блокчейн сприймав фізичний світ, дозволяв смарт-контрактам приймати рішення та запускав моделі штучного інтелекту у спосіб, захищений конфіденційністю**, **є дуже перспективна технологія.
• Історія цієї технології дуже коротка, але вона розвивається дуже швидко.Наразі деякі прості моделі нейронних мереж можна трансформувати в схеми ZK, які можна використовувати для ланцюжка моделей або ланцюжків доказів міркувань. Але мова є відносно складною. Наразі Ddkang/zkml стверджує, що може генерувати ZK-версію GPT2, моделі обробки природної мови Bert і Diffusion, але фактичний ефект невідомий. Він може працювати, але може бути нездатним для завантаження в ланцюг. Я вважаю, що з розвитком технології мережевих томів, технології ZK і технології розширення блокчейну мовна модель ZKML незабаром стане доступною.

1. Фон

(Якщо ви щось знаєте про ЗК, МЛ, можете пропустити цю главу).

• **Доказ з нульовим знанням (ZK): **Доказ з нульовим знанням означає, що перевіряючий може переконати верифікатор у правильності певного твердження, не надаючи жодної корисної інформації верифікатору. ZK в основному використовується для підтвердження того, що процес розрахунку виконано правильно, і для захисту конфіденційності.
• Доведіть правильність процесу обчислення: візьмемо ZK-rollup як приклад, операція ZK-rollup полягає в тому, щоб просто упакувати кілька транзакцій разом, опублікувати їх на L1 і одночасно випустити доказ (за допомогою zero-knowledge proof technology ), щоб стверджувати, що ці транзакції є дійсними, коли буде перевірено на L1, що вони дійсні, стан zk-rollup буде оновлено.
• Захист конфіденційності: на прикладі протоколу Aztec активи на zk.money Aztec існують у формі купюр, подібних до UTXO Bitcoin, сума рахунку зашифрована, коли користувачеві потрібно переказати гроші , вексель потрібно знищити та створити нові нотатки для одержувача, а також для себе (змінити). Підтвердження нульового знання використовується для захисту конфіденційності, щоб довести, що кількість знищеної нотатки така ж, як і у новоствореної нотатки, і користувач має право контролювати нотатку.
• Машинне навчання: Машинне навчання є розділом штучного інтелекту. Теорія машинного навчання в основному полягає в розробці та аналізі деяких алгоритмів, які дозволяють комп’ютерам «навчатися» автоматично. Алгоритми машинного навчання автоматично аналізують і отримують закони з даних, а також використовують закони для прогнозування невідомих даних. Машинне навчання широко використовується в комп’ютерному зорі, обробці природної мови, біометричному розпізнаванні, пошукових системах, медичній діагностиці, виявленні шахрайства з кредитними картками, аналізі ринку цінних паперів, секвенуванні ДНК, розпізнаванні мови та рукописного тексту, іграх та робототехніці.

**2. Яку проблему вирішує ZKML? **

ZKML — це область досліджень і розробок, яка викликала переполох у спільноті криптографів за останні два роки. Використовуючи підтвердження з нульовим знанням для машинного навчання**, головною метою цієї технології є використання підтвердження з нульовим знанням для вирішення проблем захисту конфіденційності та перевірених проблем машинного навчання. Таким чином, мала модель або ZKP міркувань може бути завантажена в ланцюг і стати мостом між ШІ та блокчейном:

• Об’єднання моделей: моделі ML можна конвертувати в схеми ZK, а невеликі моделі ZKML можна зберігати в смарт-контракті блокчейну. Користувачі можуть використовувати модель, викликаючи методи смарт-контракту. Наприклад, RockyBot з Modulus Labs створив модель штучного інтелекту в ланцюжку для прогнозування ціни WETH для прийняття торгових рішень.
• Доказ міркування моделі тощо в ланцюжку: перетворіть модель ML у схему ZK, виконайте міркування поза ланцюгом і згенеруйте доказ ZK. Докази ZK можуть підтвердити, що процес міркування виконується правильно. Результати обґрунтування та підтвердження ZK надсилаються в ланцюг для довідки абонентом і підтвердженням перевірки смарт-контракту.

** Яке значення доказу моделі/міркування в ланцюжку? **

• Дозвольте блокчейну сприймати фізичний світ. Наприклад: модель розпізнавання обличчя, що працює в блокчейні, може сприймати обличчя для блокчейну, а модель ШІ в блокчейні може зрозуміти, що це обличчя може бути жінкою, скільки їй років тощо.
• Дозволити смарт-контрактам приймати рішення. Наприклад: модель прогнозування ціни WETH у ланцюжку може допомогти розумним контрактам приймати рішення щодо транзакцій.
• Запускайте моделі штучного інтелекту приватно. Наприклад, підприємство витрачає багато обчислювальної потужності на навчання моделі, сподіваючись надати послуги логічного висновку таким чином, щоб зберегти конфіденційність, або введення користувача хоче забезпечити конфіденційність. Використання ZKML може не тільки гарантувати конфіденційність моделі/вхідних даних, але й довести користувачеві, що міркування виконано правильно, реалізуючи недовірливе міркування.

Доказ нульового знання підтверджує роль у ZKML:

**1. Захист конфіденційності: захист конфіденційності вхідних даних у моделі ML або процесі прогнозування. **

• **Конфіденційність даних (загальнодоступна модель + приватні дані): **У мене є деякі конфіденційні дані, як-от медичні дані, зображення обличчя тощо. Я можу використовувати ZKML для захисту конфіденційності вхідних даних, запускати загальнодоступну модель нейронної мережі на цих даних і отримувати результат. Наприклад, моделі розпізнавання облич,
• Конфіденційність моделі (приватна модель + публічні дані): наприклад, я витрачаю багато грошей на навчання моделі. Я не хочу розкривати свою модель, тому мені потрібно захистити конфіденційність моделі. Я можу використовувати ZKML для запуску моделі приватної нейронної мережі, яка зберігає конфіденційність, і ця модель може робити висновок про загальнодоступні дані для отримання виходу.

**2. Верифікованість: ZKP використовується для підтвердження правильності виконання процесу міркування ML, що робить процес машинного навчання верифікованим. **

• Припустімо, виконання моделі не на моєму сервері, але мені потрібно переконатися, що спекуляція виконується правильно. Я можу використовувати ZKML для виконання висновку щодо вхідних даних і моделі, він створює вихідні дані, ZKP може довести, що цей процес виконується правильно, навіть якщо процес не запущено на моєму комп’ютері, я можу перевірити правильність висновку, перевіривши ЗКП реалізовано, а отже вірю в результат.

3. Випадки використання ZKML

• ** ПОВНОТА ОБЧИСЛЕННЯ **
• **On-chain AI (On-chain AI): **Розгортайте модель AI на блокчейні, щоб смарт-контракти могли приймати рішення за допомогою моделі AI.
• Modulus Labs: RockyBot On-chain торговий бот ML, що перевіряється (торговий робот машинного навчання на блокчейні, який можна перевірити)
• Блокчейн із самовдосконаленням: дозвольте блокчейну використовувати здатність штучного інтелекту для постійного вдосконалення та коригування стратегій на основі історичних даних.
• Розширений AMM Lyra finance зі штучним інтелектом.
• Створіть систему репутації на основі ШІ для Astraly.
• Створюйте функції відповідності на основі штучного інтелекту на рівні смарт-контракту для протоколу Aztec
• Modulus Labs: блокчейни, які самовдосконалюються (посилання):
• AIGC on-chain: контент/ілюстрації, створені AIGC, on-chain Mint у NFT, ZK може підтвердити правильність процесу, у наборі даних не використовуються зображення, захищені авторським правом, тощо.
• Прозорість ML as a Service (MLaaS) (посилання)
• Безпека штучного інтелекту: використовуйте ШІ для виявлення шахрайства, запобігання атакам Sybil тощо. Модель виявлення аномалій штучного інтелекту навчається відповідно до даних смарт-контракту, і контракт призупиняється, якщо показник є ненормальним, а ZK використовується для виявлення аномалії, щоб довести, що він знаходиться в ланцюжку.
• Ігри ZKML у ланцюжку: шахісти зі штучним інтелектом у ланцюжку, персонажі NFT, керовані нейронними мережами тощо.
• Порівняльний тест моделі штучного інтелекту, який можна перевірити: використовуйте ZK, щоб надати докази тестування моделі, а також забезпечити можливість перевірки результатів тестування продуктивності та ефекту моделі.
• Доказ правильності навчання моделі: оскільки навчання моделі є дуже ресурсомістким, підтвердження правильності навчання моделі за допомогою ZK наразі недоступне, але багато людей вважають, що технологія можлива, і намагаються використовувати ZK, щоб довести це модель використовує певні дані / не використовує певні дані для вирішення проблеми авторського права AIGC.
• захист конфіденційності
• Біометрична автентифікація/цифрова ідентифікація для гаманців *WordCoin сканує райдужну оболонку за допомогою біометричного пристрою Orb, надаючи користувачам унікальну цифрову ідентифікацію, яку можна перевірити. WorldCoin працює над zkml, який планується використовувати для оновлення World ID.Після оновлення користувачі зможуть автономно зберігати біометричні дані свого підпису в зашифрованому сховищі своїх мобільних пристроїв, завантажувати модель ML, згенеровану кодом райдужної оболонки ока, і створювати докази з нульовим знанням локально, доводячи, що його код райдужної оболонки дійсно було згенеровано із зображення підпису з використанням правильної моделі.
• Баунті-платформа машинного навчання на основі блокчейна
• Компанія видає винагороди та надає публічні та приватні дані. Загальнодоступні дані використовуються для навчання моделі, а приватні дані використовуються для прогнозування. Деякі служби ШІ навчають модель і перетворюють її на схему ZK. Зашифруйте модель і надішліть її в контракт для перевірки. Для приватних даних робити прогнози, отримувати результати та генерувати ZK-докази, які надсилаються до договору для перевірки. Постачальники послуг штучного інтелекту отримують винагороди за виконання серії операцій. zkML: демонстрація circomlib-ml у тестовій мережі Goerli
• Міркування щодо збереження конфіденційності: наприклад, використання особистих даних пацієнта для медичної діагностики з подальшим надсиланням конфіденційних висновків (наприклад, результатів виявлення раку) пацієнту. (стаття vCNN, сторінка 2/16)

4. Макет ZKML

Судячи з макету ZKML, організованого SevenX Ventures.

• Апаратне прискорення: багато організацій активно розробляють апаратне прискорення ZKP, що також сприяє розвитку ZKML. Як правило, для прискорення генерації ЗКП використовуються мікросхеми FPGA, GPU та ASIC. Наприклад: Accseal розробляє мікросхеми ASIC для апаратного прискорення ZKP, а Ingonyama створює бібліотеку прискорення ZK ICIClE, яка розроблена для графічних процесорів, які підтримують CUDA. Supranational зосереджується на прискоренні GPU, Cysic і Ulvetanna — на FPGA.
• Введення: щоб використовувати введення даних у ланцюжку, Axiom, Herodotus, Hyper Oracle, Lagrange покращать доступ користувачів до даних у ланцюзі та нададуть більш складні перегляди даних у ланцюзі. Потім вхідні дані ML можна отримати з імпортованих історичних даних
• Обґрунтування: ModulusLabs розробляє нову систему zkSNARK спеціально для ZKML. Цю частину можна об’єднати з набором інструментів ZKML, головним чином для ZKization моделі та набору інструментів, необхідних у процесі ZKization. Giza — це платформа машинного навчання* на основі StarkNet, яка *фокусується на повністю ланцюжковій моделі масштабуванні розгортання.
• Обчислення: зосередьтеся на створенні децентралізованої обчислювальної мережі для навчання моделей ШІ, доступних для всіх. Вони дозволяють людям використовувати периферійні обчислювальні ресурси для навчання моделей штучного інтелекту за нижчою ціною.
• Децентралізоване навчання/обчислювальна потужність: зосередьтеся на створенні децентралізованої обчислювальної мережі для навчання моделей штучного інтелекту, до якої кожен матиме доступ. Вони дозволяють людям використовувати периферійні обчислювальні ресурси для навчання моделей штучного інтелекту за нижчою ціною.
• Набір інструментів ZKML: див. Розділ 5 Історія розвитку технологій. ZAMA на малюнку в основному використовує повністю гомоморфне шифрування (FHE) для захисту конфіденційності машинного навчання. Порівняно з ZKML, FHEML забезпечує лише конфіденційність і не виконує бездовірну перевірку.
• Приклад використання: Worldcoin, використання ZKML для цифрової автентифікації. Біометричні дані підпису користувача шифруються та зберігаються на пристрої користувача, а модель машинного навчання розпізнавання райдужної оболонки ока на основі ZK запускає модель під час розпізнавання особи, щоб перевірити, чи збігаються біометричні дані. За допомогою ЗКП довести правильність запущеного процесу. Modulars Labs — торговий робот зі штучним інтелектом у мережі. Cathie EIP7007, стандарт zkML AIGC-NFT. Шахісти зі штучним інтелектом на ланцюжку, персонажі NFT, керовані нейронними мережами тощо.

5. Історія розвитку технології ZKML

Основними проблемами при перетворенні нейронної мережі на ZK-ланцюг є:

1. Схеми вимагають операцій з фіксованою комою, але числа з плаваючою комою широко використовуються в нейронних мережах.
2. Проблема розміру моделі, перетворення великих моделей складно, а схема велика.

Історія розвитку бібліотеки ZKML така:

1.2021, zk-ml/linear-regression-demo, Peiyuan Liao

• Реалізована схема лінійної регресії. Лінійна регресія — це простий алгоритм прогнозування, який передбачає лінійний зв’язок між вихідною змінною та вхідною змінною та підходить для прогнозування числових змінних і вивчення зв’язку між двома чи більше змінними. Наприклад: прогнозування цін на житло на основі розміру будинку та інших характеристик або прогнозування майбутніх продажів на основі історичних даних про продажі тощо.

2.2022 年, 0xZKML/zk-mnist, 0xZKML

• Створив схему нейронної мережі ZK на основі набору даних MNIST, яка може розпізнавати рукописні цифри. Наприклад: рукописне написання цифри 2, почерк розпізнається як 2 і генерується підтвердження процесу аргументації**. **Доказ можна завантажити в ланцюжок, а доказ у ланцюжку можна перевірити за допомогою ethers + snarkjs.
• Насправді бібліотека zk-mnist наразі перетворює лише останній рівень на схему, але не перетворює повну нейронну мережу на схему.

3. 2022, socathie/zkML, Кеті

• У порівнянні з zk-mnist, ZKML перетворює повну нейронну мережу на схему. zkMachineLearning від Cathie надає численні набори інструментів ZKML cirocmlib-ml і keras2circom, які допомагають інженерам ML перетворювати моделі на схеми.

4. Листопад 2022, zk-ml/uchikoma, Пейюань Ляо

• Перенесення операцій з плаваючою комою в нейронних мережах на операції з фіксованою комою. Створено та відкрито вихідний код загального інструменту та фреймворку, який перетворює майже будь-який алгоритм машинного навчання на надійну схему з нульовим знанням, яку легко інтегрувати з блокчейнами.
• Візуальна модель -> AIGC
• Мовна модель -> чат-бот, помічник з написання
• Лінійні моделі та дерева рішень -> виявлення шахрайства, запобігання атакам Sybil
• Мультимодальна модель -> система рекомендацій
• Навчання моделі машинного навчання генерації контенту (AIGC), дружньої до блокчейну, і перетворення її на схему ZK. Використовуйте його для створення ілюстрації, генерації стислих доказів ZK і, нарешті, карбуйте ілюстрацію в NFT.

5. Липень 2022 р., оновлено березень 2023 р., zkonduit/ezkl

• ezkl — це бібліотека та інструмент командного рядка для висновків щодо моделей глибокого навчання та інших обчислювальних графіків у zk-snark (ZKML). Використовуйте Halo2 як систему доказів.
• Можна визначити графік розрахунку, наприклад нейронну мережу, а потім використовувати ezkl для створення схеми ZK-SNARK. ZKP, створені для висновку, можна перевірити за допомогою смарт-контрактів.
• Кажуть, що це модель, яка може підтримувати 100 млн параметрів, але може споживати багато ресурсів.

6 травня 2023 р., Ddkang/zkml (посилання)

• zkml стверджує, що використовує ZK для перетворення моделей GPT2, Bert і Diffusion. Але він може використовувати багато пам’яті, і незрозуміло, чи можна зберігати докази в смарт-контракті.
• zkml може перевірити виконання моделі з точністю 92,4% на ImageNet, а також може підтвердити модель MNIST з точністю 99% за чотири секунди.

7. Травень 2023, zkp-gravity/0g

• Легка нейронна мережа, що підтримує приватні дані + публічну модель.

Загалом ми бачимо поточний напрямок дослідження технології ZKML:

1. Мережеве квантування, перетворює числа з плаваючою комою в нейронній мережі на числа з фіксованою комою та полегшує нейронну мережу (зручно для ZK).
2. Спробуйте перетворити нейронну мережу з великомасштабними параметрами в схему ZK і підвищити ефективність доказу (розширити можливості ZK).

6. Резюме

1. ZKML — це міст між ШІ та блокчейном. Його значення полягає в тому, щоб дозволити **блокчейну сприймати фізичний світ, дозволити розумним контрактам приймати рішення та запускати моделі ШІ із захистом конфіденційності. Це дуже перспективна технологія .
2. Історія ЗКМЛ дуже коротка, а її розвиток дуже швидкий. На даний момент деякі прості моделі нейронних мереж можна перетворити на ZK-схеми, а моделі можна завантажити в ланцюг або аргументовані докази можна завантажити в ланцюг. Мовна модель є відносно складною. На даний момент Ddkang/zkml стверджує, що може генерувати ZK-версію GPT2, моделі Bert і Diffusion. Я вважаю, що з розвитком технології мережевих томів, технології ZK і технології розширення блокчейну мовна модель ZKML незабаром стане доступною.