Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация совместной технологической революции
В полной цепочке ценностей ИИ этап обучения модели является наиболее ресурсозатратным и требующим высокой квалификации, что напрямую определяет предельные возможности модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных крупных затрат вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, который осуществляется единственным учреждением в локальном высокопроизводительном кластере, охватывающем весь процесс обучения: от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единым контролирующим системой. Такая глубоко координированная архитектура обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и управляемых ресурсов, но в то же время существующими проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в разделении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие "распределённой" характеристики в физическом плане, в целом всё ещё контролируется и координируется централизованной организацией, часто работает в среде быстрого локального сетевого соединения, используя высокоскоростную шину NVLink для связи, при этом главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры совместно используются, необходимо сопоставить веса модели
Модельное параллелизм: размещение различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности;
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма.
Распределенное обучение — это комбинация "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же босс удаленно управляет работой нескольких сотрудников из разных "офисов" для выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее основная характеристика заключается в том, что: несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизма криптоощущения для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности разделения: высокая трудность координации гетерогенных устройств, низкая эффективность разделения задач;
П瓶颈 эффективности связи: нестабильная сеть связи, явно выраженный瓶颈 синхронизации градиента;
Отсутствие доверительного выполнения: отсутствие доверительной среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях;
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизм отката ошибок сложны.
Децентрализация тренировки можно понять как: группа глобальных волонтеров, которые вносят свой вклад в вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная Децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация модели и т.д., но возможность "совместной эффективности + стимуляция честности + правильность результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежного координирующего лица и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленности.
) Полный сравнительный обзор парадигм AI-обучения ### Техническая архитектура × Доверительная мотивация × Применение характеристик (
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализации и кооперации в технической революции])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или значительных трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые, или конфиденциальные данные ###, ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, у которых нет основ для сотрудничества, такие как закрытые модели предприятий или внутреннее обучение прототипов (, лишены внешней мотивации для участия. Эти границы в совокупности составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью мотивации, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: тонкой настройкой LoRA, задачами постобучения, связанными с выравниванием поведения ), такими как RLHF, DPO (, задачами по обучению и разметке данных на основе краудсорсинга, обучением небольших базовых моделей с управляемыми ресурсами, а также сценариями совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
)# Децентрализация训练任务适配性总览表
Децентрализация тренировки классических проектов анализа
В настоящее время на переднем крае децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги к инженерному прогрессу. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дальше рассмотрено их различие и взаимодополняемость в системе децентрализованного AI-обучения.
(# Prime Intellect: Пионер сети совместного обучения с подкреплением, чьи траектории обучения могут быть проверены
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется через три основных модуля PRIME-RL + TOPLOC + SHARDCAST создать систему децентрализованного обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов.
1. Структура стека протоколов Prime Intellect и ценность ключевых модулей
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализация совместной технической революции])https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация обучающих сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процесс обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать цикл задач на месте и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения тренировки
TOPLOC###Доверенное Наблюдение и Проверка Политики-Локальности( является ядром механизма обучения с проверяемостью, предложенным Prime Intellect, предназначенным для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а использует анализ локальной согласованности между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легкой структуры. Он впервые преобразует поведенческие траектории в процессе обучения в объекты, подлежащие проверке, что является ключевым нововведением для реализации распределения наград за обучение без доверия, предоставляя жизнеспособный путь для создания可审计,可激励的 Децентрализация协作 обучения сети.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и изменяющихся сетевых сред. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, что является основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура команды Prime Intellect, основанная на концепции DiLoCo, предложенной DeepMind, специально разработанная для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, путем построения разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершить совместное обучение модели, полагаясь только на локальные соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, что значительно повышает доступность глобального совместного обучения и является одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL: Библиотека совместной связи
PCCL)Prime Collective Communication Library( - это легковесная библиотека связи, разработанная Prime Intellect для Децентрализация AI тренировочной среды, нацеленная на решение проблем совместимости традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность тренировочной сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для построения действительно открытой, не требующей доверия сети совместной тренировки.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, не требующую разрешения, с возможностью верификации и экономическими стимуляторами, позволяя любому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определение учебной среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки достоверности тренировочного поведения и участия в расчетах вознаграждений и агрегации стратегий.
Ядро протокола включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов )SHARDCAST( и распределение вознаграждений, что формирует замкнутый цикл стимулов вокруг "реального обучающего поведения".
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализации и сотрудничеству в технологической революции])https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp(
Четыре, INTELLECT-2: публикация первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире система, обученная с помощью асинхронного, доверительного не требующего Децентрализация узлового сотрудничества.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
13 Лайков
Награда
13
7
Поделиться
комментарий
0/400
MEVHunterNoLoss
· 07-08 16:28
Это будущее ИИ Децентрализация обучение yyds
Посмотреть ОригиналОтветить0
MetaverseLandlord
· 07-06 22:14
Виртуальная машина跑Децентрализация? 开什么玩笑
Посмотреть ОригиналОтветить0
ApeEscapeArtist
· 07-06 22:13
Чувствую, что аппаратные алхимики сидят дома.
Посмотреть ОригиналОтветить0
CrossChainBreather
· 07-06 22:12
Будущее уже наступило, и смотрите, как оно танцует.
Посмотреть ОригиналОтветить0
CommunityJanitor
· 07-06 22:11
Оказывается, централизованная тренировка тоже такая весомая.
Посмотреть ОригиналОтветить0
BlockchainArchaeologist
· 07-06 21:55
Не нужно так много пафоса, главное, что AI теперь должен быть Децентрализация.
Посмотреть ОригиналОтветить0
TrustlessMaximalist
· 07-06 21:49
Еще один образец децентрализации. Не понимаю, что хорошего в централизации.
Эволюция парадигм обучения ИИ: от централизованных технологий к Децентрализация
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация совместной технологической революции
В полной цепочке ценностей ИИ этап обучения модели является наиболее ресурсозатратным и требующим высокой квалификации, что напрямую определяет предельные возможности модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных крупных затрат вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, который осуществляется единственным учреждением в локальном высокопроизводительном кластере, охватывающем весь процесс обучения: от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единым контролирующим системой. Такая глубоко координированная архитектура обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и управляемых ресурсов, но в то же время существующими проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в разделении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие "распределённой" характеристики в физическом плане, в целом всё ещё контролируется и координируется централизованной организацией, часто работает в среде быстрого локального сетевого соединения, используя высокоскоростную шину NVLink для связи, при этом главный узел координирует выполнение подзадач. Основные методы включают:
Распределенное обучение — это комбинация "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же босс удаленно управляет работой нескольких сотрудников из разных "офисов" для выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее основная характеристика заключается в том, что: несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизма криптоощущения для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа глобальных волонтеров, которые вносят свой вклад в вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная Децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация модели и т.д., но возможность "совместной эффективности + стимуляция честности + правильность результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежного координирующего лица и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленности.
) Полный сравнительный обзор парадигм AI-обучения ### Техническая архитектура × Доверительная мотивация × Применение характеристик (
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализации и кооперации в технической революции])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или значительных трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые, или конфиденциальные данные ###, ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, у которых нет основ для сотрудничества, такие как закрытые модели предприятий или внутреннее обучение прототипов (, лишены внешней мотивации для участия. Эти границы в совокупности составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью мотивации, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: тонкой настройкой LoRA, задачами постобучения, связанными с выравниванием поведения ), такими как RLHF, DPO (, задачами по обучению и разметке данных на основе краудсорсинга, обучением небольших базовых моделей с управляемыми ресурсами, а также сценариями совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
)# Децентрализация训练任务适配性总览表
Децентрализация тренировки классических проектов анализа
В настоящее время на переднем крае децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги к инженерному прогрессу. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дальше рассмотрено их различие и взаимодополняемость в системе децентрализованного AI-обучения.
(# Prime Intellect: Пионер сети совместного обучения с подкреплением, чьи траектории обучения могут быть проверены
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется через три основных модуля PRIME-RL + TOPLOC + SHARDCAST создать систему децентрализованного обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов.
1. Структура стека протоколов Prime Intellect и ценность ключевых модулей
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализация совместной технической революции])https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация обучающих сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процесс обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать цикл задач на месте и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения тренировки
TOPLOC###Доверенное Наблюдение и Проверка Политики-Локальности( является ядром механизма обучения с проверяемостью, предложенным Prime Intellect, предназначенным для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а использует анализ локальной согласованности между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легкой структуры. Он впервые преобразует поведенческие траектории в процессе обучения в объекты, подлежащие проверке, что является ключевым нововведением для реализации распределения наград за обучение без доверия, предоставляя жизнеспособный путь для создания可审计,可激励的 Децентрализация协作 обучения сети.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и изменяющихся сетевых сред. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, что является основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура команды Prime Intellect, основанная на концепции DiLoCo, предложенной DeepMind, специально разработанная для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, путем построения разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершить совместное обучение модели, полагаясь только на локальные соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, что значительно повышает доступность глобального совместного обучения и является одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL: Библиотека совместной связи
PCCL)Prime Collective Communication Library( - это легковесная библиотека связи, разработанная Prime Intellect для Децентрализация AI тренировочной среды, нацеленная на решение проблем совместимости традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность тренировочной сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для построения действительно открытой, не требующей доверия сети совместной тренировки.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, не требующую разрешения, с возможностью верификации и экономическими стимуляторами, позволяя любому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Ядро протокола включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов )SHARDCAST( и распределение вознаграждений, что формирует замкнутый цикл стимулов вокруг "реального обучающего поведения".
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализации и сотрудничеству в технологической революции])https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp(
Четыре, INTELLECT-2: публикация первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире система, обученная с помощью асинхронного, доверительного не требующего Децентрализация узлового сотрудничества.