الكأس المقدسة ل Crypto AI: استكشاف الحدود للتدريب اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث عتبة التقنية، مما يحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع استدعاء خفيف الوزن في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعله "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نمط البنية، يمكن تصنيف أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.

تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذا الهيكل المعماري المتناغم بشكل عميق يجعل كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل المثلى، مما يجعله مناسبًا جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث يتمتع بمزايا الكفاءة العالية، والموارد القابلة للتحكم، لكنه في الوقت نفسه يواجه مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الأحادية.

التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، وجوهره هو تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات للعمل معًا، لتجاوز قيود الحوسبة والتخزين في جهاز واحد. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أنه لا يزال يتم التحكم فيه وتنسيقه ومزامنته من قبل مؤسسة مركزية، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة:

• البيانات المتوازية: كل عقدة تقوم بتدريب بيانات مختلفة مع مشاركة المعلمات، يجب أن تتطابق أوزان النموذج
• التوازي في النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع القوية
• أنبوب متوازي: تنفيذ متسلسل على مراحل، مما يزيد من معدل النقل
• توازي المصفوفات: تقسيم دقيق لحساب المصفوفة، تعزيز درجة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، ويمكن تشبيهه بمدير واحد يقوم بالتوجيه عن بُعد لموظفين من عدة "مكاتب" للتعاون في إكمال المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.

اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتلخص ميزته الأساسية في: عدة عقد غير موثوقة تتعاون لإكمال مهام التدريب بدون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبمساعدة آلية التحفيز المشفرة لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:

• صعوبة التوافق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة تنسيق الأجهزة المتنوعة وكفاءة تقسيم المهام منخفضة
• عنق الزجاجة في كفاءة الاتصال: الاتصال الشبكي غير مستقر، ووجود عنق الزجاجة في مزامنة التدرجات واضح
• نقص في التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب
• نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، وآلية التراجع عن الأخطاء معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بهندسة النظام، وبروتوكولات الاتصال، وأمان التشفير، والآليات الاقتصادية، والتحقق من النموذج، وغيرها من الجوانب، ولكن ما إذا كان يمكن "التعاون الفعال + تحفيز النزاهة + نتائج صحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.

تعتبر التعلم الفيدرالي شكلًا انتقالياً بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يمتلك التعلم الفيدرالي هيكلًا هندسيًا للتدريب الموزع وقدرة على التعاون المحلي، مع الاستفادة من ميزة توزيع البيانات للتدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث يكون في مهام التدريب وبنية الثقة وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من منظور نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية جدًا، أو صعوبة التعاون، فإنه ليس مناسبًا بطبيعته لإكماله بشكل فعال بين العقد المتباينة وغير الموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن تأخير منخفض، وعرض نطاق ترددي عالٍ، مما يجعل من الصعب تقطيعها والتزامن معها بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تقتصر على خصوصية البيانات وقيود السيادة تتقيد بالامتثال القانوني والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى أساس الحوافز التعاونية إلى الدافع الخارجي للمشاركة. هذه الحدود تشكل معًا القيود الواقعية الحالية للتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام التي تتميز بالهيكل الخفيف، وسهولة التوازي، وإمكانية التحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك، مهام تدريب وتصنيف البيانات عبر الحشود، تدريب نماذج أساسية صغيرة تحت السيطرة، ومشاهد التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. هذه المهام تتميز بشكل عام بارتفاع التوازي، وانخفاض الترابط، والقدرة على تحمل قوة الحوسبة غير المتجانسة، مما يجعلها مناسبة للغاية للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، والمُحسِّنات الموزعة.

تحليل مشروع التدريب الكلاسيكي اللامركزي

في الوقت الحالي، تشمل المشاريع الرائدة في مجال التدريب اللامركزي والتعلم الفيدرالي، المشاريع الرئيسية المعروفة على البلوكشين مثل Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما المسارات التنفيذية لـ Gensyn وFlock.io واضحة نسبيًا، وقد لوحظت تقدمات هندسية أولية. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، واستكشاف الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.

Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب

تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهمته في الحساب. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، المزود بآلية تحفيز كاملة من خلال ثلاثة مكونات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.

01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية

02، شرح آلية التدريب الأساسية لـ Prime Intellect

#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك

PRIME-RL هو إطار نمذجة وتنفيذ المهام الذي تم تخصيصه من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز ككائنات تكييف أولية، ويقوم بفك ارتباط هيكلي بين عمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنةً بعمليات التعلم تحت الإشراف التقليدية، فإن PRIME-RL هو أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.

#TOPLOC:آلية تحقق سلوك التدريب خفيفة الوزن

TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد يعتمد حقًا على بيانات الملاحظة لإكمال تعلم استراتيجية فعالة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يُكمل التحقق الهيكلي الخفيف من خلال تحليل مسارات التناسق المحلي بين "سلسلة الملاحظة ↔ تحديث الاستراتيجية". إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك أثناء عملية التدريب إلى كائنات يمكن التحقق منها، وهي ابتكار رئيسي لتحقيق توزيع المكافآت التدريبية دون حاجة للثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.

#SHARDCAST: بروتوكول تجميع الأوزان غير المتزامن ونقلها

SHARDCAST هو بروتوكول لنشر الوزن وتجميعه صممه Prime Intellect، مصمم خصيصًا لبيئات الشبكة الحقيقية التي تتميز بالتأخير، وقيود عرض النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات المزامنة المحلية، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقاربًا تدريجيًا في الوزن وتطورًا متعدد الإصدارات. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل كبير قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتكرار المستمر للتدريب.

#OpenDiLoCo:إطار الاتصال غير المتناظر النادر

OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد في التدريب اللامركزي. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل توصيل نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للاتصال العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. مع الجمع بين التحديث غير المتزامن وآلية استرداد النقاط، يسمح OpenDiLoCo أيضًا لوحدات معالجة الرسوميات الاستهلاكية والأجهزة الحافة بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير قابلية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

#PCCL: مكتبة الاتصالات التعاونية

PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف في المكتبات التقليدية في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستئناف النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.

03، شبكة Prime Intellect والحوافز وتقسيم الأدوار

بني Prime Intellect شبكة تدريبية قابلة للتحقق وغير مرخصة، مزودة بآلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت استنادًا إلى المساهمات الحقيقية. يتم تشغيل البروتوكول استنادًا إلى ثلاث فئات من الأدوار الأساسية:

• مُطلق المهمة: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد تدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع السياسات

تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية حول "السلوك التدريبي الحقيقي".

04، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزية

أصدرت Prime Intellect INTELLECT-2 في مايو 2025، وهو أول نموذج كبير للتعلم المعزز يتم تدريبه بالتعاون بين نقاط غير مركزية، غير موثوقة، ومتزامنة، ويبلغ حجم المعلمات 32B. تم تدريب نموذج INTELLECT-2 من خلال التعاون بين أكثر من 100 نقطة GPU غير متجانسة موزعة على ثلاث قارات، باستخدام بنية متزامنة بالكامل، واستمرت مدة التدريب لأكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يعد هذا النموذج مجرد اختراق في الأداء، بل يمثل أيضًا أول تطبيق منهجي لمفهوم "التدريب هو توافق" الذي طرحته Prime Intellect. يدمج INTELLECT-2 البروتوكولات الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة انفتاح عملية التدريب، والتحقق، وحلقة الحوافز الاقتصادية.

من حيث الأداء، يعتمد INTELLECT-2 على QwQ-32B وتم تدريبه بشكل خاص على RL في البرمجة والرياضيات، وهو في مقدمة نماذج RL المفتوحة المصدر المعدلة الحالية.