يعتبر بعض الأشخاص التطورات الأخيرة في صناعة الذكاء الاصطناعي ثورة صناعية رابعة. أدى ظهور نماذج اللغة الكبيرة إلى تحسين ملحوظ في كفاءة القطاعات المختلفة، حيث يقدر أن الولايات المتحدة حققت زيادة بنحو 20% في كفاءة العمل. في الوقت نفسه، يُعتبر قدرة النماذج الكبيرة على التعميم نموذج تصميم برمجي جديد، حيث يتضمن البرمجيات الحديثة بشكل أكبر دمج إطار عمل النموذج الكبير العام، لدعم إدخالات وإخراجات أكثر تنوعاً. لقد جلبت تقنيات التعلم العميق بالفعل جولة جديدة من الازدهار لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
في هذا التقرير، سوف نستعرض بالتفصيل تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، وكذلك تأثير تقنيات التعلم العميق على الصناعة. ثم نقوم بتحليل عميق لحالة وتوجهات تطوير سلسلة القيمة في التعلم العميق بما في ذلك وحدات معالجة الرسوميات، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. وأخيرًا، سنقوم بدراسة جوهر العلاقة بين صناعة التشفير والذكاء الاصطناعي، وفهم هيكل سلسلة قيمة الذكاء الاصطناعي المرتبطة بالتشفير.
بدأت صناعة الذكاء الاصطناعي منذ الخمسينيات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متنوعة العديد من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة بشكل رئيسي مصطلح "تعلم الآلة"، حيث تقوم الفكرة على جعل الآلات تعتمد على البيانات للتكرار في المهام من أجل تحسين أداء النظام. الخطوات الرئيسية هي إدخال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ التلقائي.
توجد حاليًا ثلاثة تيارات رئيسية في التعلم الآلي، وهي الارتباطية، الرمزية والسلوكية، التي تحاكي على التوالي النظام العصبي البشري، التفكير والسلوك.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
تحتل الشبكات العصبية، التي تمثلها الاتصاليات، الصدارة حاليًا ) والمعروفة أيضًا بالتعلم العميق (، والسبب الرئيسي في ذلك هو أن هذه البنية تحتوي على طبقة إدخال وطبقة إخراج، ولكن بها عدة طبقات مخفية. بمجرد أن يكون عدد الطبقات وعدد الخلايا العصبية ) والمعلمات ( كافيًا، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وبعد المرور بالبيانات عدة مرات، ستصل هذه الخلية العصبية إلى الحالة المثلى ) المعلمات (، وهذا هو أصل كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهمه ببساطة على أنه تم إنشاء دالة، وعندما ندخل X=2، يكون Y=3؛ وعندما ندخل X=3، يكون Y=5، وإذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين علينا الاستمرار في إضافة درجة هذه الدالة ومعاملاتها، على سبيل المثال، يمكن بناء دالة تلبي هذا الشرط على أنها Y = 2X -1، ولكن إذا كانت هناك نقطة بيانات واحدة حيث X=2 وY=11، فسنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاث، باستخدام وحدة معالجة الرسومات لإجراء كسر عنيف، وجدنا أن Y = X2 -3X +5 مناسبة للغاية، ولكن لا يلزم أن تتطابق تمامًا مع البيانات، يكفي الالتزام بالتوازن، وإخراج مشابه بشكل عام. هنا، X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معلماتها.
في هذه الحالة، إذا قمنا بإدخال كمية كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا ملاءمة جميع البيانات.
تكنولوجيا التعلم العميق المستندة إلى الشبكات العصبية قد شهدت أيضًا العديد من التكرارات والتطورات، بدءًا من الشبكات العصبية المبكرة، والشبكات العصبية التغذية الأمامية، وRNN، وCNN، وGAN، وأخيرًا تطورت إلى النماذج الكبيرة الحديثة مثل GPT التي تستخدم تكنولوجيا Transformer. تكنولوجيا Transformer ليست سوى اتجاه واحد من تطور الشبكات العصبية، حيث أضافت محولًا ) Transformer (، لتشفير جميع الأنماط ) مثل الصوت، الفيديو، الصور، وغيرها ( إلى قيم عددية مناسبة لتمثيلها. ثم يتم إدخالها في الشبكة العصبية، وبالتالي يمكن للشبكة العصبية التكيف مع أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
شهدت تطورات الذكاء الاصطناعي ثلاث موجات تقنية. الموجة الأولى كانت في الستينيات من القرن العشرين، بعد عقد من提出 تقنية الذكاء الاصطناعي. هذه الموجة كانت نتيجة لتطور تقنية الرمزية، والتي حلت مشكلات معالجة اللغة الطبيعية العامة وتفاعل الإنسان مع الآلة. في نفس الفترة، وُلدت أنظمة الخبراء، ومنها نظام DENRAL الذي تم إنجازه تحت إشراف وكالة الفضاء الوطنية الأمريكية من قبل جامعة أمريكية. يتمتع هذا النظام بمعرفة كيميائية قوية جدًا، ويقوم بإجراء استنتاجات من خلال طرح الأسئلة للحصول على إجابات مشابهة لتلك التي يقدمها خبراء الكيمياء. يمكن اعتبار هذا النظام نظامًا يجمع بين قاعدة المعرفة الكيميائية ونظام الاستنتاج.
بعد نظام الخبراء، قدم عالم وفيلسوف أمريكي من أصل إسرائيلي، جوديث بيرل، الشبكات البايزية في التسعينيات، والتي تعرف أيضًا بشبكات الاعتقاد. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يدل على ولادة السلوكية.
في عام 1997، هزم برنامج شطرنج تابع لشركة تكنولوجيا بطل الشطرنج كاسباروف بنتيجة 3.5:2.5، وقد اعتُبرت هذه النتيجة علامة فارقة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة في تطويرها.
حدثت الموجة الثالثة من تكنولوجيا الذكاء الاصطناعي في عام 2006. قدم عمالقة التعلم العميق Yann LeCun و Geoffrey Hinton و Yoshua Bengio مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN و GAN إلى Transformer و Stable Diffusion، وقد شكلت هذان الخوارزميتان معاً هذه الموجة التكنولوجية الثالثة، وكانت هذه أيضاً فترة ازدهار الارتباطية.
ظهرت العديد من الأحداث البارزة بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام الذكاء الاصطناعي البشر وحصل على البطولة في برنامج الاختبارات "الحافة الخطرة".
في عام 2014، اقترح جودفيلو شبكة GAN) التنافسية التوليدية(، التي تتعلم من خلال جعل شبكتين عصبيتين تتنافسان مع بعضها البعض، مما يمكنها من توليد صور تبدو حقيقية بشكل مثير للدهشة. في الوقت نفسه، كتب جودفيلو كتابًا بعنوان "التعلم العميق"، الذي أصبح واحدًا من الكتب الأساسية في مجال التعلم العميق.
في عام 2015، اقترح هينتون وآخرون خوارزمية التعلم العميق، مما أثار استجابة هائلة في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء OpenAI، وجمعت استثمارات مشتركة بقيمة 1 مليار دولار من عدة مستثمرين معروفين.
في عام 2016، خاضت AlphaGo، المستندة إلى تقنية التعلم العميق، معركة إنسان ضد آلة في لعبة Go ضد بطل العالم في اللعبة، اللاعب المحترف ذو التسع دان لي شي شي، وانتصرت بمجموع نقاط 4 إلى 1.
في عام 2017، حصل الروبوت الشبيه بالإنسان صوفيا الذي طوّرته شركة تكنولوجيا على الجنسية، حيث يمتلك تعبيرات وجهية غنية وقدرة على فهم اللغة البشرية.
في عام 2017، نشرت Google ورقة بعنوان "الاهتمام هو كل ما تحتاجه" حيث قدمت خوارزمية Transformer، وبدأت نماذج اللغة الكبيرة في الظهور.
في عام 2018، أصدرت OpenAI نموذج GPT الذي تم بناؤه على أساس خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت DeepMind AlphaFold المستندة إلى التعلم العميق، والتي يمكنها التنبؤ بهياكل البروتين، وتعتبر تقدمًا كبيرًا في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، الذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت OpenAI نموذج GPT-3، الذي يحتوي على 175 مليار معلمة، وهو أعلى بمئة مرة من الإصدار السابق GPT-2، وقد تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية المتعددة.
في عام 2021، أصدرت OpenAI نموذج GPT-4، والذي يحتوي على 1.76 تريليون معلمة، أي عشرة أضعاف نموذج GPT-3.
تم إطلاق تطبيق ChatGPT القائم على نموذج GPT-4 في يناير 2023، وبلغ عدد مستخدميه 100 مليون في مارس، ليصبح التطبيق الذي يصل إلى 100 مليون مستخدم بأسرع وقت في التاريخ.
في عام 2024، أطلقت OpenAI GPT-4 omni.
! [علم الوافد الجديد 丨الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
سلسلة صناعة التعلم العميق
تستخدم النماذج الكبيرة الحالية في اللغة أساليب التعلم العميق المستندة إلى الشبكات العصبية. وقد أدت النماذج الكبيرة التي تقودها GPT إلى ظهور موجة من الذكاء الاصطناعي، حيث تدفقت أعداد كبيرة من اللاعبين إلى هذا المجال، كما اكتشفنا أن السوق تشهد انفجارًا هائلًا في الطلب على البيانات وقوة الحوسبة، لذلك في هذا الجزء من التقرير، نستكشف بشكل رئيسي سلسلة صناعة خوارزميات التعلم العميق، وكيف تتكون سلاسل التوريد والطلب في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي الحالة الراهنة للعلاقات العرض والطلب وتطورها المستقبلي.
أولاً، نحتاج إلى توضيح أنه عند تدريب نماذج LLMs الكبيرة القائمة على تقنية Transformer مثل GPT)، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، يحتاج المحول إلى تحويل مدخلات النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تعرف هذه القيم العددية باسم Token. وفقًا للقواعد التجريبية العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبًا كـ Token واحد، بينما يمكن اعتبار كل حرف صيني تقريبًا كـ Tokenين. وهذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل المثال المذكور في الجزء الأول من التقرير (X,Y)، للبحث عن أفضل المعلمات لكلNeuron في النموذج، يحتاج هذا إلى كمية كبيرة من البيانات، وهذه العملية هي الأكثر استهلاكًا للقوة الحاسوبية، لأنه يجب تكرار المحاولة للنيورونات مع مختلف المعلمات. بعد الانتهاء من تدريب مجموعة البيانات، عادة ما يتم استخدام نفس المجموعة لإعادة التدريب لتحديث المعلمات.
الخطوة الثانية، التعديل الدقيق. التعديل الدقيق هو إعطاء مجموعة صغيرة ولكنها ذات جودة عالية من البيانات للتدريب، سيؤدي هذا التغيير إلى تحسين جودة مخرجات النموذج، لأن التدريب المسبق يتطلب كميات كبيرة من البيانات، ولكن قد تحتوي العديد من البيانات على أخطاء أو جودة منخفضة. يمكن أن تساهم خطوة التعديل الدقيق في تحسين جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً، سيتم إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، وهدف هذا النموذج بسيط جدًا، وهو تصنيف النتائج الناتجة، وبالتالي فإن إنشاء هذا النموذج سيكون بسيطًا نسبيًا، نظرًا لأن سيناريو الأعمال عمودي جدًا. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كان ناتج نموذجنا الكبير عالي الجودة، وبهذه الطريقة يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان يحتاج الأمر أيضًا إلى المشاركة البشرية لتقييم جودة ناتج النموذج )
بعبارة بسيطة، تتطلب عملية تدريب النماذج الكبيرة كمية عالية جداً من البيانات أثناء التدريب المسبق، كما أن القوة الحاسوبية المطلوبة من وحدات معالجة الرسوميات هي الأكبر، بينما يحتاج التعديل الدقيق إلى بيانات عالية الجودة لتحسين المعلمات. يمكن أن تتكرر التعلم المعزز من خلال نموذج مكافأة لتكرار المعلمات من أجل إنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زادت المعلمات، زادت قدرة النموذج على التعميم. على سبيل المثال، إذا أخذنا مثال الدالة Y = aX + b، فبالفعل يوجد عصبان هما X و X0، لذلك كما تتغير المعلمات، فإن البيانات التي يمكن نمذجتها تكون محدودة للغاية، لأن جوهرها لا يزال خطاً مستقيماً. إذا زاد عدد العصبونات، يمكننا تكرار المزيد من المعلمات، وبالتالي يمكننا نمذجة المزيد من البيانات، وهذا هو السبب وراء قدرة النماذج الكبيرة على تحقيق المعجزات، وهو أيضاً السبب وراء تسميتها بشكل شائع بالنماذج الكبيرة، فجوهرها هو عدد هائل من العصبونات والمعلمات، وكمية هائلة من البيانات، بالإضافة إلى الحاجة إلى قوة حسابية هائلة.
لذلك، تتحدد أداء النماذج الكبيرة بشكل رئيسي من ثلاثة جوانب: عدد المعلمات، كمية وجودة البيانات، والقدرة الحاسوبية، حيث تؤثر هذه الثلاثة معًا على جودة نتائج النموذج وقدرته على التعميم. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n( محسوبة بعدد الرموز (Token))، لذلك يمكننا حساب كمية الحوسبة المطلوبة من خلال قاعدة تجريبية عامة، وبالتالي يمكننا تقدير كمية القدرة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُستخدم قدرة المعالجة عادةً كوحدة أساسية تُعرف بـ Flops، والتي تمثل عملية حساب نقطية واحدة. تشير العمليات الحسابية النقطة العائمة إلى العمليات الحسابية التي تشمل الأعداد غير الصحيحة، مثل 2.5 + 3.557. الكلمة "نقطة عائمة" تعني القدرة على احتواء الفاصلة العشرية، بينما FP16 تمثل دقة تدعم الأرقام العشرية، و FP32 هي دقة أكثر شيوعًا. وفقًا للقواعد التجريبية المستندة إلى الممارسة، فإن تدريب نموذج كبير يتطلب عادةً 6np Flops، حيث يُطلق على 6 اسم الثابت الصناعي. أما الاستنتاج، فهو العملية التي ندخل فيها بيانات وننتظر مخرجات النموذج الكبير، والتي تُقسم إلى جزئين: إدخال n توكنات، وإخراج n توكنات، وبالتالي تحتاج تقريبًا إلى 2np Flops.
في المراحل المبكرة، كانت تُستخدم شرائح CPU لتوفير دعم القوة الحاسوبية للتدريب، ولكن بعد ذلك بدأت تُستخدم شرائح GPU بشكل تدريجي كبديل، مثل شرائح Nvidia A100 وH100. لأن CPU موجودة كحسابات عامة، ولكن يمكن استخدام GPU كحسابات مخصصة.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 8
أعجبني
8
4
إعادة النشر
مشاركة
تعليق
0/400
TokenDustCollector
· 08-13 22:14
又一波حمقىخداع الناس لتحقيق الربح来了吧
شاهد النسخة الأصليةرد0
ThesisInvestor
· 08-13 22:09
لا تتفاخر بالذكاء الاصطناعي، الهبوط سيظهر لك كل شيء.
الذكاء الاصطناعي والأصول الرقمية: نمط صناعة ناشئة تحت الابتكار التكنولوجي
الذكاء الاصطناعي x التشفير: من الصفر إلى القمة
المقدمة
يعتبر بعض الأشخاص التطورات الأخيرة في صناعة الذكاء الاصطناعي ثورة صناعية رابعة. أدى ظهور نماذج اللغة الكبيرة إلى تحسين ملحوظ في كفاءة القطاعات المختلفة، حيث يقدر أن الولايات المتحدة حققت زيادة بنحو 20% في كفاءة العمل. في الوقت نفسه، يُعتبر قدرة النماذج الكبيرة على التعميم نموذج تصميم برمجي جديد، حيث يتضمن البرمجيات الحديثة بشكل أكبر دمج إطار عمل النموذج الكبير العام، لدعم إدخالات وإخراجات أكثر تنوعاً. لقد جلبت تقنيات التعلم العميق بالفعل جولة جديدة من الازدهار لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
في هذا التقرير، سوف نستعرض بالتفصيل تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، وكذلك تأثير تقنيات التعلم العميق على الصناعة. ثم نقوم بتحليل عميق لحالة وتوجهات تطوير سلسلة القيمة في التعلم العميق بما في ذلك وحدات معالجة الرسوميات، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. وأخيرًا، سنقوم بدراسة جوهر العلاقة بين صناعة التشفير والذكاء الاصطناعي، وفهم هيكل سلسلة قيمة الذكاء الاصطناعي المرتبطة بالتشفير.
! علم الوافد الجديد 丨 الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي منذ الخمسينيات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متنوعة العديد من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة بشكل رئيسي مصطلح "تعلم الآلة"، حيث تقوم الفكرة على جعل الآلات تعتمد على البيانات للتكرار في المهام من أجل تحسين أداء النظام. الخطوات الرئيسية هي إدخال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ التلقائي.
توجد حاليًا ثلاثة تيارات رئيسية في التعلم الآلي، وهي الارتباطية، الرمزية والسلوكية، التي تحاكي على التوالي النظام العصبي البشري، التفكير والسلوك.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
تحتل الشبكات العصبية، التي تمثلها الاتصاليات، الصدارة حاليًا ) والمعروفة أيضًا بالتعلم العميق (، والسبب الرئيسي في ذلك هو أن هذه البنية تحتوي على طبقة إدخال وطبقة إخراج، ولكن بها عدة طبقات مخفية. بمجرد أن يكون عدد الطبقات وعدد الخلايا العصبية ) والمعلمات ( كافيًا، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وبعد المرور بالبيانات عدة مرات، ستصل هذه الخلية العصبية إلى الحالة المثلى ) المعلمات (، وهذا هو أصل كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهمه ببساطة على أنه تم إنشاء دالة، وعندما ندخل X=2، يكون Y=3؛ وعندما ندخل X=3، يكون Y=5، وإذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين علينا الاستمرار في إضافة درجة هذه الدالة ومعاملاتها، على سبيل المثال، يمكن بناء دالة تلبي هذا الشرط على أنها Y = 2X -1، ولكن إذا كانت هناك نقطة بيانات واحدة حيث X=2 وY=11، فسنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاث، باستخدام وحدة معالجة الرسومات لإجراء كسر عنيف، وجدنا أن Y = X2 -3X +5 مناسبة للغاية، ولكن لا يلزم أن تتطابق تمامًا مع البيانات، يكفي الالتزام بالتوازن، وإخراج مشابه بشكل عام. هنا، X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معلماتها.
في هذه الحالة، إذا قمنا بإدخال كمية كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا ملاءمة جميع البيانات.
تكنولوجيا التعلم العميق المستندة إلى الشبكات العصبية قد شهدت أيضًا العديد من التكرارات والتطورات، بدءًا من الشبكات العصبية المبكرة، والشبكات العصبية التغذية الأمامية، وRNN، وCNN، وGAN، وأخيرًا تطورت إلى النماذج الكبيرة الحديثة مثل GPT التي تستخدم تكنولوجيا Transformer. تكنولوجيا Transformer ليست سوى اتجاه واحد من تطور الشبكات العصبية، حيث أضافت محولًا ) Transformer (، لتشفير جميع الأنماط ) مثل الصوت، الفيديو، الصور، وغيرها ( إلى قيم عددية مناسبة لتمثيلها. ثم يتم إدخالها في الشبكة العصبية، وبالتالي يمكن للشبكة العصبية التكيف مع أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
شهدت تطورات الذكاء الاصطناعي ثلاث موجات تقنية. الموجة الأولى كانت في الستينيات من القرن العشرين، بعد عقد من提出 تقنية الذكاء الاصطناعي. هذه الموجة كانت نتيجة لتطور تقنية الرمزية، والتي حلت مشكلات معالجة اللغة الطبيعية العامة وتفاعل الإنسان مع الآلة. في نفس الفترة، وُلدت أنظمة الخبراء، ومنها نظام DENRAL الذي تم إنجازه تحت إشراف وكالة الفضاء الوطنية الأمريكية من قبل جامعة أمريكية. يتمتع هذا النظام بمعرفة كيميائية قوية جدًا، ويقوم بإجراء استنتاجات من خلال طرح الأسئلة للحصول على إجابات مشابهة لتلك التي يقدمها خبراء الكيمياء. يمكن اعتبار هذا النظام نظامًا يجمع بين قاعدة المعرفة الكيميائية ونظام الاستنتاج.
بعد نظام الخبراء، قدم عالم وفيلسوف أمريكي من أصل إسرائيلي، جوديث بيرل، الشبكات البايزية في التسعينيات، والتي تعرف أيضًا بشبكات الاعتقاد. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يدل على ولادة السلوكية.
في عام 1997، هزم برنامج شطرنج تابع لشركة تكنولوجيا بطل الشطرنج كاسباروف بنتيجة 3.5:2.5، وقد اعتُبرت هذه النتيجة علامة فارقة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة في تطويرها.
حدثت الموجة الثالثة من تكنولوجيا الذكاء الاصطناعي في عام 2006. قدم عمالقة التعلم العميق Yann LeCun و Geoffrey Hinton و Yoshua Bengio مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN و GAN إلى Transformer و Stable Diffusion، وقد شكلت هذان الخوارزميتان معاً هذه الموجة التكنولوجية الثالثة، وكانت هذه أيضاً فترة ازدهار الارتباطية.
ظهرت العديد من الأحداث البارزة بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام الذكاء الاصطناعي البشر وحصل على البطولة في برنامج الاختبارات "الحافة الخطرة".
في عام 2014، اقترح جودفيلو شبكة GAN) التنافسية التوليدية(، التي تتعلم من خلال جعل شبكتين عصبيتين تتنافسان مع بعضها البعض، مما يمكنها من توليد صور تبدو حقيقية بشكل مثير للدهشة. في الوقت نفسه، كتب جودفيلو كتابًا بعنوان "التعلم العميق"، الذي أصبح واحدًا من الكتب الأساسية في مجال التعلم العميق.
في عام 2015، اقترح هينتون وآخرون خوارزمية التعلم العميق، مما أثار استجابة هائلة في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء OpenAI، وجمعت استثمارات مشتركة بقيمة 1 مليار دولار من عدة مستثمرين معروفين.
في عام 2016، خاضت AlphaGo، المستندة إلى تقنية التعلم العميق، معركة إنسان ضد آلة في لعبة Go ضد بطل العالم في اللعبة، اللاعب المحترف ذو التسع دان لي شي شي، وانتصرت بمجموع نقاط 4 إلى 1.
في عام 2017، حصل الروبوت الشبيه بالإنسان صوفيا الذي طوّرته شركة تكنولوجيا على الجنسية، حيث يمتلك تعبيرات وجهية غنية وقدرة على فهم اللغة البشرية.
في عام 2017، نشرت Google ورقة بعنوان "الاهتمام هو كل ما تحتاجه" حيث قدمت خوارزمية Transformer، وبدأت نماذج اللغة الكبيرة في الظهور.
في عام 2018، أصدرت OpenAI نموذج GPT الذي تم بناؤه على أساس خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت DeepMind AlphaFold المستندة إلى التعلم العميق، والتي يمكنها التنبؤ بهياكل البروتين، وتعتبر تقدمًا كبيرًا في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، الذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت OpenAI نموذج GPT-3، الذي يحتوي على 175 مليار معلمة، وهو أعلى بمئة مرة من الإصدار السابق GPT-2، وقد تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية المتعددة.
في عام 2021، أصدرت OpenAI نموذج GPT-4، والذي يحتوي على 1.76 تريليون معلمة، أي عشرة أضعاف نموذج GPT-3.
تم إطلاق تطبيق ChatGPT القائم على نموذج GPT-4 في يناير 2023، وبلغ عدد مستخدميه 100 مليون في مارس، ليصبح التطبيق الذي يصل إلى 100 مليون مستخدم بأسرع وقت في التاريخ.
في عام 2024، أطلقت OpenAI GPT-4 omni.
! [علم الوافد الجديد 丨الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
سلسلة صناعة التعلم العميق
تستخدم النماذج الكبيرة الحالية في اللغة أساليب التعلم العميق المستندة إلى الشبكات العصبية. وقد أدت النماذج الكبيرة التي تقودها GPT إلى ظهور موجة من الذكاء الاصطناعي، حيث تدفقت أعداد كبيرة من اللاعبين إلى هذا المجال، كما اكتشفنا أن السوق تشهد انفجارًا هائلًا في الطلب على البيانات وقوة الحوسبة، لذلك في هذا الجزء من التقرير، نستكشف بشكل رئيسي سلسلة صناعة خوارزميات التعلم العميق، وكيف تتكون سلاسل التوريد والطلب في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي الحالة الراهنة للعلاقات العرض والطلب وتطورها المستقبلي.
أولاً، نحتاج إلى توضيح أنه عند تدريب نماذج LLMs الكبيرة القائمة على تقنية Transformer مثل GPT)، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، يحتاج المحول إلى تحويل مدخلات النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تعرف هذه القيم العددية باسم Token. وفقًا للقواعد التجريبية العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبًا كـ Token واحد، بينما يمكن اعتبار كل حرف صيني تقريبًا كـ Tokenين. وهذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل المثال المذكور في الجزء الأول من التقرير (X,Y)، للبحث عن أفضل المعلمات لكلNeuron في النموذج، يحتاج هذا إلى كمية كبيرة من البيانات، وهذه العملية هي الأكثر استهلاكًا للقوة الحاسوبية، لأنه يجب تكرار المحاولة للنيورونات مع مختلف المعلمات. بعد الانتهاء من تدريب مجموعة البيانات، عادة ما يتم استخدام نفس المجموعة لإعادة التدريب لتحديث المعلمات.
الخطوة الثانية، التعديل الدقيق. التعديل الدقيق هو إعطاء مجموعة صغيرة ولكنها ذات جودة عالية من البيانات للتدريب، سيؤدي هذا التغيير إلى تحسين جودة مخرجات النموذج، لأن التدريب المسبق يتطلب كميات كبيرة من البيانات، ولكن قد تحتوي العديد من البيانات على أخطاء أو جودة منخفضة. يمكن أن تساهم خطوة التعديل الدقيق في تحسين جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً، سيتم إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، وهدف هذا النموذج بسيط جدًا، وهو تصنيف النتائج الناتجة، وبالتالي فإن إنشاء هذا النموذج سيكون بسيطًا نسبيًا، نظرًا لأن سيناريو الأعمال عمودي جدًا. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كان ناتج نموذجنا الكبير عالي الجودة، وبهذه الطريقة يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان يحتاج الأمر أيضًا إلى المشاركة البشرية لتقييم جودة ناتج النموذج )
بعبارة بسيطة، تتطلب عملية تدريب النماذج الكبيرة كمية عالية جداً من البيانات أثناء التدريب المسبق، كما أن القوة الحاسوبية المطلوبة من وحدات معالجة الرسوميات هي الأكبر، بينما يحتاج التعديل الدقيق إلى بيانات عالية الجودة لتحسين المعلمات. يمكن أن تتكرر التعلم المعزز من خلال نموذج مكافأة لتكرار المعلمات من أجل إنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زادت المعلمات، زادت قدرة النموذج على التعميم. على سبيل المثال، إذا أخذنا مثال الدالة Y = aX + b، فبالفعل يوجد عصبان هما X و X0، لذلك كما تتغير المعلمات، فإن البيانات التي يمكن نمذجتها تكون محدودة للغاية، لأن جوهرها لا يزال خطاً مستقيماً. إذا زاد عدد العصبونات، يمكننا تكرار المزيد من المعلمات، وبالتالي يمكننا نمذجة المزيد من البيانات، وهذا هو السبب وراء قدرة النماذج الكبيرة على تحقيق المعجزات، وهو أيضاً السبب وراء تسميتها بشكل شائع بالنماذج الكبيرة، فجوهرها هو عدد هائل من العصبونات والمعلمات، وكمية هائلة من البيانات، بالإضافة إلى الحاجة إلى قوة حسابية هائلة.
لذلك، تتحدد أداء النماذج الكبيرة بشكل رئيسي من ثلاثة جوانب: عدد المعلمات، كمية وجودة البيانات، والقدرة الحاسوبية، حيث تؤثر هذه الثلاثة معًا على جودة نتائج النموذج وقدرته على التعميم. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n( محسوبة بعدد الرموز (Token))، لذلك يمكننا حساب كمية الحوسبة المطلوبة من خلال قاعدة تجريبية عامة، وبالتالي يمكننا تقدير كمية القدرة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُستخدم قدرة المعالجة عادةً كوحدة أساسية تُعرف بـ Flops، والتي تمثل عملية حساب نقطية واحدة. تشير العمليات الحسابية النقطة العائمة إلى العمليات الحسابية التي تشمل الأعداد غير الصحيحة، مثل 2.5 + 3.557. الكلمة "نقطة عائمة" تعني القدرة على احتواء الفاصلة العشرية، بينما FP16 تمثل دقة تدعم الأرقام العشرية، و FP32 هي دقة أكثر شيوعًا. وفقًا للقواعد التجريبية المستندة إلى الممارسة، فإن تدريب نموذج كبير يتطلب عادةً 6np Flops، حيث يُطلق على 6 اسم الثابت الصناعي. أما الاستنتاج، فهو العملية التي ندخل فيها بيانات وننتظر مخرجات النموذج الكبير، والتي تُقسم إلى جزئين: إدخال n توكنات، وإخراج n توكنات، وبالتالي تحتاج تقريبًا إلى 2np Flops.
في المراحل المبكرة، كانت تُستخدم شرائح CPU لتوفير دعم القوة الحاسوبية للتدريب، ولكن بعد ذلك بدأت تُستخدم شرائح GPU بشكل تدريجي كبديل، مثل شرائح Nvidia A100 وH100. لأن CPU موجودة كحسابات عامة، ولكن يمكن استخدام GPU كحسابات مخصصة.