# AI x Crypto: ゼロからピークまで## はじめに人工知能業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模言語モデルの出現は、さまざまな業界の効率を著しく向上させ、アメリカの作業効率を約20%向上させたと推定されています。同時に、大規模モデルの一般化能力は新しいソフトウェア設計のパラダイムと見なされており、過去の正確なコード設計に比べて、現在のソフトウェアは一般化された大規模モデルのフレームワークを埋め込むことによって、より広範なモーダル入力と出力をサポートしています。ディープラーニング技術は確かにAI業界に新たな繁栄をもたらしており、この波は暗号通貨業界にも影響を与えています。本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術が業界に与える影響について詳しく探討します。その後、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流の発展状況とトレンドを深く分析します。最後に、CryptoとAI業界の関係について本質的に探討し、Crypto関連のAI産業チェーンの構造を整理します。! [新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-7e025deb1fddcd5fa716b6f144701074)## AI業界の歴史AI業界は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代や異なる学問的背景の下で、人工知能を実現する多様な流派を発展させてきました。現代の人工知能技術は主に「機械学習」という用語を使用し、その理念は機械がデータに基づいてタスクを繰り返し改善し、システムのパフォーマンスを向上させることです。主なステップはデータをアルゴリズムに送り、そのデータを使用してモデルをトレーニングし、モデルをテストしてデプロイし、モデルを使用して自動予測タスクを完了することです。現在、機械学習には3つの主要な流派があり、それぞれ接続主義、記号主義、行動主義であり、人間の神経系、思考、行動を模倣しています。! [新参者科学人気丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c)現在、神経ネットワークを代表とするコネクショニズムが優位に立っており(、深層学習とも呼ばれています)。このアーキテクチャの主な理由は、入力層と出力層がありながら、複数の隠れ層が存在することです。層の数や神経元(のパラメータ)の数が十分に多ければ、複雑な汎用のタスクをフィットさせる機会が得られます。データを入力することで、神経元のパラメータを継続的に調整することができ、何度もデータを経てその神経元は最適な状態(のパラメータ)に達します。これが「深層」という言葉の由来でもあります——十分な層数と神経元があるためです。例えば、X=2のときY=3、X=3のときY=5という関数を構築したと簡単に理解できます。この関数がすべてのXに対応するためには、この関数の次数とそのパラメータを追加し続ける必要があります。例えば、この条件を満たす関数はY = 2X -1と構築できますが、もしX=2、Y=11のデータがある場合は、これらの3つのデータ点に適した関数を再構築する必要があります。GPUを使用してブートフォースで解決した結果、Y = X2 -3X +5が適切であることがわかりましたが、データと完全に一致する必要はなく、バランスを遵守し、おおよそ似たような出力であればよいのです。この中でX2、X、X0は異なるニューロンを表し、1、-3、5はそのパラメータです。この時、神経ネットワークに大量のデータを入力すると、ニューロンを増やしたり、パラメータを反復して新しいデータにフィットさせることができます。これにより、すべてのデータにフィットさせることができます。神経ネットワークに基づく深層学習技術には、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、いくつかの技術的なイテレーションと進化があり、最終的にはGPTなどの現代の大規模モデルが使用するTransformer技術に進化しました。Transformer技術は神経ネットワークの一つの進化の方向性であり、変換器(Transformer)を追加して、音声、動画、画像などのすべてのモダリティ(のデータを対応する数値にエンコードして表現します。そして、それを神経ネットワークに入力することで、神経ネットワークはあらゆるタイプのデータをフィッティングできるようになり、すなわちマルチモーダルを実現します。AIの発展は三度の技術の波を経てきました。最初の波は20世紀60年代で、AI技術が提唱されてから十年後のことです。この波は記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これはアメリカの一つの大学がアメリカ航空宇宙局の指導の下で完成したDENRAL専門家システムです。このシステムは非常に強力な化学知識を持ち、質問を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは化学の知識ベースと推論システムの結合と見なすことができます。専門家システムの後、1990年代にイスラエル系アメリカの科学者で哲学者のジュディア・パールはベイジアンネットワークを提唱しました。このネットワークは信念ネットワークとも呼ばれています。同時期に、ブルックスは行動に基づくロボティクスを提案し、行動主義の誕生を示しました。1997年、あるテクノロジー企業のチェスプログラムがチェスチャンピオンのカスパロフに3.5対2.5で勝利しました。この勝利は人工知能の一つのマイルストーンと見なされ、AI技術は第二次発展の高潮を迎えました。第三回目のAI技術の波は2006年に発生しました。深層学習の三巨頭であるYann LeCun、Geoffrey Hinton、Yoshua Bengioが、人工神経ネットワークを基盤としたデータ表現学習のアルゴリズムである深層学習の概念を提唱しました。その後、深層学習のアルゴリズムは次第に進化し、RNN、GANからTransformerやStable Diffusionへと至りました。これら二つのアルゴリズムがこの第三の技術波を形作り、これは結合主義の全盛期でもあります。多くの象徴的な出来事が、深層学習技術の探求と進化に伴って次第に現れています。* 2011年、人工知能システムが「危険な境界」で人間に勝利し、チャンピオンになりました。* 2014年、GoodfellowはGAN)生成的対抗ネットワーク(を提唱し、2つの神経ネットワークが相互に競い合うことで学習を行い、リアルに見える写真を生成できるようにしました。同時に、Goodfellowは『深層学習』という本を書き、深層学習分野の重要な入門書の一つとなりました。* 2015年、ヒントンらは深層学習アルゴリズムを提案し、学術界と産業界で直ちに大きな反響を呼び起こしました。* 2015年にOpenAIが設立され、多くの著名な投資家から10億ドルの共同投資を受けた。* 2016年、深層学習技術に基づくAlphaGoが囲碁の世界チャンピオンであり、プロ九段棋士の李世石と囲碁の人間対機械戦を行い、4対1の総スコアで勝利しました。* 2017年、あるテクノロジー企業が開発した人型ロボットのソフィアが市民権を取得し、豊かな表情と人間の言語理解能力を持っています。※2017年、GoogleがTransformerアルゴリズムを提案した論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。* 2018年、OpenAIはTransformerアルゴリズムに基づいて構築されたGPTを発表しました。これは当時最大の言語モデルの一つです。* 2018年、DeepMindは深層学習に基づくAlphaFoldを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩と見なされています。* 2019年、OpenAIはGPT-2を発表し、このモデルは15億のパラメータを持っています。* 2020年、OpenAIが開発したGPT-3は、1,750億のパラメータを持ち、以前のバージョンであるGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用して訓練され、複数のNLPタスクで最先端のパフォーマンスを達成できます。* 2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆個のパラメータを持ち、GPT-3の10倍です。* 2023年1月にGPT-4モデルに基づくChatGPTアプリがリリースされ、3月には1億ユーザーに達し、歴史上最も早く1億ユーザーに到達したアプリとなりました。* 2024年、OpenAIはGPT-4オムニを発表します。! 【新人科学丨AI×暗号:ゼロからピークまで])https://img-cdn.gateio.im/social/moments-0c9bdea33a39a2c07d1f06760ed7e804(## ディープラーニング産業チェーン現在、大規模モデル言語は神経ネットワークに基づく深層学習方法を使用しています。GPTを先頭にした大規模モデルは、人工知能の熱潮を生み出し、多くのプレイヤーがこの分野に参入しました。また、市場でのデータや計算能力の需要が急増していることもわかりました。したがって、このレポートのこの部分では、主に深層学習アルゴリズムの産業チェーンを探ります。深層学習アルゴリズムが主導するAI業界では、その上下流はどのように構成されているのか、また上下流の現状と供給と需要の関係、将来の発展はどのようになるのかについて考察します。まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs)の大規模モデル(のトレーニングは、合計で3つのステップに分かれているということです。トレーニングの前に、Transformerに基づいているため、トランスフォーマーはテキスト入力を数値に変換する必要があります。このプロセスは「トークナイゼーション」と呼ばれ、その後これらの数値はトークンと呼ばれます。一般的な経験則では、英単語や文字はおおよそ1つのトークンと見なすことができ、各漢字はおおよそ2つのトークンとして粗く見なされます。これがGPTの価格設定に使用される基本単位でもあります。第一歩、事前学習。入力層に十分なデータ対を与えることによって、報告の第一部分で例示された)X,Y(のように、モデル下の各ニューロンの最適なパラメータを探す。この時、大量のデータが必要であり、このプロセスは最も計算リソースを消費するプロセスでもある。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからだ。一批のデータ対のトレーニングが完了した後、一般的には同じバッチのデータを使用して二次トレーニングを行い、パラメータを反復する。第2ステップ、ファインチューニング。ファインチューニングは、少量でありながら非常に質の高いデータを用いて訓練することです。このような変更により、モデルの出力品質が向上します。なぜなら、事前訓練には大量のデータが必要ですが、多くのデータには誤りや低品質なものが含まれている可能性があるからです。ファインチューニングのステップは、質の高いデータを通じてモデルの品質を向上させることができます。第三のステップ、強化学習。まず、新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果をランク付けすることです。したがって、このモデルを実現するのは比較的簡単です。なぜなら、ビジネスシーンがかなり特化しているからです。その後、このモデルを使用して、大きなモデルの出力が高品質であるかどうかを判断します。こうすることで、報酬モデルを使用して大きなモデルのパラメータを自動的に反復することができます。)しかし、時には人間が介入してモデルの出力品質を評価する必要もあります。(要するに、大規模モデルのトレーニングプロセスでは、事前学習はデータの量に非常に高い要求があり、必要とされるGPU計算能力も最も多く、ファインチューニングにはパラメータを改善するためにより高品質なデータが必要です。強化学習は報酬モデルを通じてパラメータを反復的に調整することで、より高品質な結果を出すことができます。トレーニングプロセスでは、パラメータが多いほど、その一般化能力の限界が高くなります。例えば、関数の例を挙げると、Y = aX + bの場合、実際には2つのニューロンXとX0が存在します。したがって、パラメータがどのように変化しても、フィットできるデータは非常に限られています。なぜなら、本質的には単なる直線だからです。ニューロンが多ければ多いほど、より多くのパラメータを反復でき、より多くのデータにフィットできるようになります。これが大規模モデルが奇跡を生む理由であり、一般的に大規模モデルと呼ばれる理由でもあります。本質的には、大量のニューロンとパラメータ、大量のデータ、さらに大量の計算能力が必要です。したがって、大規模モデルの性能は主に3つの要素によって決まります。パラメータの数、データの量と質、計算能力です。この3つが共同で大規模モデルの結果の質と一般化能力に影響を与えます。パラメータの数をp、データの量をn)トークンの数で計算すると仮定します(、一般的な経験則を用いて必要な計算量を計算することができ、これにより私たちが大まかに購入する必要がある計算能力とトレーニング時間を予測できます。計算能力は一般にFlopsを基本単位として表され、1回の浮動小数点演算を示します。浮動小数点演算は非整数の数値の加減乗除を総称するもので、例えば2.5+3.557のように、小数点を持つことができることを示します。また、FP16は小数の精度をサポートしていることを意味し、FP32は一般的により一般的な精度です。実践に基づく経験則によれば、事前トレーニング)Pre-traning(は1回)一般に何度も(大規模モデルをトレーニングする必要があり、約6np Flopsが必要です。6は業界の定数と呼ばれています。そして推論)Inferenceは、私たちがデータを入力し、大規模モデルの出力を待つプロセス(であり、2つの部分に分かれます。n個のトークンを入力し、n個のトークンを出力するため、合計で約2np Flopsが必要です。初期には、トレーニングにCPUチップを使用して計算力を提供していましたが、その後徐々にGPUに置き換えられるようになりました。例えば、NvidiaのA100やH100チップなどです。CPUは汎用計算に存在しますが、GPUは専用として使用できます。
AIと暗号通貨:技術革新の下での新興産業チェーンパターン
AI x Crypto: ゼロからピークまで
はじめに
人工知能業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模言語モデルの出現は、さまざまな業界の効率を著しく向上させ、アメリカの作業効率を約20%向上させたと推定されています。同時に、大規模モデルの一般化能力は新しいソフトウェア設計のパラダイムと見なされており、過去の正確なコード設計に比べて、現在のソフトウェアは一般化された大規模モデルのフレームワークを埋め込むことによって、より広範なモーダル入力と出力をサポートしています。ディープラーニング技術は確かにAI業界に新たな繁栄をもたらしており、この波は暗号通貨業界にも影響を与えています。
本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術が業界に与える影響について詳しく探討します。その後、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流の発展状況とトレンドを深く分析します。最後に、CryptoとAI業界の関係について本質的に探討し、Crypto関連のAI産業チェーンの構造を整理します。
! 新人科学丨AI×暗号:ゼロからピークまで
AI業界の歴史
AI業界は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代や異なる学問的背景の下で、人工知能を実現する多様な流派を発展させてきました。
現代の人工知能技術は主に「機械学習」という用語を使用し、その理念は機械がデータに基づいてタスクを繰り返し改善し、システムのパフォーマンスを向上させることです。主なステップはデータをアルゴリズムに送り、そのデータを使用してモデルをトレーニングし、モデルをテストしてデプロイし、モデルを使用して自動予測タスクを完了することです。
現在、機械学習には3つの主要な流派があり、それぞれ接続主義、記号主義、行動主義であり、人間の神経系、思考、行動を模倣しています。
! 新参者科学人気丨AI×暗号:ゼロからピークまで
現在、神経ネットワークを代表とするコネクショニズムが優位に立っており(、深層学習とも呼ばれています)。このアーキテクチャの主な理由は、入力層と出力層がありながら、複数の隠れ層が存在することです。層の数や神経元(のパラメータ)の数が十分に多ければ、複雑な汎用のタスクをフィットさせる機会が得られます。データを入力することで、神経元のパラメータを継続的に調整することができ、何度もデータを経てその神経元は最適な状態(のパラメータ)に達します。これが「深層」という言葉の由来でもあります——十分な層数と神経元があるためです。
例えば、X=2のときY=3、X=3のときY=5という関数を構築したと簡単に理解できます。この関数がすべてのXに対応するためには、この関数の次数とそのパラメータを追加し続ける必要があります。例えば、この条件を満たす関数はY = 2X -1と構築できますが、もしX=2、Y=11のデータがある場合は、これらの3つのデータ点に適した関数を再構築する必要があります。GPUを使用してブートフォースで解決した結果、Y = X2 -3X +5が適切であることがわかりましたが、データと完全に一致する必要はなく、バランスを遵守し、おおよそ似たような出力であればよいのです。この中でX2、X、X0は異なるニューロンを表し、1、-3、5はそのパラメータです。
この時、神経ネットワークに大量のデータを入力すると、ニューロンを増やしたり、パラメータを反復して新しいデータにフィットさせることができます。これにより、すべてのデータにフィットさせることができます。
神経ネットワークに基づく深層学習技術には、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、いくつかの技術的なイテレーションと進化があり、最終的にはGPTなどの現代の大規模モデルが使用するTransformer技術に進化しました。Transformer技術は神経ネットワークの一つの進化の方向性であり、変換器(Transformer)を追加して、音声、動画、画像などのすべてのモダリティ(のデータを対応する数値にエンコードして表現します。そして、それを神経ネットワークに入力することで、神経ネットワークはあらゆるタイプのデータをフィッティングできるようになり、すなわちマルチモーダルを実現します。
AIの発展は三度の技術の波を経てきました。最初の波は20世紀60年代で、AI技術が提唱されてから十年後のことです。この波は記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これはアメリカの一つの大学がアメリカ航空宇宙局の指導の下で完成したDENRAL専門家システムです。このシステムは非常に強力な化学知識を持ち、質問を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは化学の知識ベースと推論システムの結合と見なすことができます。
専門家システムの後、1990年代にイスラエル系アメリカの科学者で哲学者のジュディア・パールはベイジアンネットワークを提唱しました。このネットワークは信念ネットワークとも呼ばれています。同時期に、ブルックスは行動に基づくロボティクスを提案し、行動主義の誕生を示しました。
1997年、あるテクノロジー企業のチェスプログラムがチェスチャンピオンのカスパロフに3.5対2.5で勝利しました。この勝利は人工知能の一つのマイルストーンと見なされ、AI技術は第二次発展の高潮を迎えました。
第三回目のAI技術の波は2006年に発生しました。深層学習の三巨頭であるYann LeCun、Geoffrey Hinton、Yoshua Bengioが、人工神経ネットワークを基盤としたデータ表現学習のアルゴリズムである深層学習の概念を提唱しました。その後、深層学習のアルゴリズムは次第に進化し、RNN、GANからTransformerやStable Diffusionへと至りました。これら二つのアルゴリズムがこの第三の技術波を形作り、これは結合主義の全盛期でもあります。
多くの象徴的な出来事が、深層学習技術の探求と進化に伴って次第に現れています。
2011年、人工知能システムが「危険な境界」で人間に勝利し、チャンピオンになりました。
2014年、GoodfellowはGAN)生成的対抗ネットワーク(を提唱し、2つの神経ネットワークが相互に競い合うことで学習を行い、リアルに見える写真を生成できるようにしました。同時に、Goodfellowは『深層学習』という本を書き、深層学習分野の重要な入門書の一つとなりました。
2015年、ヒントンらは深層学習アルゴリズムを提案し、学術界と産業界で直ちに大きな反響を呼び起こしました。
2015年にOpenAIが設立され、多くの著名な投資家から10億ドルの共同投資を受けた。
2016年、深層学習技術に基づくAlphaGoが囲碁の世界チャンピオンであり、プロ九段棋士の李世石と囲碁の人間対機械戦を行い、4対1の総スコアで勝利しました。
2017年、あるテクノロジー企業が開発した人型ロボットのソフィアが市民権を取得し、豊かな表情と人間の言語理解能力を持っています。
※2017年、GoogleがTransformerアルゴリズムを提案した論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。
2018年、OpenAIはTransformerアルゴリズムに基づいて構築されたGPTを発表しました。これは当時最大の言語モデルの一つです。
2018年、DeepMindは深層学習に基づくAlphaFoldを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩と見なされています。
2019年、OpenAIはGPT-2を発表し、このモデルは15億のパラメータを持っています。
2020年、OpenAIが開発したGPT-3は、1,750億のパラメータを持ち、以前のバージョンであるGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用して訓練され、複数のNLPタスクで最先端のパフォーマンスを達成できます。
2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆個のパラメータを持ち、GPT-3の10倍です。
2023年1月にGPT-4モデルに基づくChatGPTアプリがリリースされ、3月には1億ユーザーに達し、歴史上最も早く1億ユーザーに到達したアプリとなりました。
2024年、OpenAIはGPT-4オムニを発表します。
! 【新人科学丨AI×暗号:ゼロからピークまで])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
ディープラーニング産業チェーン
現在、大規模モデル言語は神経ネットワークに基づく深層学習方法を使用しています。GPTを先頭にした大規模モデルは、人工知能の熱潮を生み出し、多くのプレイヤーがこの分野に参入しました。また、市場でのデータや計算能力の需要が急増していることもわかりました。したがって、このレポートのこの部分では、主に深層学習アルゴリズムの産業チェーンを探ります。深層学習アルゴリズムが主導するAI業界では、その上下流はどのように構成されているのか、また上下流の現状と供給と需要の関係、将来の発展はどのようになるのかについて考察します。
まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs)の大規模モデル(のトレーニングは、合計で3つのステップに分かれているということです。
トレーニングの前に、Transformerに基づいているため、トランスフォーマーはテキスト入力を数値に変換する必要があります。このプロセスは「トークナイゼーション」と呼ばれ、その後これらの数値はトークンと呼ばれます。一般的な経験則では、英単語や文字はおおよそ1つのトークンと見なすことができ、各漢字はおおよそ2つのトークンとして粗く見なされます。これがGPTの価格設定に使用される基本単位でもあります。
第一歩、事前学習。入力層に十分なデータ対を与えることによって、報告の第一部分で例示された)X,Y(のように、モデル下の各ニューロンの最適なパラメータを探す。この時、大量のデータが必要であり、このプロセスは最も計算リソースを消費するプロセスでもある。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからだ。一批のデータ対のトレーニングが完了した後、一般的には同じバッチのデータを使用して二次トレーニングを行い、パラメータを反復する。
第2ステップ、ファインチューニング。ファインチューニングは、少量でありながら非常に質の高いデータを用いて訓練することです。このような変更により、モデルの出力品質が向上します。なぜなら、事前訓練には大量のデータが必要ですが、多くのデータには誤りや低品質なものが含まれている可能性があるからです。ファインチューニングのステップは、質の高いデータを通じてモデルの品質を向上させることができます。
第三のステップ、強化学習。まず、新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果をランク付けすることです。したがって、このモデルを実現するのは比較的簡単です。なぜなら、ビジネスシーンがかなり特化しているからです。その後、このモデルを使用して、大きなモデルの出力が高品質であるかどうかを判断します。こうすることで、報酬モデルを使用して大きなモデルのパラメータを自動的に反復することができます。)しかし、時には人間が介入してモデルの出力品質を評価する必要もあります。(
要するに、大規模モデルのトレーニングプロセスでは、事前学習はデータの量に非常に高い要求があり、必要とされるGPU計算能力も最も多く、ファインチューニングにはパラメータを改善するためにより高品質なデータが必要です。強化学習は報酬モデルを通じてパラメータを反復的に調整することで、より高品質な結果を出すことができます。
トレーニングプロセスでは、パラメータが多いほど、その一般化能力の限界が高くなります。例えば、関数の例を挙げると、Y = aX + bの場合、実際には2つのニューロンXとX0が存在します。したがって、パラメータがどのように変化しても、フィットできるデータは非常に限られています。なぜなら、本質的には単なる直線だからです。ニューロンが多ければ多いほど、より多くのパラメータを反復でき、より多くのデータにフィットできるようになります。これが大規模モデルが奇跡を生む理由であり、一般的に大規模モデルと呼ばれる理由でもあります。本質的には、大量のニューロンとパラメータ、大量のデータ、さらに大量の計算能力が必要です。
したがって、大規模モデルの性能は主に3つの要素によって決まります。パラメータの数、データの量と質、計算能力です。この3つが共同で大規模モデルの結果の質と一般化能力に影響を与えます。パラメータの数をp、データの量をn)トークンの数で計算すると仮定します(、一般的な経験則を用いて必要な計算量を計算することができ、これにより私たちが大まかに購入する必要がある計算能力とトレーニング時間を予測できます。
計算能力は一般にFlopsを基本単位として表され、1回の浮動小数点演算を示します。浮動小数点演算は非整数の数値の加減乗除を総称するもので、例えば2.5+3.557のように、小数点を持つことができることを示します。また、FP16は小数の精度をサポートしていることを意味し、FP32は一般的により一般的な精度です。実践に基づく経験則によれば、事前トレーニング)Pre-traning(は1回)一般に何度も(大規模モデルをトレーニングする必要があり、約6np Flopsが必要です。6は業界の定数と呼ばれています。そして推論)Inferenceは、私たちがデータを入力し、大規模モデルの出力を待つプロセス(であり、2つの部分に分かれます。n個のトークンを入力し、n個のトークンを出力するため、合計で約2np Flopsが必要です。
初期には、トレーニングにCPUチップを使用して計算力を提供していましたが、その後徐々にGPUに置き換えられるようになりました。例えば、NvidiaのA100やH100チップなどです。CPUは汎用計算に存在しますが、GPUは専用として使用できます。