Perkembangan terbaru dalam industri kecerdasan buatan dianggap oleh sebagian orang sebagai revolusi industri keempat. Munculnya model bahasa besar secara signifikan meningkatkan efisiensi di berbagai sektor, diperkirakan meningkatkan efisiensi kerja di Amerika Serikat sekitar 20%. Pada saat yang sama, kemampuan generalisasi model besar dianggap sebagai paradigma desain perangkat lunak baru; dibandingkan dengan desain kode yang tepat di masa lalu, perangkat lunak sekarang lebih banyak menyematkan kerangka model besar yang tergeneralisi, sehingga mendukung input dan output modal yang lebih luas. Teknologi pembelajaran mendalam memang membawa gelombang baru kemakmuran bagi industri AI, gelombang ini juga mempengaruhi industri cryptocurrency.
Dalam laporan ini, kami akan membahas secara rinci perjalanan perkembangan industri AI, klasifikasi teknologi, dan pengaruh teknologi pembelajaran mendalam terhadap industri. Selanjutnya, kami akan menganalisis secara mendalam status dan tren perkembangan hulu dan hilir rantai industri seperti GPU, komputasi awan, sumber data, dan perangkat tepi dalam pembelajaran mendalam. Terakhir, kami akan membahas secara mendasar hubungan antara Crypto dan industri AI, serta merangkum pola rantai industri AI terkait Crypto.
Sejarah perkembangan industri AI
Industri AI dimulai sejak tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, dunia akademis dan industri telah mengembangkan berbagai aliran untuk merealisasikan kecerdasan buatan di berbagai era dan latar belakang disiplin ilmu.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", yang konsepnya adalah membuat mesin bergantung pada data untuk berulang kali mengiterasi dalam tugas untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke dalam algoritma, melatih model dengan data tersebut, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia.
Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( juga dikenal sebagai pembelajaran mendalam ), alasan utamanya adalah bahwa arsitektur ini memiliki satu lapisan input dan satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( serta parameter ) cukup banyak, akan ada cukup kesempatan untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat terus disesuaikan, dan setelah beberapa kali data, neuron tersebut akan mencapai keadaan optimal ( parameter ), inilah juga asal usul kata "dalam" - jumlah lapisan dan neuron yang cukup banyak.
Sebagai contoh, dapat dipahami dengan sederhana sebagai membangun sebuah fungsi, fungsi tersebut kita masukkan X=2 maka Y=3; X=3 maka Y=5, jika kita ingin fungsi ini berlaku untuk semua X, maka kita perlu terus menambahkan derajat fungsi ini serta parameternya, misalnya kita bisa membangun fungsi yang memenuhi kondisi ini yaitu Y = 2X -1, tetapi jika ada data X=2, Y=11, maka kita perlu membangun kembali fungsi yang sesuai untuk ketiga titik data ini, menggunakan GPU untuk brute force menemukan Y = X2 -3X +5 yang lebih cocok, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan, keluaran yang serupa secara kasar sudah cukup. Di sini X2 serta X, X0 masing-masing mewakili neuron yang berbeda, sedangkan 1, -3, 5 adalah parameternya.
Pada saat ini, jika kita memasukkan sejumlah besar data ke dalam jaringan saraf, kita dapat menambah neuron dan mengiterasi parameter untuk menyesuaikan data baru. Dengan cara ini, kita dapat menyesuaikan semua data.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknis, mulai dari jaringan saraf awal, jaringan saraf feedforward, RNN, CNN, GAN, hingga akhirnya berevolusi menjadi model besar modern seperti GPT yang menggunakan teknologi Transformer. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah konverter ( Transformer ), yang digunakan untuk mengkodekan semua modalitas ( seperti audio, video, gambar, dll ) menjadi nilai-nilai yang sesuai untuk merepresentasikannya. Kemudian masukan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan diri dengan jenis data apa pun, yaitu untuk mewujudkan multimodal.
Perkembangan AI telah melalui tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, sepuluh tahun setelah teknologi AI diusulkan. Gelombang ini dipicu oleh perkembangan teknologi simbolis, yang menyelesaikan masalah pemrosesan bahasa alami secara umum dan dialog antara manusia dan mesin. Pada waktu yang sama, sistem pakar lahir, yang merupakan sistem pakar DENRAL yang selesai atas dorongan NASA di sebuah universitas di Amerika Serikat. Sistem ini memiliki pengetahuan kimia yang sangat kuat, dan dapat menghasilkan jawaban yang sama dengan pakar kimia melalui inferensi berdasarkan pertanyaan. Sistem pakar kimia ini dapat dianggap sebagai kombinasi antara basis pengetahuan kimia dan sistem inferensi.
Setelah sistem pakar, ilmuwan dan filsuf asal Amerika keturunan Israel, Judea Pearl, mengusulkan jaringan Bayesian pada tahun 1990-an, yang juga dikenal sebagai jaringan kepercayaan. Pada periode yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai kelahiran behaviorisme.
Pada tahun 1997, program catur dari sebuah perusahaan teknologi mengalahkan juara catur Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak sejarah dalam kecerdasan buatan, dan teknologi AI memasuki puncak perkembangan keduanya.
Gelombang teknologi AI ketiga terjadi pada tahun 2006. Tiga tokoh besar dalam pembelajaran mendalam, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengusulkan konsep pembelajaran mendalam, sebuah algoritme yang menggunakan jaringan saraf buatan sebagai arsitektur untuk melakukan pembelajaran representasi pada data. Setelah itu, algoritme pembelajaran mendalam berkembang secara bertahap, dari RNN, GAN, hingga Transformer dan Stable Diffusion, kedua algoritme ini bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.
Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:
Pada tahun 2011, sebuah sistem kecerdasan buatan mengalahkan manusia dan meraih juara dalam acara kuis "Danger Zone."
Pada tahun 2014, Goodfellow mengusulkan GAN( jaringan generatif adversarial), yang memungkinkan pembelajaran dengan cara dua jaringan saraf saling berkompetisi, dapat menghasilkan foto yang sangat realistis. Pada saat yang sama, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang menjadi salah satu buku pengantar penting di bidang pembelajaran mendalam.
Pada tahun 2015, Hinton dan rekan-rekannya mengusulkan algoritma pembelajaran mendalam, yang segera menimbulkan dampak besar di kalangan akademisi dan industri.
Pada tahun 2015, OpenAI didirikan, mendapatkan investasi bersama dari beberapa investor terkenal sebesar 1 miliar dolar.
Pada tahun 2016, AlphaGo yang berbasis teknologi pembelajaran mendalam berhadapan dengan juara dunia Go dan pemain profesional sembilan dan Li Shishi dalam pertandingan Go antara manusia dan mesin, dengan skor total 4-1.
Pada tahun 2017, sebuah perusahaan teknologi mengembangkan robot humanoid bernama Sophia yang mendapatkan kewarganegaraan, memiliki ekspresi wajah yang kaya dan kemampuan memahami bahasa manusia.
Pada tahun 2017, Google menerbitkan makalah "Attention is all you need" yang mengusulkan algoritma Transformer, model bahasa berskala besar mulai muncul.
Pada tahun 2018, OpenAI merilis GPT yang dibangun berdasarkan algoritma Transformer, ini adalah salah satu model bahasa terbesar pada saat itu.
Pada tahun 2018, DeepMind meluncurkan AlphaFold yang berbasis pada pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai kemajuan besar dalam bidang kecerdasan buatan.
Pada tahun 2019, OpenAI merilis GPT-2, model ini memiliki 1,5 miliar parameter.
Pada tahun 2020, OpenAI mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih tinggi daripada versi sebelumnya GPT-2, model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja terdepan dalam berbagai tugas NLP.
Pada tahun 2021, OpenAI meluncurkan GPT-4, model ini memiliki 1,76 triliun parameter, sepuluh kali lipat dari GPT-3.
Aplikasi ChatGPT yang berbasis model GPT-4 diluncurkan pada Januari 2023, mencapai seratus juta pengguna pada bulan Maret, menjadi aplikasi dengan pertumbuhan tercepat mencapai seratus juta pengguna dalam sejarah.
Pada tahun 2024, OpenAI meluncurkan GPT-4 omni.
Rantai Industri Pembelajaran Mendalam
Model bahasa besar saat ini menggunakan metode pembelajaran mendalam berbasis jaringan syaraf. Dengan GPT sebagai pemimpin, model besar ini telah menciptakan gelombang antusiasme terhadap kecerdasan buatan, banyak pemain masuk ke dalam jalur ini, dan kami juga menemukan bahwa permintaan pasar untuk data dan daya komputasi telah meledak secara besar-besaran. Oleh karena itu, pada bagian laporan ini, kami terutama mengeksplorasi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilir di industri AI yang didominasi oleh algoritma pembelajaran mendalam terbentuk, serta bagaimana kondisi dan hubungan penawaran dan permintaan hulu dan hilir, serta perkembangan di masa depan.
Pertama-tama, yang perlu kita klarifikasi adalah bahwa dalam melatih model besar LLMs yang dipimpin oleh GPT berdasarkan teknologi Transformer(, terdapat tiga langkah yang harus diikuti.
Sebelum pelatihan, karena didasarkan pada Transformer, konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Berdasarkan aturan praktis umum, satu kata atau karakter dalam bahasa Inggris dapat secara kasar dianggap sebagai satu Token, sementara setiap karakter Han dapat secara kasar dianggap sebagai dua Token. Ini juga merupakan unit dasar yang digunakan dalam penetapan harga GPT.
Langkah pertama, pra-pelatihan. Dengan memberikan cukup banyak pasangan data ke lapisan input, mirip dengan contoh yang diberikan di bagian pertama laporan )X,Y(, untuk mencari parameter terbaik dari setiap neuron di model ini, pada saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling membutuhkan daya komputasi, karena harus melakukan iterasi berulang kali pada neuron mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua untuk mengiterasi parameter.
Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah kecil data yang berkualitas sangat tinggi untuk dilatih, perubahan semacam ini akan membuat output model memiliki kualitas yang lebih tinggi, karena pra-pelatihan membutuhkan banyak data, tetapi banyak data mungkin mengandung kesalahan atau berkualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.
Langkah ketiga, pembelajaran penguatan. Pertama, akan dibangun sebuah model baru yang kita sebut sebagai "model penghargaan", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini akan cukup sederhana karena skenario bisnisnya cukup vertikal. Kemudian, model ini digunakan untuk menilai apakah keluaran dari model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ) Namun terkadang juga diperlukan partisipasi manusia untuk menilai kualitas keluaran model (.
Singkatnya, dalam proses pelatihan model besar, pra-pelatihan memiliki permintaan yang sangat tinggi terhadap jumlah data, dan kekuatan komputasi GPU yang dibutuhkan juga paling banyak, sementara fine-tuning memerlukan data yang lebih berkualitas tinggi untuk memperbaiki parameter, dan pembelajaran penguatan dapat mengulangi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas tinggi.
Dalam proses pelatihan, semakin banyak parameter yang ada, semakin tinggi batas kemampuan generalisasinya. Misalnya, dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, sehingga bagaimana parameter berubah, data yang dapat diusulkan sangat terbatas, karena pada dasarnya tetap berupa garis lurus. Jika neuron semakin banyak, maka lebih banyak parameter yang dapat diiterasi, yang memungkinkan untuk mengusulkan lebih banyak data. Inilah alasan mengapa model besar dapat menghasilkan keajaiban, dan ini juga alasan mengapa dinamakan model besar, pada dasarnya adalah neuron dan parameter yang sangat besar, serta data yang sangat besar, sambil memerlukan daya komputasi yang sangat besar.
Oleh karena itu, pengaruh pada kinerja model besar ditentukan oleh tiga aspek utama, yaitu jumlah parameter, jumlah dan kualitas data, serta daya komputasi. Ketiga aspek ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita anggap jumlah parameter adalah p, jumlah data adalah n) yang dihitung berdasarkan jumlah Token(, maka kita dapat menghitung kebutuhan daya komputasi yang diperlukan dengan menggunakan aturan umum, sehingga kita dapat memperkirakan kira-kira berapa banyak daya komputasi yang perlu dibeli dan waktu pelatihan.
Kekuatan komputasi umumnya diukur dalam Flops sebagai satuan dasar, yang mewakili satu operasi titik mengambang. Operasi titik mengambang adalah istilah umum untuk penjumlahan, pengurangan, perkalian, dan pembagian nilai non-integers, seperti 2.5 + 3.557. Titik mengambang menunjukkan kemampuan untuk memiliki desimal, sementara FP16 mewakili presisi yang mendukung desimal, dan FP32 adalah presisi yang lebih umum. Berdasarkan aturan praktis yang diperoleh dari pengalaman, pre-training )Pre-traning( satu kali ) biasanya akan dilatih berkali-kali ( model besar, yang kira-kira membutuhkan 6np Flops, di mana 6 disebut sebagai konstanta industri. Dan inferensi )Inference, adalah proses di mana kita memasukkan satu data dan menunggu keluaran dari model besar (, dibagi menjadi dua bagian, memasukkan n token, dan mengeluarkan n token, sehingga total yang dibutuhkan kira-kira 2np Flops.
Pada awalnya, pelatihan dilakukan dengan menggunakan chip CPU untuk mendukung daya komputasi, tetapi kemudian mulai secara bertahap diganti dengan GPU, seperti chip Nvidia A100, H100, dan lain-lain. Karena CPU ada sebagai komputasi umum, tetapi GPU dapat digunakan sebagai komputasi khusus.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
8 Suka
Hadiah
8
4
Posting ulang
Bagikan
Komentar
0/400
TokenDustCollector
· 08-13 22:14
Sekali lagi, datang gelombang pemotongan para suckers.
Lihat AsliBalas0
ThesisInvestor
· 08-13 22:09
Jangan sok tahu tentang AI, setelah turun baru tahu.
AI dan Aset Kripto: Pola Rantai Industri Baru di Bawah Inovasi Teknologi
AI x Crypto: Dari Nol ke Puncak
Pendahuluan
Perkembangan terbaru dalam industri kecerdasan buatan dianggap oleh sebagian orang sebagai revolusi industri keempat. Munculnya model bahasa besar secara signifikan meningkatkan efisiensi di berbagai sektor, diperkirakan meningkatkan efisiensi kerja di Amerika Serikat sekitar 20%. Pada saat yang sama, kemampuan generalisasi model besar dianggap sebagai paradigma desain perangkat lunak baru; dibandingkan dengan desain kode yang tepat di masa lalu, perangkat lunak sekarang lebih banyak menyematkan kerangka model besar yang tergeneralisi, sehingga mendukung input dan output modal yang lebih luas. Teknologi pembelajaran mendalam memang membawa gelombang baru kemakmuran bagi industri AI, gelombang ini juga mempengaruhi industri cryptocurrency.
Dalam laporan ini, kami akan membahas secara rinci perjalanan perkembangan industri AI, klasifikasi teknologi, dan pengaruh teknologi pembelajaran mendalam terhadap industri. Selanjutnya, kami akan menganalisis secara mendalam status dan tren perkembangan hulu dan hilir rantai industri seperti GPU, komputasi awan, sumber data, dan perangkat tepi dalam pembelajaran mendalam. Terakhir, kami akan membahas secara mendasar hubungan antara Crypto dan industri AI, serta merangkum pola rantai industri AI terkait Crypto.
Sejarah perkembangan industri AI
Industri AI dimulai sejak tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, dunia akademis dan industri telah mengembangkan berbagai aliran untuk merealisasikan kecerdasan buatan di berbagai era dan latar belakang disiplin ilmu.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", yang konsepnya adalah membuat mesin bergantung pada data untuk berulang kali mengiterasi dalam tugas untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke dalam algoritma, melatih model dengan data tersebut, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia.
Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( juga dikenal sebagai pembelajaran mendalam ), alasan utamanya adalah bahwa arsitektur ini memiliki satu lapisan input dan satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( serta parameter ) cukup banyak, akan ada cukup kesempatan untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat terus disesuaikan, dan setelah beberapa kali data, neuron tersebut akan mencapai keadaan optimal ( parameter ), inilah juga asal usul kata "dalam" - jumlah lapisan dan neuron yang cukup banyak.
Sebagai contoh, dapat dipahami dengan sederhana sebagai membangun sebuah fungsi, fungsi tersebut kita masukkan X=2 maka Y=3; X=3 maka Y=5, jika kita ingin fungsi ini berlaku untuk semua X, maka kita perlu terus menambahkan derajat fungsi ini serta parameternya, misalnya kita bisa membangun fungsi yang memenuhi kondisi ini yaitu Y = 2X -1, tetapi jika ada data X=2, Y=11, maka kita perlu membangun kembali fungsi yang sesuai untuk ketiga titik data ini, menggunakan GPU untuk brute force menemukan Y = X2 -3X +5 yang lebih cocok, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan, keluaran yang serupa secara kasar sudah cukup. Di sini X2 serta X, X0 masing-masing mewakili neuron yang berbeda, sedangkan 1, -3, 5 adalah parameternya.
Pada saat ini, jika kita memasukkan sejumlah besar data ke dalam jaringan saraf, kita dapat menambah neuron dan mengiterasi parameter untuk menyesuaikan data baru. Dengan cara ini, kita dapat menyesuaikan semua data.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknis, mulai dari jaringan saraf awal, jaringan saraf feedforward, RNN, CNN, GAN, hingga akhirnya berevolusi menjadi model besar modern seperti GPT yang menggunakan teknologi Transformer. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah konverter ( Transformer ), yang digunakan untuk mengkodekan semua modalitas ( seperti audio, video, gambar, dll ) menjadi nilai-nilai yang sesuai untuk merepresentasikannya. Kemudian masukan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan diri dengan jenis data apa pun, yaitu untuk mewujudkan multimodal.
Perkembangan AI telah melalui tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, sepuluh tahun setelah teknologi AI diusulkan. Gelombang ini dipicu oleh perkembangan teknologi simbolis, yang menyelesaikan masalah pemrosesan bahasa alami secara umum dan dialog antara manusia dan mesin. Pada waktu yang sama, sistem pakar lahir, yang merupakan sistem pakar DENRAL yang selesai atas dorongan NASA di sebuah universitas di Amerika Serikat. Sistem ini memiliki pengetahuan kimia yang sangat kuat, dan dapat menghasilkan jawaban yang sama dengan pakar kimia melalui inferensi berdasarkan pertanyaan. Sistem pakar kimia ini dapat dianggap sebagai kombinasi antara basis pengetahuan kimia dan sistem inferensi.
Setelah sistem pakar, ilmuwan dan filsuf asal Amerika keturunan Israel, Judea Pearl, mengusulkan jaringan Bayesian pada tahun 1990-an, yang juga dikenal sebagai jaringan kepercayaan. Pada periode yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai kelahiran behaviorisme.
Pada tahun 1997, program catur dari sebuah perusahaan teknologi mengalahkan juara catur Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak sejarah dalam kecerdasan buatan, dan teknologi AI memasuki puncak perkembangan keduanya.
Gelombang teknologi AI ketiga terjadi pada tahun 2006. Tiga tokoh besar dalam pembelajaran mendalam, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengusulkan konsep pembelajaran mendalam, sebuah algoritme yang menggunakan jaringan saraf buatan sebagai arsitektur untuk melakukan pembelajaran representasi pada data. Setelah itu, algoritme pembelajaran mendalam berkembang secara bertahap, dari RNN, GAN, hingga Transformer dan Stable Diffusion, kedua algoritme ini bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.
Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:
Pada tahun 2011, sebuah sistem kecerdasan buatan mengalahkan manusia dan meraih juara dalam acara kuis "Danger Zone."
Pada tahun 2014, Goodfellow mengusulkan GAN( jaringan generatif adversarial), yang memungkinkan pembelajaran dengan cara dua jaringan saraf saling berkompetisi, dapat menghasilkan foto yang sangat realistis. Pada saat yang sama, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang menjadi salah satu buku pengantar penting di bidang pembelajaran mendalam.
Pada tahun 2015, Hinton dan rekan-rekannya mengusulkan algoritma pembelajaran mendalam, yang segera menimbulkan dampak besar di kalangan akademisi dan industri.
Pada tahun 2015, OpenAI didirikan, mendapatkan investasi bersama dari beberapa investor terkenal sebesar 1 miliar dolar.
Pada tahun 2016, AlphaGo yang berbasis teknologi pembelajaran mendalam berhadapan dengan juara dunia Go dan pemain profesional sembilan dan Li Shishi dalam pertandingan Go antara manusia dan mesin, dengan skor total 4-1.
Pada tahun 2017, sebuah perusahaan teknologi mengembangkan robot humanoid bernama Sophia yang mendapatkan kewarganegaraan, memiliki ekspresi wajah yang kaya dan kemampuan memahami bahasa manusia.
Pada tahun 2017, Google menerbitkan makalah "Attention is all you need" yang mengusulkan algoritma Transformer, model bahasa berskala besar mulai muncul.
Pada tahun 2018, OpenAI merilis GPT yang dibangun berdasarkan algoritma Transformer, ini adalah salah satu model bahasa terbesar pada saat itu.
Pada tahun 2018, DeepMind meluncurkan AlphaFold yang berbasis pada pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai kemajuan besar dalam bidang kecerdasan buatan.
Pada tahun 2019, OpenAI merilis GPT-2, model ini memiliki 1,5 miliar parameter.
Pada tahun 2020, OpenAI mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih tinggi daripada versi sebelumnya GPT-2, model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja terdepan dalam berbagai tugas NLP.
Pada tahun 2021, OpenAI meluncurkan GPT-4, model ini memiliki 1,76 triliun parameter, sepuluh kali lipat dari GPT-3.
Aplikasi ChatGPT yang berbasis model GPT-4 diluncurkan pada Januari 2023, mencapai seratus juta pengguna pada bulan Maret, menjadi aplikasi dengan pertumbuhan tercepat mencapai seratus juta pengguna dalam sejarah.
Pada tahun 2024, OpenAI meluncurkan GPT-4 omni.
Rantai Industri Pembelajaran Mendalam
Model bahasa besar saat ini menggunakan metode pembelajaran mendalam berbasis jaringan syaraf. Dengan GPT sebagai pemimpin, model besar ini telah menciptakan gelombang antusiasme terhadap kecerdasan buatan, banyak pemain masuk ke dalam jalur ini, dan kami juga menemukan bahwa permintaan pasar untuk data dan daya komputasi telah meledak secara besar-besaran. Oleh karena itu, pada bagian laporan ini, kami terutama mengeksplorasi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilir di industri AI yang didominasi oleh algoritma pembelajaran mendalam terbentuk, serta bagaimana kondisi dan hubungan penawaran dan permintaan hulu dan hilir, serta perkembangan di masa depan.
Pertama-tama, yang perlu kita klarifikasi adalah bahwa dalam melatih model besar LLMs yang dipimpin oleh GPT berdasarkan teknologi Transformer(, terdapat tiga langkah yang harus diikuti.
Sebelum pelatihan, karena didasarkan pada Transformer, konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Berdasarkan aturan praktis umum, satu kata atau karakter dalam bahasa Inggris dapat secara kasar dianggap sebagai satu Token, sementara setiap karakter Han dapat secara kasar dianggap sebagai dua Token. Ini juga merupakan unit dasar yang digunakan dalam penetapan harga GPT.
Langkah pertama, pra-pelatihan. Dengan memberikan cukup banyak pasangan data ke lapisan input, mirip dengan contoh yang diberikan di bagian pertama laporan )X,Y(, untuk mencari parameter terbaik dari setiap neuron di model ini, pada saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling membutuhkan daya komputasi, karena harus melakukan iterasi berulang kali pada neuron mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua untuk mengiterasi parameter.
Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah kecil data yang berkualitas sangat tinggi untuk dilatih, perubahan semacam ini akan membuat output model memiliki kualitas yang lebih tinggi, karena pra-pelatihan membutuhkan banyak data, tetapi banyak data mungkin mengandung kesalahan atau berkualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.
Langkah ketiga, pembelajaran penguatan. Pertama, akan dibangun sebuah model baru yang kita sebut sebagai "model penghargaan", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini akan cukup sederhana karena skenario bisnisnya cukup vertikal. Kemudian, model ini digunakan untuk menilai apakah keluaran dari model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ) Namun terkadang juga diperlukan partisipasi manusia untuk menilai kualitas keluaran model (.
Singkatnya, dalam proses pelatihan model besar, pra-pelatihan memiliki permintaan yang sangat tinggi terhadap jumlah data, dan kekuatan komputasi GPU yang dibutuhkan juga paling banyak, sementara fine-tuning memerlukan data yang lebih berkualitas tinggi untuk memperbaiki parameter, dan pembelajaran penguatan dapat mengulangi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas tinggi.
Dalam proses pelatihan, semakin banyak parameter yang ada, semakin tinggi batas kemampuan generalisasinya. Misalnya, dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, sehingga bagaimana parameter berubah, data yang dapat diusulkan sangat terbatas, karena pada dasarnya tetap berupa garis lurus. Jika neuron semakin banyak, maka lebih banyak parameter yang dapat diiterasi, yang memungkinkan untuk mengusulkan lebih banyak data. Inilah alasan mengapa model besar dapat menghasilkan keajaiban, dan ini juga alasan mengapa dinamakan model besar, pada dasarnya adalah neuron dan parameter yang sangat besar, serta data yang sangat besar, sambil memerlukan daya komputasi yang sangat besar.
Oleh karena itu, pengaruh pada kinerja model besar ditentukan oleh tiga aspek utama, yaitu jumlah parameter, jumlah dan kualitas data, serta daya komputasi. Ketiga aspek ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita anggap jumlah parameter adalah p, jumlah data adalah n) yang dihitung berdasarkan jumlah Token(, maka kita dapat menghitung kebutuhan daya komputasi yang diperlukan dengan menggunakan aturan umum, sehingga kita dapat memperkirakan kira-kira berapa banyak daya komputasi yang perlu dibeli dan waktu pelatihan.
Kekuatan komputasi umumnya diukur dalam Flops sebagai satuan dasar, yang mewakili satu operasi titik mengambang. Operasi titik mengambang adalah istilah umum untuk penjumlahan, pengurangan, perkalian, dan pembagian nilai non-integers, seperti 2.5 + 3.557. Titik mengambang menunjukkan kemampuan untuk memiliki desimal, sementara FP16 mewakili presisi yang mendukung desimal, dan FP32 adalah presisi yang lebih umum. Berdasarkan aturan praktis yang diperoleh dari pengalaman, pre-training )Pre-traning( satu kali ) biasanya akan dilatih berkali-kali ( model besar, yang kira-kira membutuhkan 6np Flops, di mana 6 disebut sebagai konstanta industri. Dan inferensi )Inference, adalah proses di mana kita memasukkan satu data dan menunggu keluaran dari model besar (, dibagi menjadi dua bagian, memasukkan n token, dan mengeluarkan n token, sehingga total yang dibutuhkan kira-kira 2np Flops.
Pada awalnya, pelatihan dilakukan dengan menggunakan chip CPU untuk mendukung daya komputasi, tetapi kemudian mulai secara bertahap diganti dengan GPU, seperti chip Nvidia A100, H100, dan lain-lain. Karena CPU ada sebagai komputasi umum, tetapi GPU dapat digunakan sebagai komputasi khusus.