AI x Kripto: Sıfırdan Zirveye

AI endüstrisi son zamanlarda hızlı bir gelişim gösterdi ve bazıları tarafından dördüncü sanayi devrimi olarak görülüyor. Büyük modellerin ortaya çıkması, her sektörde verimliliği önemli ölçüde artırdı, GPT’nin Amerika'da yaklaşık %20 çalışma verimliliğini artırdığı tahmin ediliyor. Aynı zamanda büyük modellerin getirdiği genelleme yeteneği, yeni bir yazılım tasarım paradigması olarak değerlendiriliyor; geçmişte yazılım tasarımı kesin kodlar üzerineydi, şimdi ise daha çok genelleştirilmiş büyük model çerçevelerinin yazılımlara entegre edilmesi üzerine odaklanılıyor, bu da yazılımların daha iyi performans sergilemesini ve daha geniş mod desteklemesini sağlıyor. Derin öğrenme teknolojisi gerçekten de AI endüstrisine yeni bir refah dönemi getirdi ve bu heyecan kripto para endüstrisine de yayıldı.

Bu rapor, AI sektörünün gelişim sürecini, teknoloji sınıflandırmasını ve derin öğrenme teknolojisinin sektöre olan etkisini detaylı bir şekilde inceleyecektir. Ardından, derin öğrenme alanındaki GPU, bulut bilişim, veri kaynakları, kenar cihazları gibi endüstri zincirinin yukarı ve aşağı akışındaki gelişim durumu ve trendleri derinlemesine analiz edilecektir. Son olarak, kripto para ile AI sektörü arasındaki ilişkiyi esasen inceleyecek ve kripto paraya bağlı AI endüstri zinciri yapısını gözden geçireceğiz.

AI endüstrisinin gelişim tarihi

Yapay zeka endüstrisi 20. yüzyılın 50'li yıllarında başladı. Yapay zekanın vizyonunu gerçekleştirmek için akademik dünya ve sanayi, farklı dönemlerde ve farklı disiplin arka planlarında, yapay zekayı gerçekleştirmek için çeşitli akımlar geliştirmiştir.

Modern yapay zeka teknolojisi, "makine öğrenimi" terimini esas alır; bu, makinaların verileri kullanarak görevlerde sistem performansını iyileştirmek için tekrar tekrar iterasyon yapmasını sağlamayı amaçlar. Ana adımlar, verilerin algoritmaya girişini sağlamak, verilerle modeli eğitmek, modeli test edip dağıtmak ve modeli otomatik tahmin görevlerini yerine getirmek için kullanmaktır.

Şu anda makine öğreniminin üç ana akımı vardır: bağlantıcılık, sembolistlik ve davranışçılık; bunlar sırasıyla insan sinir sistemini, düşüncesini ve davranışını taklit eder.

Şu anda sinir ağlarıyla temsil edilen bağlantıcı yaklaşım, derin öğrenme olarak da bilinir (, bu mimarinin temel nedeni bir giriş katmanı, bir çıkış katmanı ve birden fazla gizli katmana sahip olmasıdır. Katman sayısı ve nöron ) parametre ( sayısı yeterince fazla olduğunda, karmaşık genel görevleri uyarlama fırsatı da yeterince fazla olacaktır. Veri girişi ile nöronun parametreleri sürekli olarak ayarlanabilir ve birden fazla veri deneyimledikten sonra bu nöron optimum duruma ulaşacaktır ) parametre (, bu da "derinlik" teriminin kökenidir - yeterince katman ve nöron sayısı.

Örneğin, X=2 olduğunda Y=3; X=3 olduğunda Y=5 olacak şekilde bir fonksiyon oluşturmak olarak basitçe anlaşılabilir. Eğer bu fonksiyonun tüm X'ler için geçerli olmasını istiyorsak, bu fonksiyonun derecesini ve parametrelerini sürekli olarak eklememiz gerekir. Örneğin, bu koşulu sağlayan bir fonksiyon olarak Y = 2X -1 oluşturulabilir. Ancak X=2, Y=11 olan bir veri varsa, bu üç veri noktasına uygun yeni bir fonksiyon inşa etmemiz gerekecek. GPU kullanarak kaba kuvvet yöntemiyle Y = X2 -3X +5'in daha uygun olduğunu bulduk, ancak verilerle tam örtüşmesi gerekmiyor, sadece dengeyi koruması ve yaklaşık benzer çıktılar vermesi yeterli. Burada X2, X ve X0 farklı nöronları temsil ederken, 1, -3, 5 parametreleridir.

Bu durumda, sinir ağına büyük miktarda veri yüklersek, yeni verileri uyum sağlamak için nöronları artırabilir ve parametreleri yineleyebiliriz. Böylece tüm verileri uyumlu hale getirebiliriz.

Ve sinir ağına dayalı derin öğrenme teknolojisi, en eski sinir ağları, ileri beslemeli sinir ağları, RNN, CNN, GAN gibi birçok teknik iterasyon ve evrim geçirmiştir. Son olarak, modern büyük modellerin kullanıldığı Transformer teknolojisine, örneğin GPT gibi, evrilmiştir. Transformer teknolojisi sadece sinir ağlarının bir evrim yönüdür, bir dönüştürücü ) Transformer ( ekleyerek, tüm modları ), ses, video, resim gibi ( verileri karşılık gelen sayısal değerlere kodlamak için kullanılır. Ardından bu veriler sinir ağına giriş olarak verilir, böylece sinir ağı her tür veriyi uyarlayabilir, yani çok modlu hale getirebilir.

Yapay zeka gelişimi üç teknolojik dalga geçirmiştir. İlk dalga 1960'lı yıllarda, yapay zeka teknolojisinin ortaya çıkmasından on yıl sonra gerçekleşmiştir. Bu dalga, sembolist teknolojinin gelişiminden kaynaklanmıştır ve genel doğal dil işleme ile insan-bilgisayar diyalogu sorunlarını çözmüştür. Aynı dönemde, uzman sistemler doğmuştur; bunlar, bazı kuruluşlar tarafından tamamlanan DENRAL uzman sistemleridir. Bu sistem, çok güçlü kimya bilgisine sahiptir ve sorular aracılığıyla, bir kimya uzmanıyla aynı şekilde yanıtlar üretmek için çıkarım yapar. Bu kimya uzmanı sistemi, kimya bilgi tabanı ve çıkarım sisteminin bir kombinasyonu olarak görülebilir.

Uzman sistemlerden sonra, 1990'larda bilim insanları Bayes ağlarını önerdi; bu ağlar inanç ağları olarak da bilinir. Aynı dönemde, Brooks davranışa dayalı robotik önerdi ve bu da davranışçılığın doğuşunu simgeliyor.

1997'de, bir teknoloji şirketinin derin mavi "Blue" 3.5:2.5 ile satranç şampiyonu Kasparov'u )Kasparov( yendi, bu zafer yapay zekanın bir dönüm noktası olarak kabul edildi, AI teknolojisi ikinci gelişim dalgasına girdi.

Üçüncü AI teknolojisi dalgası 2006 yılında gerçekleşti. Derin öğrenmenin üç büyük ismi Yann LeCun, Geoffrey Hinton ve Yoshua Bengio, yapay sinir ağlarını temel alan ve verileri temsil etme öğrenimi yapan bir algoritma olan derin öğrenme kavramını ortaya koydular. Daha sonra derin öğrenme algoritmaları, RNN, GAN'dan Transformer ve Stable Diffusion'a kadar evrimleşti ve bu algoritmalar üçüncü teknolojik dalgayı şekillendirdi; bu, bağlantıcılığın altın çağıdır.

Birçok ikonik olay, derin öğrenme teknolojisinin keşfi ve evrimi ile birlikte ortaya çıkmaya başladı, bunlar arasında:

• 2011 yılında, bir teknoloji şirketinin sistemi "Tehlikeli Sınırlar" ) Jeopardy ( cevap yarışmasında insanları yenerek şampiyon oldu.

• 2014 yılında, Goodfellow GAN), Generative Adversarial Network(, iki sinir ağının karşılıklı oyun oynaması yoluyla öğrenmesini sağlayarak gerçeğe yakın fotoğraflar üretebilen bir yöntem önerdi. Aynı zamanda Goodfellow, derin öğrenme alanında önemli bir giriş kitabı olan "Deep Learning" adlı bir kitap da yazdı, bu kitap "çiçek kitabı" olarak adlandırılır.

• 2015 yılında, Hinton ve arkadaşları "Nature" dergisinde derin öğrenme algoritmasını önerdiler, bu derin öğrenme yönteminin önerilmesi, akademik çevrelerde ve sanayi dünyasında büyük bir yankı uyandırdı.

• 2015 yılında, bir yapay zeka şirketi kuruldu ve birçok tanınmış kişi birlikte 1 milyar dolar yatırım yapacağını açıkladı.

• 2016 yılında, derin öğrenme teknolojisine dayanan AlphaGo, Go dünyası şampiyonu ve profesyonel dokuzuncu dan oyuncusu Lee Sedol ile Go insan-makine savaşına girdi ve toplamda 4-1 galip geldi.

• 2017 yılında, bir şirket tarafından geliştirilen insansı robot Sophia, tarihte birinci sınıf vatandaşlık elde eden ilk robot olarak adlandırılmıştır ve zengin yüz ifadeleri ile insan dilini anlama yeteneğine sahiptir.

• 2017 yılında, yapay zeka alanında zengin insan ve teknolojik birikime sahip bir şirket, "Attention is all you need" başlıklı bir makale yayımlayarak Transformer algoritmasını tanıttı ve büyük ölçekli dil modelleri ortaya çıkmaya başladı.

• 2018'de, bir şirket Transformer algoritmasına dayalı olarak GPT)Generative Pre-trained Transformer('yi yayımladı, bu o zamanki en büyük dil modellerinden biriydi.

• 2018 yılında, bir şirket ekibi derin öğrenmeye dayalı AlphaGo'yu piyasaya sürdü, proteinlerin yapı tahminlerini yapabiliyor ve yapay zeka alanında büyük bir ilerleme sembolü olarak görülüyor.

• 2019 yılında, bir şirket GPT-2'yi piyasaya sürdü, bu model 1.5 milyar parametreye sahip.

• 2020 yılında, bir şirket tarafından geliştirilen GPT-3, 175 milyar parametreye sahip olup önceki versiyon GPT-2'den 100 kat daha fazladır. Bu model, 570 GB metin kullanılarak eğitilmiş olup, çeşitli NLP) doğal dil işleme( görevlerinde) soru yanıtlama, çeviri, makale yazma( gibi alanlarda en ileri düzeyde performans göstermektedir.

• 2021 yılında, bir şirket GPT-4'ü piyasaya sürdü, bu model 1.76 trilyon parametreye sahip olup, GPT-3'ün 10 katıdır.

• 2023'te GPT-4 modeline dayanan ChatGPT uygulaması piyasaya sürüldü, Mart ayında ChatGPT bir milyar kullanıcıya ulaştı ve tarih boyunca bir milyar kullanıcıya en hızlı ulaşan uygulama oldu.

• 2024 yılında, bir şirket GPT-4 omni'yi piyasaya sürdü.

![Yeni Başlangıç Rehberi丨AI x Kripto: Sıfırdan Zirveye])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Derin Öğrenme Sanayi Zinciri

Mevcut büyük model dilleri, tamamen sinir ağlarına dayalı derin öğrenme yöntemleri kullanmaktadır. Başını GPT'nin çektiği büyük modeller, yapay zeka alanında bir patlama yarattı, birçok oyuncu bu alana akın etti ve pazarın veri ve hesaplama gücüne olan talebinin büyük ölçüde arttığını gördük. Bu nedenle, raporun bu bölümünde, derin öğrenme algoritmalarının endüstri zincirini keşfetmeye odaklanıyoruz. Derin öğrenme algoritmalarının egemen olduğu yapay zeka sektöründe, tedarik ve talep ilişkisi, gelecekteki gelişimle birlikte, yukarı ve aşağı akışın nasıl oluştuğunu inceleyeceğiz.

Öncelikle netleştirmemiz gereken, Transformer teknolojisine dayanan GPT öncülüğündeki LLM'lerin) büyük modellerinin( eğitimi sırasında toplamda üç aşamaya ayrıldığıdır.

Eğitimden önce, Transformer tabanlı olduğu için, dönüştürücünün metin girdisini sayılara dönüştürmesi gerekir; bu süreç "Tokenizasyon" olarak adlandırılır, ardından bu sayılara Token denir. Genel bir kural olarak, bir İngilizce kelime veya karakter kabaca bir Token olarak kabul edilebilirken, her bir Çince karakter kabaca iki Token olarak kabul edilebilir. Bu, GPT'nin fiyatlandırmada kullandığı temel birimdir.

İlk adım, ön eğitim. Giriş katmanına yeterince veri çifti vererek, raporun ilk bölümünde örneği verilen )X,Y( gibi, model altındaki her bir nöronun en iyi parametrelerini bulmak için çalışılır; bu aşamada büyük miktarda veriye ihtiyaç vardır ve bu süreç, nöronların çeşitli parametreleri denemesi gerektiğinden, en fazla hesaplama gücü gerektiren süreçtir. Bir veri çiftinin eğitimi tamamlandıktan sonra, genellikle aynı veri kümesi kullanılarak parametreleri yinelemek için ikinci bir eğitim yapılır.

İkinci adım, ince ayar. İnce ayar, daha az sayıda ancak çok kaliteli veri ile eğitim vermektir. Bu tür bir değişim, modelin çıktısının kalitesini artıracaktır çünkü ön eğitim büyük miktarda veriye ihtiyaç duyar, ancak birçok veri hatalar içerebilir veya düşük kalitede olabilir. İnce ayar adımı, kaliteli verilerle modelin kalitesini artırabilir.

Üçüncü adım, pekiştirmeli öğrenme. Öncelikle tamamen yeni bir model oluşturulacak, buna "ödül modeli" diyoruz, bu modelin amacı oldukça basit, çıktının sonuçlarını sıralamak, bu nedenle bu modeli gerçekleştirmek oldukça kolaydır, çünkü iş senaryosu oldukça dikeydir. Daha sonra bu modeli, büyük modelimizin çıktısının yüksek kaliteli olup olmadığını belirlemek için kullanacağız, böylece bir ödül modeli ile büyük modelin parametrelerini otomatik olarak yineleyebiliriz. ) Ancak bazen modelin çıktı kalitesini değerlendirmek için insan katılımı da gereklidir (

Kısacası, büyük modelin eğitim sürecinde, ön eğitim veri miktarı için çok yüksek bir gereksinim vardır, gerekli olan GPU hesaplama gücü de en fazladır. İnce ayar ise parametreleri geliştirmek için daha yüksek kaliteli verilere ihtiyaç duyar. Pekiştirmeli öğrenme, daha yüksek kaliteli sonuçlar elde etmek için parametreleri tekrar tekrar yinelemek için bir ödül modeli kullanabilir.

Eğitim sürecinde, parametre sayısı arttıkça genelleme yeteneğinin sınırı da yükselir. Örneğin, Y = aX + b fonksiyonu örneğini ele alırsak, aslında iki nöron vardır: X ve X0. Bu durumda, parametrelerin değişimiyle uyum sağlayabileceği veri miktarı son derece sınırlıdır, çünkü özünde bu hala bir doğru çizgisidir. Eğer daha fazla nöron varsa, daha fazla parametre döngüsel olarak güncellenebilir, bu da daha fazla veriyi uyumlu hale getirebilir. İşte bu yüzden büyük modellerin büyük başarılara imza atmasının nedeni budur ve bu aynı zamanda 'büyük model' ifadesinin halk arasında kullanılmasının sebebidir; özünde büyük miktarda nöron ve parametre, büyük miktarda veri ile birlikte büyük bir hesaplama gücü gerektirir.

Bu nedenle, büyük model performansını etkileyen başlıca üç faktör vardır: parametre sayısı, veri miktarı ve kalitesi, hesaplama gücü. Bu üçü, büyük modelin sonuç kalitesini ve genelleme yeteneğini birlikte etkiler. Parametre sayısının p, veri miktarının ise n) Token sayısı üzerinden hesaplandığını varsayalım(, böylece gerekli hesaplama miktarını genel bir deneysel kural ile hesaplayabiliriz; bu da bize yaklaşık olarak ne kadar hesaplama gücü satın almamız gerektiğini ve eğitim süresini tahmin etme imkanı sağlar.

Hesaplama gücü genellikle Flops ile temel birim olarak ifade edilir ve bu, bir float işlemine karşılık gelir. Float işlemleri, tam sayı olmayan değerlerin toplama, çıkarma, çarpma ve bölme işlemlerinin genel adıdır. Örneğin, 2.5 + 3.557 işlemi. Float, ondalık sayıları ifade etme yeteneğini temsil ederken, FP16 ondalık hassasiyeti destekler; FP32 ise daha yaygın bir hassasiyet düzeyidir. Uygulama üzerinden elde edilen deneyim kurallarına göre, ön eğitim ) Ön Eğitim ( bir kez ) genellikle büyük modelleri birkaç kez eğitir, bu da yaklaşık 6np Flops gerektirir; 6, sektör sabiti olarak adlandırılır. Ve çıkarım ( Çıkarım, bir veri girişi yaptığımız ve büyük modelin çıktısını beklediğimiz süreçtir ), iki bölüme ayrılır: n token girişi ve çıktı.