Sự phát triển gần đây của ngành trí tuệ nhân tạo được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình ngôn ngữ lớn đã nâng cao đáng kể hiệu quả trong nhiều ngành, ước tính đã tăng khoảng 20% hiệu quả công việc ở Mỹ. Đồng thời, khả năng tổng quát của các mô hình lớn được coi là một kiểu thiết kế phần mềm mới, so với việc thiết kế mã chính xác trong quá khứ, phần mềm hiện nay nhiều hơn là nhúng khung mô hình lớn tổng quát, từ đó hỗ trợ đầu vào và đầu ra với nhiều phương thức khác nhau. Công nghệ học sâu thực sự đã mang lại một làn sóng thịnh vượng mới cho ngành AI, làn sóng này cũng đã ảnh hưởng đến ngành tiền điện tử.
Trong báo cáo này, chúng tôi sẽ khám phá chi tiết về quá trình phát triển của ngành AI, phân loại công nghệ, cũng như ảnh hưởng của công nghệ học sâu đối với ngành. Sau đó, chúng tôi sẽ phân tích sâu về tình trạng và xu hướng phát triển của các thành phần trong chuỗi công nghiệp như GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên trong học sâu. Cuối cùng, chúng tôi sẽ khám phá bản chất của mối quan hệ giữa ngành Crypto và AI, và hệ thống lại cấu trúc chuỗi công nghiệp AI liên quan đến Crypto.
Lịch sử phát triển của ngành AI
Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau trong bối cảnh các thời đại và ngành khoa học khác nhau.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", với ý tưởng là cho phép máy móc dựa vào dữ liệu để lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất hệ thống. Các bước chính bao gồm đưa dữ liệu vào thuật toán, sử dụng dữ liệu này để huấn luyện mô hình, kiểm tra và triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.
Hiện nay, học máy có ba trường phái chính, đó là chủ nghĩa kết nối, chủ nghĩa ký hiệu và chủ nghĩa hành vi, lần lượt mô phỏng hệ thần kinh, tư duy và hành vi của con người.
Hiện nay, chủ nghĩa liên kết đại diện bởi mạng nơ-ron đang chiếm ưu thế ( cũng được gọi là học sâu ), nguyên nhân chính là vì kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Khi số lượng lớp và số lượng nơ-ron ( và tham số ) đủ lớn, nó có đủ cơ hội để khớp với các nhiệm vụ phức tạp và tổng quát. Qua việc nhập dữ liệu, có thể điều chỉnh liên tục các tham số của nơ-ron, sau nhiều lần dữ liệu, nơ-ron đó sẽ đạt được trạng thái tối ưu ( tham số ), đây cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.
Lấy một ví dụ, có thể hiểu đơn giản là xây dựng một hàm, hàm này khi chúng ta nhập X=2 thì Y=3; X=3 thì Y=5, nếu muốn hàm này ứng phó với tất cả các X, thì cần phải liên tục thêm bậc của hàm này và các tham số của nó, chẳng hạn có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để brute force phát hiện ra Y = X2 -3X +5 là khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Ở đây X2 và X, X0 đại diện cho các nơ-ron khác nhau, trong khi 1, -3, 5 là các tham số của nó.
Nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron tại thời điểm này, chúng ta có thể tăng số lượng nơ-ron và lặp lại các tham số để phù hợp với dữ liệu mới. Bằng cách này, chúng ta có thể phù hợp với tất cả dữ liệu.
Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều lần lặp lại và tiến hóa, bao gồm các mạng nơ-ron đầu tiên, mạng nơ-ron truyền dẫn, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, thêm vào một bộ chuyển đổi ( Transformer ), để mã hóa tất cả các dạng ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, dữ liệu được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa phương thức.
Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên là vào thập niên 60 của thế kỷ 20, sau một thập kỷ từ khi công nghệ AI được đề xuất. Làn sóng này được gây ra bởi sự phát triển của công nghệ chủ nghĩa ký hiệu, công nghệ này giải quyết vấn đề xử lý ngôn ngữ tự nhiên và đối thoại giữa người và máy. Cùng thời điểm này, hệ thống chuyên gia đã ra đời, đó là hệ thống chuyên gia DENRAL được hoàn thành dưới sự giám sát của NASA tại một trường đại học ở Mỹ, hệ thống này có kiến thức hóa học rất mạnh, thông qua việc đặt câu hỏi để suy diễn và tạo ra câu trả lời giống như một chuyên gia hóa học, hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa kho kiến thức hóa học và hệ thống suy diễn.
Sau hệ thống chuyên gia, vào những năm 90, nhà khoa học và triết gia người Mỹ gốc Israel Judea Pearl đã đề xuất mạng Bayes, mạng này còn được gọi là mạng niềm tin. Cùng thời điểm đó, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của chủ nghĩa hành vi.
Năm 1997, một chương trình cờ vua của một công ty công nghệ đã đánh bại nhà vô địch cờ vua Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.
Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn của học sâu là Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đề xuất khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm kiến trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa kết nối.
Nhiều sự kiện mang tính biểu tượng cũng xuất hiện dần dần cùng với sự khám phá và phát triển của công nghệ học sâu, bao gồm:
Năm 2011, một hệ thống trí tuệ nhân tạo đã đánh bại con người và giành chiến thắng trong chương trình quiz "Dangerous Edge".
Năm 2014, Goodfellow đã đề xuất GAN( mạng đối kháng sinh sản), bằng cách cho hai mạng nơ-ron đấu tranh với nhau để học, có thể tạo ra những bức ảnh giống thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách mang tên "Học sâu", trở thành một trong những sách nhập môn quan trọng trong lĩnh vực học sâu.
Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu, ngay lập tức gây ra tiếng vang lớn trong giới học thuật và công nghiệp.
Năm 2015, OpenAI được thành lập, nhận được khoản đầu tư chung 1 tỷ đô la từ nhiều nhà đầu tư nổi tiếng.
Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu với nhà vô địch cờ vây thế giới, kỳ thủ chuyên nghiệp cấp 9 Li Shishi và giành chiến thắng với tổng tỷ số 4-1.
Năm 2017, một công ty công nghệ đã phát triển robot hình người Sophia được cấp quyền công dân, với khả năng biểu đạt nét mặt phong phú và hiểu ngôn ngữ con người.
Năm 2017, Google công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.
Năm 2018, OpenAI phát hành GPT được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.
Năm 2018, DeepMind phát hành AlphaFold dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một bước tiến lớn trong lĩnh vực trí tuệ nhân tạo.
Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.
Năm 2020, GPT-3 được phát triển bởi OpenAI, có 175 tỷ tham số, gấp 100 lần so với phiên bản trước đó là GPT-2, mô hình này sử dụng 570GB văn bản để đào tạo, có thể đạt hiệu suất tiên tiến trong nhiều nhiệm vụ NLP.
Năm 2021, OpenAI phát hành GPT-4, mô hình này có 1,76 triệu tỷ tham số, gấp 10 lần GPT-3.
Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, đạt một trăm triệu người dùng vào tháng 3, trở thành ứng dụng đạt một trăm triệu người dùng nhanh nhất trong lịch sử.
Năm 2024, OpenAI ra mắt GPT-4 omni.
Chuỗi công nghiệp học sâu
Các mô hình ngôn ngữ lớn hiện tại đều sử dụng phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một làn sóng sốt nóng về trí tuệ nhân tạo, nhiều người chơi đã đổ vào lĩnh vực này, và chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường đã bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của thuật toán học sâu, trong ngành AI do thuật toán học sâu dẫn dắt, cấu trúc của nó giữa các bên trên và dưới ra sao, và hiện trạng cũng như mối quan hệ cung cầu của các bên trên và dưới, cũng như sự phát triển trong tương lai sẽ như thế nào.
Đầu tiên, chúng ta cần làm rõ rằng trong quá trình đào tạo mô hình lớn LLMs dựa trên công nghệ Transformer mà dẫn đầu là GPT(, có tổng cộng ba bước.
Trước khi đào tạo, vì nó dựa trên Transformer, do đó bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi chữ Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.
Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào một lượng lớn cặp dữ liệu, tương tự như ví dụ trong phần báo cáo đầu tiên )X,Y(, để tìm các tham số tối ưu cho từng neuron trong mô hình, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tốn kém sức mạnh tính toán nhất, vì phải lặp đi lặp lại các neuron thử nghiệm với các tham số khác nhau. Sau khi hoàn thành việc huấn luyện một lô cặp dữ liệu, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lại nhằm điều chỉnh các tham số.
Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ nhưng chất lượng rất cao để huấn luyện, sự thay đổi như vậy sẽ giúp đầu ra của mô hình có chất lượng cao hơn, vì tiền huấn luyện cần rất nhiều dữ liệu, nhưng nhiều dữ liệu có thể có lỗi hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.
Bước ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình phần thưởng", mục đích của mô hình này rất đơn giản, đó là phân loại kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì tình huống kinh doanh khá chuyên sâu. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy có thể sử dụng một mô hình phần thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (
Nói ngắn gọn, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện yêu cầu một khối lượng dữ liệu rất cao, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, và học tăng cường có thể lặp lại các tham số thông qua một mô hình thưởng để xuất ra kết quả chất lượng cao hơn.
Trong quá trình huấn luyện, càng nhiều tham số thì khả năng tổng quát càng cao, chẳng hạn như trong ví dụ với hàm Y = aX + b, thực tế có hai nơ-ron X và X0, do đó sự thay đổi của các tham số chỉ có thể khớp với một lượng dữ liệu rất hạn chế, vì bản chất vẫn chỉ là một đường thẳng. Nếu số lượng nơ-ron nhiều hơn, thì có thể lặp lại nhiều tham số hơn, từ đó có thể khớp với nhiều dữ liệu hơn, đó là lý do tại sao các mô hình lớn lại tạo ra những điều kỳ diệu, và cũng là lý do tại sao được gọi là mô hình lớn, bản chất là một lượng lớn nơ-ron và tham số, cùng với một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.
Do đó, hiệu suất của mô hình lớn chủ yếu được quyết định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Chúng ba yếu tố này cùng ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n) tính bằng số lượng Token (, thì chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm thông thường, từ đó có thể ước tính tình hình sức mạnh tính toán cần mua và thời gian đào tạo.
Công suất tính toán thường được tính bằng đơn vị Flops, đại diện cho một phép toán số thực, phép toán số thực là một thuật ngữ chung cho phép cộng, trừ, nhân, chia các giá trị không nguyên, chẳng hạn như 2.5 + 3.557, số thực đại diện cho khả năng có dấu thập phân, trong khi FP16 đại diện cho độ chính xác hỗ trợ số thập phân, FP32 là độ chính xác phổ biến hơn. Theo quy tắc thực tiễn, việc tiền huấn luyện )Pre-traning( một lần ) thường sẽ huấn luyện nhiều lần ( mô hình lớn, khoảng cần 6np Flops, 6 được gọi là hằng số ngành. Còn suy luận )Inference, là quá trình chúng ta nhập một dữ liệu và chờ đợi đầu ra từ mô hình lớn (, được chia thành hai phần, nhập n token, xuất n token, vậy tổng cộng cần khoảng 2np Flops.
Trong giai đoạn đầu, việc sử dụng chip CPU để đào tạo và cung cấp sức mạnh tính toán, nhưng sau đó dần dần bắt đầu sử dụng GPU thay thế, chẳng hạn như chip A100, H100 của Nvidia. Bởi vì CPU tồn tại như một tính toán tổng quát, nhưng GPU có thể được sử dụng như một thiết bị chuyên dụng.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
8 thích
Phần thưởng
8
4
Đăng lại
Chia sẻ
Bình luận
0/400
TokenDustCollector
· 08-13 22:14
Một đợt đồ ngốc chơi đùa với mọi người lại đến rồi.
AI và Tài sản tiền điện tử: Cấu trúc chuỗi ngành mới dưới sự đổi mới công nghệ
AI x Crypto: Từ số không đến đỉnh cao
Giới thiệu
Sự phát triển gần đây của ngành trí tuệ nhân tạo được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình ngôn ngữ lớn đã nâng cao đáng kể hiệu quả trong nhiều ngành, ước tính đã tăng khoảng 20% hiệu quả công việc ở Mỹ. Đồng thời, khả năng tổng quát của các mô hình lớn được coi là một kiểu thiết kế phần mềm mới, so với việc thiết kế mã chính xác trong quá khứ, phần mềm hiện nay nhiều hơn là nhúng khung mô hình lớn tổng quát, từ đó hỗ trợ đầu vào và đầu ra với nhiều phương thức khác nhau. Công nghệ học sâu thực sự đã mang lại một làn sóng thịnh vượng mới cho ngành AI, làn sóng này cũng đã ảnh hưởng đến ngành tiền điện tử.
Trong báo cáo này, chúng tôi sẽ khám phá chi tiết về quá trình phát triển của ngành AI, phân loại công nghệ, cũng như ảnh hưởng của công nghệ học sâu đối với ngành. Sau đó, chúng tôi sẽ phân tích sâu về tình trạng và xu hướng phát triển của các thành phần trong chuỗi công nghiệp như GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên trong học sâu. Cuối cùng, chúng tôi sẽ khám phá bản chất của mối quan hệ giữa ngành Crypto và AI, và hệ thống lại cấu trúc chuỗi công nghiệp AI liên quan đến Crypto.
Lịch sử phát triển của ngành AI
Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau trong bối cảnh các thời đại và ngành khoa học khác nhau.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", với ý tưởng là cho phép máy móc dựa vào dữ liệu để lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất hệ thống. Các bước chính bao gồm đưa dữ liệu vào thuật toán, sử dụng dữ liệu này để huấn luyện mô hình, kiểm tra và triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.
Hiện nay, học máy có ba trường phái chính, đó là chủ nghĩa kết nối, chủ nghĩa ký hiệu và chủ nghĩa hành vi, lần lượt mô phỏng hệ thần kinh, tư duy và hành vi của con người.
Hiện nay, chủ nghĩa liên kết đại diện bởi mạng nơ-ron đang chiếm ưu thế ( cũng được gọi là học sâu ), nguyên nhân chính là vì kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Khi số lượng lớp và số lượng nơ-ron ( và tham số ) đủ lớn, nó có đủ cơ hội để khớp với các nhiệm vụ phức tạp và tổng quát. Qua việc nhập dữ liệu, có thể điều chỉnh liên tục các tham số của nơ-ron, sau nhiều lần dữ liệu, nơ-ron đó sẽ đạt được trạng thái tối ưu ( tham số ), đây cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.
Lấy một ví dụ, có thể hiểu đơn giản là xây dựng một hàm, hàm này khi chúng ta nhập X=2 thì Y=3; X=3 thì Y=5, nếu muốn hàm này ứng phó với tất cả các X, thì cần phải liên tục thêm bậc của hàm này và các tham số của nó, chẳng hạn có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để brute force phát hiện ra Y = X2 -3X +5 là khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Ở đây X2 và X, X0 đại diện cho các nơ-ron khác nhau, trong khi 1, -3, 5 là các tham số của nó.
Nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron tại thời điểm này, chúng ta có thể tăng số lượng nơ-ron và lặp lại các tham số để phù hợp với dữ liệu mới. Bằng cách này, chúng ta có thể phù hợp với tất cả dữ liệu.
Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều lần lặp lại và tiến hóa, bao gồm các mạng nơ-ron đầu tiên, mạng nơ-ron truyền dẫn, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, thêm vào một bộ chuyển đổi ( Transformer ), để mã hóa tất cả các dạng ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, dữ liệu được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa phương thức.
Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên là vào thập niên 60 của thế kỷ 20, sau một thập kỷ từ khi công nghệ AI được đề xuất. Làn sóng này được gây ra bởi sự phát triển của công nghệ chủ nghĩa ký hiệu, công nghệ này giải quyết vấn đề xử lý ngôn ngữ tự nhiên và đối thoại giữa người và máy. Cùng thời điểm này, hệ thống chuyên gia đã ra đời, đó là hệ thống chuyên gia DENRAL được hoàn thành dưới sự giám sát của NASA tại một trường đại học ở Mỹ, hệ thống này có kiến thức hóa học rất mạnh, thông qua việc đặt câu hỏi để suy diễn và tạo ra câu trả lời giống như một chuyên gia hóa học, hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa kho kiến thức hóa học và hệ thống suy diễn.
Sau hệ thống chuyên gia, vào những năm 90, nhà khoa học và triết gia người Mỹ gốc Israel Judea Pearl đã đề xuất mạng Bayes, mạng này còn được gọi là mạng niềm tin. Cùng thời điểm đó, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của chủ nghĩa hành vi.
Năm 1997, một chương trình cờ vua của một công ty công nghệ đã đánh bại nhà vô địch cờ vua Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.
Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn của học sâu là Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đề xuất khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm kiến trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa kết nối.
Nhiều sự kiện mang tính biểu tượng cũng xuất hiện dần dần cùng với sự khám phá và phát triển của công nghệ học sâu, bao gồm:
Năm 2011, một hệ thống trí tuệ nhân tạo đã đánh bại con người và giành chiến thắng trong chương trình quiz "Dangerous Edge".
Năm 2014, Goodfellow đã đề xuất GAN( mạng đối kháng sinh sản), bằng cách cho hai mạng nơ-ron đấu tranh với nhau để học, có thể tạo ra những bức ảnh giống thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách mang tên "Học sâu", trở thành một trong những sách nhập môn quan trọng trong lĩnh vực học sâu.
Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu, ngay lập tức gây ra tiếng vang lớn trong giới học thuật và công nghiệp.
Năm 2015, OpenAI được thành lập, nhận được khoản đầu tư chung 1 tỷ đô la từ nhiều nhà đầu tư nổi tiếng.
Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu với nhà vô địch cờ vây thế giới, kỳ thủ chuyên nghiệp cấp 9 Li Shishi và giành chiến thắng với tổng tỷ số 4-1.
Năm 2017, một công ty công nghệ đã phát triển robot hình người Sophia được cấp quyền công dân, với khả năng biểu đạt nét mặt phong phú và hiểu ngôn ngữ con người.
Năm 2017, Google công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.
Năm 2018, OpenAI phát hành GPT được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.
Năm 2018, DeepMind phát hành AlphaFold dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một bước tiến lớn trong lĩnh vực trí tuệ nhân tạo.
Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.
Năm 2020, GPT-3 được phát triển bởi OpenAI, có 175 tỷ tham số, gấp 100 lần so với phiên bản trước đó là GPT-2, mô hình này sử dụng 570GB văn bản để đào tạo, có thể đạt hiệu suất tiên tiến trong nhiều nhiệm vụ NLP.
Năm 2021, OpenAI phát hành GPT-4, mô hình này có 1,76 triệu tỷ tham số, gấp 10 lần GPT-3.
Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, đạt một trăm triệu người dùng vào tháng 3, trở thành ứng dụng đạt một trăm triệu người dùng nhanh nhất trong lịch sử.
Năm 2024, OpenAI ra mắt GPT-4 omni.
Chuỗi công nghiệp học sâu
Các mô hình ngôn ngữ lớn hiện tại đều sử dụng phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một làn sóng sốt nóng về trí tuệ nhân tạo, nhiều người chơi đã đổ vào lĩnh vực này, và chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường đã bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của thuật toán học sâu, trong ngành AI do thuật toán học sâu dẫn dắt, cấu trúc của nó giữa các bên trên và dưới ra sao, và hiện trạng cũng như mối quan hệ cung cầu của các bên trên và dưới, cũng như sự phát triển trong tương lai sẽ như thế nào.
Đầu tiên, chúng ta cần làm rõ rằng trong quá trình đào tạo mô hình lớn LLMs dựa trên công nghệ Transformer mà dẫn đầu là GPT(, có tổng cộng ba bước.
Trước khi đào tạo, vì nó dựa trên Transformer, do đó bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi chữ Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.
Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào một lượng lớn cặp dữ liệu, tương tự như ví dụ trong phần báo cáo đầu tiên )X,Y(, để tìm các tham số tối ưu cho từng neuron trong mô hình, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tốn kém sức mạnh tính toán nhất, vì phải lặp đi lặp lại các neuron thử nghiệm với các tham số khác nhau. Sau khi hoàn thành việc huấn luyện một lô cặp dữ liệu, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lại nhằm điều chỉnh các tham số.
Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ nhưng chất lượng rất cao để huấn luyện, sự thay đổi như vậy sẽ giúp đầu ra của mô hình có chất lượng cao hơn, vì tiền huấn luyện cần rất nhiều dữ liệu, nhưng nhiều dữ liệu có thể có lỗi hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.
Bước ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình phần thưởng", mục đích của mô hình này rất đơn giản, đó là phân loại kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì tình huống kinh doanh khá chuyên sâu. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy có thể sử dụng một mô hình phần thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (
Nói ngắn gọn, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện yêu cầu một khối lượng dữ liệu rất cao, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, và học tăng cường có thể lặp lại các tham số thông qua một mô hình thưởng để xuất ra kết quả chất lượng cao hơn.
Trong quá trình huấn luyện, càng nhiều tham số thì khả năng tổng quát càng cao, chẳng hạn như trong ví dụ với hàm Y = aX + b, thực tế có hai nơ-ron X và X0, do đó sự thay đổi của các tham số chỉ có thể khớp với một lượng dữ liệu rất hạn chế, vì bản chất vẫn chỉ là một đường thẳng. Nếu số lượng nơ-ron nhiều hơn, thì có thể lặp lại nhiều tham số hơn, từ đó có thể khớp với nhiều dữ liệu hơn, đó là lý do tại sao các mô hình lớn lại tạo ra những điều kỳ diệu, và cũng là lý do tại sao được gọi là mô hình lớn, bản chất là một lượng lớn nơ-ron và tham số, cùng với một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.
Do đó, hiệu suất của mô hình lớn chủ yếu được quyết định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Chúng ba yếu tố này cùng ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n) tính bằng số lượng Token (, thì chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm thông thường, từ đó có thể ước tính tình hình sức mạnh tính toán cần mua và thời gian đào tạo.
Công suất tính toán thường được tính bằng đơn vị Flops, đại diện cho một phép toán số thực, phép toán số thực là một thuật ngữ chung cho phép cộng, trừ, nhân, chia các giá trị không nguyên, chẳng hạn như 2.5 + 3.557, số thực đại diện cho khả năng có dấu thập phân, trong khi FP16 đại diện cho độ chính xác hỗ trợ số thập phân, FP32 là độ chính xác phổ biến hơn. Theo quy tắc thực tiễn, việc tiền huấn luyện )Pre-traning( một lần ) thường sẽ huấn luyện nhiều lần ( mô hình lớn, khoảng cần 6np Flops, 6 được gọi là hằng số ngành. Còn suy luận )Inference, là quá trình chúng ta nhập một dữ liệu và chờ đợi đầu ra từ mô hình lớn (, được chia thành hai phần, nhập n token, xuất n token, vậy tổng cộng cần khoảng 2np Flops.
Trong giai đoạn đầu, việc sử dụng chip CPU để đào tạo và cung cấp sức mạnh tính toán, nhưng sau đó dần dần bắt đầu sử dụng GPU thay thế, chẳng hạn như chip A100, H100 của Nvidia. Bởi vì CPU tồn tại như một tính toán tổng quát, nhưng GPU có thể được sử dụng như một thiết bị chuyên dụng.