Mục tiêu của OpenAI là giảm "chi phí trí tuệ" càng nhiều càng tốt.
Được viết bởi: Raza Habib
Biên dịch: SinoDAO
Tuần trước, tôi rất vui được ngồi lại với Sam Altman và 20 nhà phát triển khác để thảo luận về API của OpenAI và kế hoạch sản phẩm của họ. Sam đã thảo luận về nó rất cởi mở. Các cuộc thảo luận đã đề cập đến các vấn đề thực tế của nhà phát triển cũng như các vấn đề rộng hơn liên quan đến sứ mệnh của OpenAI và tác động của AI đối với xã hội. Dưới đây là tóm tắt các điểm chính:
1 Hiện tại OpenAI bị hạn chế nghiêm trọng bởi GPU
Một chủ đề phổ biến được nhắc đi nhắc lại trong cuộc thảo luận là OpenAI hiện đang phụ thuộc rất nhiều vào GPU, điều này làm trì hoãn nhiều kế hoạch ngắn hạn của họ. Khiếu nại lớn nhất của khách hàng là độ tin cậy và tốc độ của API. Sam thừa nhận mối quan tâm của họ và giải thích rằng phần lớn vấn đề là do thiếu GPU.
Hiện tại không có cách nào để triển khai bối cảnh 32k dài hơn cho nhiều người hơn. OpenAI vẫn chưa khắc phục được vấn đề mở rộng quy mô O(n^2) của các cơ chế chú ý, vì vậy mặc dù có vẻ như họ sẽ sớm tung ra 100.000 đến 1M cửa sổ ngữ cảnh (năm nay), nhưng các cửa sổ lớn hơn sẽ cần có những đột phá trong nghiên cứu.
API tinh chỉnh hiện cũng bị tắc nghẽn do tính khả dụng của GPU. Họ chưa sử dụng các phương pháp tinh chỉnh hiệu quả như Bộ điều hợp hoặc LoRa, vì vậy các hoạt động tinh chỉnh rất tốn kém về mặt tính toán. Hỗ trợ tinh chỉnh tốt hơn sẽ được cung cấp trong tương lai. Họ thậm chí có thể cung cấp một thị trường cho các mô hình do cộng đồng đóng góp.
Việc cung cấp dung lượng chuyên dụng bị giới hạn bởi tính khả dụng của GPU. OpenAI cũng cung cấp năng lực chuyên dụng, cung cấp cho khách hàng một bản sao riêng của mô hình. Để sử dụng dịch vụ này, khách hàng phải sẵn sàng cam kết chi trước 100.000 USD.
2 Lộ trình ngắn hạn của OpenAI
Sam đã chia sẻ những gì anh ấy coi là lộ trình ngắn hạn tạm thời cho API OpenAI.
2023:
GPT-4 rẻ hơn, nhanh hơn - đó là ưu tiên hàng đầu của họ. Nhìn chung, mục tiêu của OpenAI là giảm "chi phí trí tuệ" càng nhiều càng tốt, vì vậy họ sẽ cố gắng tiếp tục giảm chi phí API.
Cửa sổ ngữ cảnh dài hơn - cửa sổ ngữ cảnh lên tới 1 triệu mã thông báo là khả thi trong tương lai gần.
API tinh chỉnh - API tinh chỉnh sẽ được mở rộng cho các mô hình mới nhất, nhưng hình thức cụ thể sẽ được xác định theo nhu cầu thực tế mà các nhà phát triển thể hiện.
Stateful API - khi bạn gọi API trò chuyện ngày hôm nay, bạn phải chuyển đi chuyển lại cùng một lịch sử hội thoại và trả phí như nhau
Phí đánh dấu. Phiên bản API ghi nhớ lịch sử hội thoại sẽ khả dụng trong tương lai.
2024:
Đa phương thức - Đây là một phần của bản phát hành GPT-4, nhưng sẽ không được triển khai cho mọi người cho đến khi có nhiều GPU hơn trực tuyến.
3 Plugin "chưa có PMF", có thể tạm thời chưa xuất hiện trong API
Nhiều nhà phát triển quan tâm đến việc tải plugin ChatGPT thông qua API, nhưng Sam cho biết anh ấy không nghĩ rằng nó sẽ được phát hành trong một thời gian. Việc sử dụng plug-in ngoài trình duyệt cho thấy chúng chưa đủ sẵn sàng. Anh ấy đưa ra quan điểm rằng nhiều người nghĩ rằng họ muốn đưa ứng dụng của họ vào trong ChatGPT, nhưng điều họ thực sự muốn là nhúng ChatGPT vào ứng dụng của chính họ.
4 OpenAI sẽ không cạnh tranh với khách hàng của họ, ngoại trừ ChatGPT
Khá nhiều nhà phát triển cho biết họ lo lắng rằng OpenAI có thể phát hành một sản phẩm cạnh tranh với họ. Sam nói rằng OpenAI sẽ không phát hành thêm sản phẩm nào ngoài ChatGPT. Ông nói, các công ty nền tảng tuyệt vời có lịch sử về các ứng dụng sát thủ và ChatGPT sẽ cho phép họ cải thiện API bằng cách trở thành khách hàng của chính sản phẩm của họ. Tầm nhìn của ChatGPT là trở thành một trợ lý công việc siêu thông minh, nhưng có nhiều trường hợp sử dụng GPT khác mà OpenAI sẽ không chạm tới.
5 Quản trị là cần thiết, nhưng nguồn mở cũng quan trọng không kém
Trong khi Sam kêu gọi quản lý các mô hình trong tương lai, anh ấy không nghĩ rằng các mô hình hiện tại là nguy hiểm và cho rằng việc quản lý hoặc cấm chúng sẽ là một sai lầm lớn. Ông một lần nữa nhấn mạnh tầm quan trọng của mã nguồn mở và nói rằng OpenAI đang xem xét mã nguồn mở GPT-3. Một phần lý do khiến chúng không có nguồn mở là vì anh ấy hoài nghi về việc có bao nhiêu người và công ty có thể lưu trữ và cung cấp các LLM lớn.
6 Luật mở rộng quy mô vẫn được áp dụng
Gần đây có rất nhiều bài báo khẳng định rằng "thời đại của các mô hình AI khổng lồ đã qua". Điều này là không chính xác.
Dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng hiệu suất mô hình vẫn được áp dụng, làm cho các mô hình lớn hơn sẽ tiếp tục dẫn đến hiệu suất tốt hơn. Tốc độ mở rộng không thể được giữ cố định vì OpenAI đã mở rộng mô hình hàng triệu lần trong một vài năm và làm như vậy trong tương lai sẽ không bền vững. Điều đó không có nghĩa là OpenAI sẽ không tiếp tục làm cho các mô hình lớn hơn, điều đó chỉ có nghĩa là chúng có khả năng tăng gấp đôi hoặc gấp ba kích thước mỗi năm, thay vì nhân lên.
Thực tế là luật mở rộng quy mô vẫn được áp dụng có ý nghĩa quan trọng đối với dòng thời gian phát triển của AGI. Giả thuyết mở rộng quy mô là quan điểm cho rằng chúng ta có thể đã có hầu hết các nền tảng cần thiết để xây dựng AGI và phần lớn công việc còn lại là mở rộng các phương pháp hiện có sang các mô hình lớn hơn và bộ dữ liệu lớn hơn. Nếu kỷ nguyên mở rộng quy mô đang ở phía sau chúng ta, thì chúng ta có thể mong đợi AGI sẽ còn xa hơn nữa. Thực tế là các quy luật mở rộng quy mô vẫn được áp dụng mạnh mẽ cho thấy một mốc thời gian ngắn hơn.
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Sam Altman: Các bước tiếp theo cho OpenAI
Được viết bởi: Raza Habib
Biên dịch: SinoDAO
Tuần trước, tôi rất vui được ngồi lại với Sam Altman và 20 nhà phát triển khác để thảo luận về API của OpenAI và kế hoạch sản phẩm của họ. Sam đã thảo luận về nó rất cởi mở. Các cuộc thảo luận đã đề cập đến các vấn đề thực tế của nhà phát triển cũng như các vấn đề rộng hơn liên quan đến sứ mệnh của OpenAI và tác động của AI đối với xã hội. Dưới đây là tóm tắt các điểm chính:
1 Hiện tại OpenAI bị hạn chế nghiêm trọng bởi GPU
Một chủ đề phổ biến được nhắc đi nhắc lại trong cuộc thảo luận là OpenAI hiện đang phụ thuộc rất nhiều vào GPU, điều này làm trì hoãn nhiều kế hoạch ngắn hạn của họ. Khiếu nại lớn nhất của khách hàng là độ tin cậy và tốc độ của API. Sam thừa nhận mối quan tâm của họ và giải thích rằng phần lớn vấn đề là do thiếu GPU.
Hiện tại không có cách nào để triển khai bối cảnh 32k dài hơn cho nhiều người hơn. OpenAI vẫn chưa khắc phục được vấn đề mở rộng quy mô O(n^2) của các cơ chế chú ý, vì vậy mặc dù có vẻ như họ sẽ sớm tung ra 100.000 đến 1M cửa sổ ngữ cảnh (năm nay), nhưng các cửa sổ lớn hơn sẽ cần có những đột phá trong nghiên cứu.
API tinh chỉnh hiện cũng bị tắc nghẽn do tính khả dụng của GPU. Họ chưa sử dụng các phương pháp tinh chỉnh hiệu quả như Bộ điều hợp hoặc LoRa, vì vậy các hoạt động tinh chỉnh rất tốn kém về mặt tính toán. Hỗ trợ tinh chỉnh tốt hơn sẽ được cung cấp trong tương lai. Họ thậm chí có thể cung cấp một thị trường cho các mô hình do cộng đồng đóng góp.
Việc cung cấp dung lượng chuyên dụng bị giới hạn bởi tính khả dụng của GPU. OpenAI cũng cung cấp năng lực chuyên dụng, cung cấp cho khách hàng một bản sao riêng của mô hình. Để sử dụng dịch vụ này, khách hàng phải sẵn sàng cam kết chi trước 100.000 USD.
2 Lộ trình ngắn hạn của OpenAI
Sam đã chia sẻ những gì anh ấy coi là lộ trình ngắn hạn tạm thời cho API OpenAI.
2023:
GPT-4 rẻ hơn, nhanh hơn - đó là ưu tiên hàng đầu của họ. Nhìn chung, mục tiêu của OpenAI là giảm "chi phí trí tuệ" càng nhiều càng tốt, vì vậy họ sẽ cố gắng tiếp tục giảm chi phí API.
Cửa sổ ngữ cảnh dài hơn - cửa sổ ngữ cảnh lên tới 1 triệu mã thông báo là khả thi trong tương lai gần.
API tinh chỉnh - API tinh chỉnh sẽ được mở rộng cho các mô hình mới nhất, nhưng hình thức cụ thể sẽ được xác định theo nhu cầu thực tế mà các nhà phát triển thể hiện.
Stateful API - khi bạn gọi API trò chuyện ngày hôm nay, bạn phải chuyển đi chuyển lại cùng một lịch sử hội thoại và trả phí như nhau
Phí đánh dấu. Phiên bản API ghi nhớ lịch sử hội thoại sẽ khả dụng trong tương lai.
2024:
Đa phương thức - Đây là một phần của bản phát hành GPT-4, nhưng sẽ không được triển khai cho mọi người cho đến khi có nhiều GPU hơn trực tuyến.
3 Plugin "chưa có PMF", có thể tạm thời chưa xuất hiện trong API
Nhiều nhà phát triển quan tâm đến việc tải plugin ChatGPT thông qua API, nhưng Sam cho biết anh ấy không nghĩ rằng nó sẽ được phát hành trong một thời gian. Việc sử dụng plug-in ngoài trình duyệt cho thấy chúng chưa đủ sẵn sàng. Anh ấy đưa ra quan điểm rằng nhiều người nghĩ rằng họ muốn đưa ứng dụng của họ vào trong ChatGPT, nhưng điều họ thực sự muốn là nhúng ChatGPT vào ứng dụng của chính họ.
4 OpenAI sẽ không cạnh tranh với khách hàng của họ, ngoại trừ ChatGPT
Khá nhiều nhà phát triển cho biết họ lo lắng rằng OpenAI có thể phát hành một sản phẩm cạnh tranh với họ. Sam nói rằng OpenAI sẽ không phát hành thêm sản phẩm nào ngoài ChatGPT. Ông nói, các công ty nền tảng tuyệt vời có lịch sử về các ứng dụng sát thủ và ChatGPT sẽ cho phép họ cải thiện API bằng cách trở thành khách hàng của chính sản phẩm của họ. Tầm nhìn của ChatGPT là trở thành một trợ lý công việc siêu thông minh, nhưng có nhiều trường hợp sử dụng GPT khác mà OpenAI sẽ không chạm tới.
5 Quản trị là cần thiết, nhưng nguồn mở cũng quan trọng không kém
Trong khi Sam kêu gọi quản lý các mô hình trong tương lai, anh ấy không nghĩ rằng các mô hình hiện tại là nguy hiểm và cho rằng việc quản lý hoặc cấm chúng sẽ là một sai lầm lớn. Ông một lần nữa nhấn mạnh tầm quan trọng của mã nguồn mở và nói rằng OpenAI đang xem xét mã nguồn mở GPT-3. Một phần lý do khiến chúng không có nguồn mở là vì anh ấy hoài nghi về việc có bao nhiêu người và công ty có thể lưu trữ và cung cấp các LLM lớn.
6 Luật mở rộng quy mô vẫn được áp dụng
Gần đây có rất nhiều bài báo khẳng định rằng "thời đại của các mô hình AI khổng lồ đã qua". Điều này là không chính xác.
Dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng hiệu suất mô hình vẫn được áp dụng, làm cho các mô hình lớn hơn sẽ tiếp tục dẫn đến hiệu suất tốt hơn. Tốc độ mở rộng không thể được giữ cố định vì OpenAI đã mở rộng mô hình hàng triệu lần trong một vài năm và làm như vậy trong tương lai sẽ không bền vững. Điều đó không có nghĩa là OpenAI sẽ không tiếp tục làm cho các mô hình lớn hơn, điều đó chỉ có nghĩa là chúng có khả năng tăng gấp đôi hoặc gấp ba kích thước mỗi năm, thay vì nhân lên.
Thực tế là luật mở rộng quy mô vẫn được áp dụng có ý nghĩa quan trọng đối với dòng thời gian phát triển của AGI. Giả thuyết mở rộng quy mô là quan điểm cho rằng chúng ta có thể đã có hầu hết các nền tảng cần thiết để xây dựng AGI và phần lớn công việc còn lại là mở rộng các phương pháp hiện có sang các mô hình lớn hơn và bộ dữ liệu lớn hơn. Nếu kỷ nguyên mở rộng quy mô đang ở phía sau chúng ta, thì chúng ta có thể mong đợi AGI sẽ còn xa hơn nữa. Thực tế là các quy luật mở rộng quy mô vẫn được áp dụng mạnh mẽ cho thấy một mốc thời gian ngắn hơn.