Frontier, siêu máy tính lớn nhất thế giới, sử dụng 3.072 GPU AMD để đào tạo hơn một nghìn tỷ LLM tham số

Tin tức theo báo cáo của New Zhiyuan vào ngày 13/1, các hệ thống phần mềm và phần cứng của AMD cũng có thể đào tạo các mẫu lớn cấp GPT-3.5.

Frontier, siêu máy tính lớn nhất thế giới tại Phòng thí nghiệm Quốc gia Oak Ridge, là nơi có 37.888 GPU MI250X và 9.472 CPU Epyc7A53. Gần đây, các nhà nghiên cứu đã đào tạo một mô hình quy mô GPT-3.5 chỉ sử dụng khoảng 8% số GPU đó. Các nhà nghiên cứu đã sử dụng thành công nền tảng phần mềm ROCM để vượt qua thành công nhiều khó khăn của các mô hình đào tạo phân tán trên phần cứng AMD và thiết lập thuật toán và khung đào tạo phân tán tiên tiến nhất cho các mô hình lớn trên phần cứng AMD sử dụng nền tảng ROCM.

Cung cấp thành công một khung kỹ thuật khả thi để đào tạo hiệu quả các LLM trên các nền tảng không phải NVIDIA và không CUDA.

Sau khóa đào tạo, các nhà nghiên cứu đã tóm tắt kinh nghiệm đào tạo các mô hình lớn trên Frontier thành một bài báo chi tiết về những thách thức gặp phải và vượt qua.