Selon un rapport de New Zhiyuan du 13 janvier, les systèmes logiciels et matériels d’AMD peuvent également entraîner de grands modèles de niveau GPT-3.5.
Frontier, le plus grand supercalculateur au monde du laboratoire national d’Oak Ridge, abrite 37 888 GPU MI250X et 9 472 processeurs Epyc7A53. Récemment, des chercheurs ont entraîné un modèle à l’échelle GPT-3.5 en utilisant seulement environ 8 % de ces GPU. Les chercheurs ont utilisé avec succès la plate-forme logicielle ROCM pour surmonter avec succès de nombreuses difficultés des modèles d’entraînement distribués sur le matériel AMD, et ont établi l’algorithme et le cadre d’entraînement distribués les plus avancés pour les grands modèles sur le matériel AMD à l’aide de la plate-forme ROCM.
Fournit avec succès un cadre technique réalisable pour une formation efficace des LLM sur les plates-formes non-NVIDIA et non-CUDA.
Après la formation, les chercheurs ont résumé l’expérience de l’entraînement de grands modèles sur Frontier dans un article détaillant les défis rencontrés et surmontés.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Frontier, le plus grand supercalculateur au monde, utilise 3 072 GPU AMD pour entraîner plus d’un billion de LLM de paramètres
Selon un rapport de New Zhiyuan du 13 janvier, les systèmes logiciels et matériels d’AMD peuvent également entraîner de grands modèles de niveau GPT-3.5.
Frontier, le plus grand supercalculateur au monde du laboratoire national d’Oak Ridge, abrite 37 888 GPU MI250X et 9 472 processeurs Epyc7A53. Récemment, des chercheurs ont entraîné un modèle à l’échelle GPT-3.5 en utilisant seulement environ 8 % de ces GPU. Les chercheurs ont utilisé avec succès la plate-forme logicielle ROCM pour surmonter avec succès de nombreuses difficultés des modèles d’entraînement distribués sur le matériel AMD, et ont établi l’algorithme et le cadre d’entraînement distribués les plus avancés pour les grands modèles sur le matériel AMD à l’aide de la plate-forme ROCM.
Fournit avec succès un cadre technique réalisable pour une formation efficace des LLM sur les plates-formes non-NVIDIA et non-CUDA.
Après la formation, les chercheurs ont résumé l’expérience de l’entraînement de grands modèles sur Frontier dans un article détaillant les défis rencontrés et surmontés.