L'objectif d'OpenAI est de réduire au maximum le "coût de l'intelligence".
Écrit par : Raza Habib
Compilateur : SinoDAO
La semaine dernière, j'ai eu le plaisir de m'asseoir avec Sam Altman et 20 autres développeurs pour discuter de l'API d'OpenAI et de leurs projets de produits. Sam en a parlé très ouvertement. Les discussions ont porté sur les problèmes pratiques des développeurs ainsi que sur des questions plus larges liées à la mission d'OpenAI et à l'impact de l'IA sur la société. Voici un résumé des points clés :
1 Actuellement, OpenAI est sévèrement limité par le GPU
Un thème commun qui est revenu à plusieurs reprises dans la discussion était qu'OpenAI est actuellement très lié au GPU, ce qui retarde bon nombre de leurs plans à court terme. Les principales plaintes des clients concernent la fiabilité et la rapidité de l'API. Sam a reconnu leur inquiétude et a expliqué qu'une grande partie du problème était due à une pénurie de GPU.
Il n'existe actuellement aucun moyen de déployer le contexte 32k plus long à plus de personnes. OpenAI n'a pas encore surmonté le problème de mise à l'échelle O (n ^ 2) des mécanismes d'attention, donc s'il semble probable qu'ils déploieront bientôt des fenêtres contextuelles de 100 000 à 1 million (cette année), des fenêtres plus grandes nécessiteront des percées dans la recherche.
L'API de réglage fin est actuellement également entravée par la disponibilité du GPU. Ils n'ont pas encore utilisé de méthodes de réglage fin efficaces comme les adaptateurs ou LoRa, de sorte que les opérations de réglage fin sont coûteuses en calcul. Un meilleur support de réglage fin sera fourni à l'avenir. Ils pourraient même offrir un marché pour les modèles contribués par la communauté.
La fourniture de capacité dédiée est limitée par la disponibilité du GPU. OpenAI offre également une capacité dédiée, offrant aux clients une copie privée du modèle. Pour utiliser ce service, les clients doivent être prêts à s'engager à l'avance pour une dépense de 100 000 $.
2 Feuille de route à court terme d'OpenAI
Sam a partagé ce qu'il considère comme une feuille de route provisoire à court terme pour l'API OpenAI.
2023 :
GPT-4 moins cher et plus rapide - c'est leur priorité absolue. En général, l'objectif d'OpenAI est de réduire le "coût de l'intelligence" autant que possible, ils s'efforceront donc de continuer à réduire le coût de l'API.
Des fenêtres de contexte plus longues - des fenêtres de contexte jusqu'à 1 million de jetons sont réalisables dans un avenir proche.
API de réglage fin - L'API de réglage fin sera étendue aux derniers modèles, mais la forme spécifique sera déterminée en fonction des besoins réels exprimés par les développeurs.
API avec état - lorsque vous appelez l'API de chat aujourd'hui, vous devez passer le même historique de conversation encore et encore et payer le même
Frais de majoration. Une version de l'API qui mémorise l'historique des conversations sera disponible à l'avenir.
2024 :
Multimodal - Cela fait partie de la version GPT-4, mais ne sera pas déployé pour tout le monde tant que d'autres GPU ne seront pas en ligne.
3 Le plugin "n'a pas encore de PMF", il se peut qu'il n'apparaisse pas dans l'API pour le moment
De nombreux développeurs souhaitent obtenir le plug-in ChatGPT via l'API, mais Sam a déclaré qu'il ne pensait pas qu'il serait publié avant un certain temps. L'utilisation de plug-ins en plus de la navigation montre qu'ils ne sont pas assez prêts. Il a fait remarquer que beaucoup de gens pensent qu'ils veulent mettre leur application dans ChatGPT, mais ce qu'ils veulent vraiment, c'est intégrer ChatGPT dans leur propre application.
4 OpenAI s'abstiendra de concurrencer ses clients, à l'exception de ChatGPT
De nombreux développeurs ont déclaré qu'ils craignaient qu'OpenAI ne publie un produit qui les concurrencerait. Sam a déclaré qu'OpenAI ne publierait plus de produits en dehors de ChatGPT. Les grandes entreprises de plates-formes ont une histoire d'applications qui tuent, et ChatGPT leur permettra d'améliorer l'API en devenant clients de leurs propres produits, a-t-il déclaré. La vision de ChatGPT est d'être un assistant de travail super intelligent, mais il existe de nombreux autres cas d'utilisation de GPT auxquels OpenAI ne touchera pas.
5 La gouvernance est nécessaire, mais l'open source est tout aussi important
Alors que Sam a appelé à la réglementation des futurs modèles, il ne pense pas que les modèles existants soient dangereux et pense que les réglementer ou les interdire serait une erreur majeure. Il a de nouveau souligné l'importance de l'open source et a déclaré qu'OpenAI envisageait l'open source GPT-3. Une partie de la raison pour laquelle ils n'ont pas été open source est qu'il est sceptique quant au nombre de personnes et d'entreprises capables d'héberger et de fournir de grands LLM.
6 Les lois d'échelle s'appliquent toujours
Il y a eu beaucoup d'articles récemment affirmant que "l'ère des modèles d'IA gigantesques est révolue". Ce n'est pas exact.
Les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle s'appliquent toujours, l'agrandissement des modèles continuera à conduire à de meilleures performances. Le taux de mise à l'échelle ne peut pas être maintenu constant car OpenAI a mis à l'échelle le modèle des millions de fois en quelques années, et le faire à l'avenir ne sera pas durable. Cela ne signifie pas qu'OpenAI ne continuera pas à travailler pour agrandir les modèles, cela signifie simplement qu'ils sont susceptibles de doubler ou de tripler de taille chaque année, plutôt que de se multiplier.
Le fait que les lois de mise à l'échelle s'appliquent toujours a des implications importantes pour le calendrier de développement d'AGI. L'hypothèse de mise à l'échelle est l'idée que nous avons probablement déjà la plupart des fondations nécessaires pour construire l'AGI, et que la majeure partie du travail qui reste consiste à étendre les méthodes existantes à des modèles plus grands et à des ensembles de données plus grands. Si l'ère de la mise à l'échelle est derrière nous, nous pourrions nous attendre à ce qu'AGI soit encore plus loin. Le fait que les lois d'échelle s'appliquent toujours suggère fortement un délai plus court.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Sam Altman : Prochaines étapes pour OpenAI
Écrit par : Raza Habib
Compilateur : SinoDAO
La semaine dernière, j'ai eu le plaisir de m'asseoir avec Sam Altman et 20 autres développeurs pour discuter de l'API d'OpenAI et de leurs projets de produits. Sam en a parlé très ouvertement. Les discussions ont porté sur les problèmes pratiques des développeurs ainsi que sur des questions plus larges liées à la mission d'OpenAI et à l'impact de l'IA sur la société. Voici un résumé des points clés :
1 Actuellement, OpenAI est sévèrement limité par le GPU
Un thème commun qui est revenu à plusieurs reprises dans la discussion était qu'OpenAI est actuellement très lié au GPU, ce qui retarde bon nombre de leurs plans à court terme. Les principales plaintes des clients concernent la fiabilité et la rapidité de l'API. Sam a reconnu leur inquiétude et a expliqué qu'une grande partie du problème était due à une pénurie de GPU.
Il n'existe actuellement aucun moyen de déployer le contexte 32k plus long à plus de personnes. OpenAI n'a pas encore surmonté le problème de mise à l'échelle O (n ^ 2) des mécanismes d'attention, donc s'il semble probable qu'ils déploieront bientôt des fenêtres contextuelles de 100 000 à 1 million (cette année), des fenêtres plus grandes nécessiteront des percées dans la recherche.
L'API de réglage fin est actuellement également entravée par la disponibilité du GPU. Ils n'ont pas encore utilisé de méthodes de réglage fin efficaces comme les adaptateurs ou LoRa, de sorte que les opérations de réglage fin sont coûteuses en calcul. Un meilleur support de réglage fin sera fourni à l'avenir. Ils pourraient même offrir un marché pour les modèles contribués par la communauté.
La fourniture de capacité dédiée est limitée par la disponibilité du GPU. OpenAI offre également une capacité dédiée, offrant aux clients une copie privée du modèle. Pour utiliser ce service, les clients doivent être prêts à s'engager à l'avance pour une dépense de 100 000 $.
2 Feuille de route à court terme d'OpenAI
Sam a partagé ce qu'il considère comme une feuille de route provisoire à court terme pour l'API OpenAI.
2023 :
GPT-4 moins cher et plus rapide - c'est leur priorité absolue. En général, l'objectif d'OpenAI est de réduire le "coût de l'intelligence" autant que possible, ils s'efforceront donc de continuer à réduire le coût de l'API.
Des fenêtres de contexte plus longues - des fenêtres de contexte jusqu'à 1 million de jetons sont réalisables dans un avenir proche.
API de réglage fin - L'API de réglage fin sera étendue aux derniers modèles, mais la forme spécifique sera déterminée en fonction des besoins réels exprimés par les développeurs.
API avec état - lorsque vous appelez l'API de chat aujourd'hui, vous devez passer le même historique de conversation encore et encore et payer le même
Frais de majoration. Une version de l'API qui mémorise l'historique des conversations sera disponible à l'avenir.
2024 :
Multimodal - Cela fait partie de la version GPT-4, mais ne sera pas déployé pour tout le monde tant que d'autres GPU ne seront pas en ligne.
3 Le plugin "n'a pas encore de PMF", il se peut qu'il n'apparaisse pas dans l'API pour le moment
De nombreux développeurs souhaitent obtenir le plug-in ChatGPT via l'API, mais Sam a déclaré qu'il ne pensait pas qu'il serait publié avant un certain temps. L'utilisation de plug-ins en plus de la navigation montre qu'ils ne sont pas assez prêts. Il a fait remarquer que beaucoup de gens pensent qu'ils veulent mettre leur application dans ChatGPT, mais ce qu'ils veulent vraiment, c'est intégrer ChatGPT dans leur propre application.
4 OpenAI s'abstiendra de concurrencer ses clients, à l'exception de ChatGPT
De nombreux développeurs ont déclaré qu'ils craignaient qu'OpenAI ne publie un produit qui les concurrencerait. Sam a déclaré qu'OpenAI ne publierait plus de produits en dehors de ChatGPT. Les grandes entreprises de plates-formes ont une histoire d'applications qui tuent, et ChatGPT leur permettra d'améliorer l'API en devenant clients de leurs propres produits, a-t-il déclaré. La vision de ChatGPT est d'être un assistant de travail super intelligent, mais il existe de nombreux autres cas d'utilisation de GPT auxquels OpenAI ne touchera pas.
5 La gouvernance est nécessaire, mais l'open source est tout aussi important
Alors que Sam a appelé à la réglementation des futurs modèles, il ne pense pas que les modèles existants soient dangereux et pense que les réglementer ou les interdire serait une erreur majeure. Il a de nouveau souligné l'importance de l'open source et a déclaré qu'OpenAI envisageait l'open source GPT-3. Une partie de la raison pour laquelle ils n'ont pas été open source est qu'il est sceptique quant au nombre de personnes et d'entreprises capables d'héberger et de fournir de grands LLM.
6 Les lois d'échelle s'appliquent toujours
Il y a eu beaucoup d'articles récemment affirmant que "l'ère des modèles d'IA gigantesques est révolue". Ce n'est pas exact.
Les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle s'appliquent toujours, l'agrandissement des modèles continuera à conduire à de meilleures performances. Le taux de mise à l'échelle ne peut pas être maintenu constant car OpenAI a mis à l'échelle le modèle des millions de fois en quelques années, et le faire à l'avenir ne sera pas durable. Cela ne signifie pas qu'OpenAI ne continuera pas à travailler pour agrandir les modèles, cela signifie simplement qu'ils sont susceptibles de doubler ou de tripler de taille chaque année, plutôt que de se multiplier.
Le fait que les lois de mise à l'échelle s'appliquent toujours a des implications importantes pour le calendrier de développement d'AGI. L'hypothèse de mise à l'échelle est l'idée que nous avons probablement déjà la plupart des fondations nécessaires pour construire l'AGI, et que la majeure partie du travail qui reste consiste à étendre les méthodes existantes à des modèles plus grands et à des ensembles de données plus grands. Si l'ère de la mise à l'échelle est derrière nous, nous pourrions nous attendre à ce qu'AGI soit encore plus loin. Le fait que les lois d'échelle s'appliquent toujours suggère fortement un délai plus court.