"Atténuer le risque d'extinction de l'IA devrait être une priorité mondiale, tout comme la gestion d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire."
Écrit par : VickyXiao, Juny
Source : Silicon Stars
Depuis que l'IA générative a balayé presque tous les domaines à un rythme aussi rapide, la peur que l'IA défie les humains est devenue de plus en plus réelle.
La dernière fois, Musk a publié une lettre ouverte appelant à la suspension de la formation des grands modèles d'IA pendant six mois et au renforcement de la supervision de la technologie de l'IA sur la communauté de recherche en intelligence artificielle et les leaders de l'industrie, appelant tous les laboratoires du monde à suspendre le développement de des modèles d'IA plus puissants, avec une période de suspension d'au moins 6 mois. Mais il s'est avéré qu'il a en fait acheté 10 000 GPU pour Twitter afin de promouvoir un tout nouveau projet d'IA, et il est très probable qu'il développe son propre grand modèle de langage.
Mais cette fois, une autre lettre ouverte exhortant les gens à prêter attention à la menace posée par l'IA a de nouveau été publiée. Ce qui est plus frappant que la dernière fois, c'est que les trois géants actuels dans le domaine de l'IA générative : OpenAI, DeepMind (appartenant à Google) et Anthropic les ont tous rejoints.
Déclaration de 22 mots, 350 signatures
La déclaration, publiée par le Center for AI Safety, une organisation à but non lucratif basée à San Francisco, est un nouvel avertissement de ce qu'ils considèrent comme une menace existentielle pour l'humanité posée par l'IA. La déclaration entière ne contient que 22 mots - oui, vous avez bien lu, seulement 22 mots, et le contenu complet est le suivant :
**Atténuer le risque d'extinction de l'IA devrait être une priorité mondiale, tout comme la gestion d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire. **
Bien que la théorie de la menace de l'IA ne soit pas nouvelle, c'est la première fois qu'elle est publiquement comparée à des facteurs de crise tels que la "guerre nucléaire" et la "pandémie" qui mettent en danger toute l'humanité.
La partie byline de la déclaration est beaucoup plus longue que le contenu de la déclaration.
En plus de Sam Altman, PDG d'OpenAI, Demis Hassabis, PDG de DeepMind, et Dario Amode, PDG d'Anthropic, plus de 350 chercheurs, ingénieurs et entrepreneurs de haut niveau en IA ont également rejoint, y compris les "AI Big Three" qui ont déjà remporté le Turing Award "Deux Geoffrey Hinton et Yoshua Bengio, mais Yann LeCun, qui a remporté le prix avec eux et est actuellement le scientifique en chef de l'IA de Meta, la société mère de Facebook, n'a pas encore signé.
En outre, des universitaires chinois figuraient également sur la liste, notamment Zeng Yi, directeur du Centre de recherche sur l'éthique et la gouvernance de l'intelligence artificielle à l'Institut d'automatisation de l'Académie chinoise des sciences, et Zhan Xianyuan, professeur associé à l'Université Tsinghua.
La liste complète des signatures peut être consultée ici :
Hendrycks, directeur exécutif du Center for AI Security, l'éditeur de la déclaration, a déclaré que la déclaration était succincte et n'abordait délibérément aucun moyen potentiel d'atténuer la menace de l'intelligence artificielle afin d'éviter tout désaccord. "Nous ne voulions pas pousser pour un énorme portefeuille de 30 interventions potentielles", a déclaré Hendrycks. "Lorsque cela se produit, cela dilue le message."
Version améliorée de la lettre ouverte de Musk
Cette lettre ouverte peut être considérée comme une version améliorée et "propre" de la lettre ouverte de Musk plus tôt cette année.
Auparavant, Musk s'est joint à plus d'un millier de dirigeants de l'industrie et du monde universitaire pour publier une annonce conjointe sur le site Web du "Future of Life Institute". La lettre ouverte transmet principalement deux aspects de l'information : l'un est d'avertir de la menace potentielle de l'intelligence artificielle pour la société humaine, et exige la suspension immédiate de la formation de tout système d'intelligence artificielle plus puissant que GPT-4, avec une durée d'au moins 6 mois. La seconde est d'appeler l'ensemble du domaine de l'intelligence artificielle et les décideurs politiques à concevoir conjointement un système complet de gouvernance de l'intelligence artificielle pour superviser et examiner le développement de la technologie de l'intelligence artificielle.
La lettre a été critiquée à l'époque à plusieurs niveaux. Non seulement parce que Musk a été exposé comme "ne parlant pas d'arts martiaux", tout en appelant publiquement à la suspension de la recherche sur l'IA, il a secrètement promu un tout nouveau projet d'IA et débauché certains talents techniques de Google et OpenAI, mais aussi parce que la suggestion de " suspendre le développement" ne l'a pas fait. Ce n'est pas faisable et cela ne résout pas le problème.
Par exemple, lorsqu'il a remporté le prix Turing avec Yoshua Bengio, Yann LeCun, l'un des "Big Three" de l'intelligence artificielle, a précisé à l'époque qu'il n'était pas d'accord avec le point de vue de la lettre et n'a pas signé il.
Pourtant, Yann LeCun n'a pas non plus signé cette nouvelle lettre ouverte plus ambiguë.
Wu Enda, un universitaire bien connu dans le domaine de l'intelligence artificielle et fondateur de Landing AI, a également posté sur LinkedIn à l'époque que l'idée de suspendre la formation à l'IA pendant 6 mois est une mauvaise idée et irréaliste.
Il a déclaré que la seule façon de vraiment suspendre la recherche de l'industrie sur la formation en IA est l'intervention du gouvernement, mais demander au gouvernement de suspendre les technologies émergentes qu'il ne comprend pas est anticoncurrentiel et évidemment pas une bonne solution. Il a reconnu que l'IA responsable est importante et que l'IA comporte des risques, mais une approche unique n'est pas recommandée. Ce qui est plus important à l'heure actuelle, c'est que toutes les parties investissent davantage dans le domaine de la sécurité de l'intelligence artificielle tout en développant la technologie de l'IA, et coopèrent pour formuler des réglementations sur la transparence et l'audit.
Sam Altman a même directement déclaré lorsqu'il a été interrogé par le Congrès américain que le cadre de l'appel de Musk était erroné et que la suspension de la date n'avait aucun sens. "On fait une pause de six mois, et alors ? On fait une pause de six mois de plus ?", a-t-il dit.
Mais comme Andrew Ng, Sam Altman a été l'un des plus ardents défenseurs d'une plus grande réglementation gouvernementale de l'IA.
Il a même fait des recommandations réglementaires au gouvernement américain lors de l'audience, demandant au gouvernement de créer une nouvelle agence gouvernementale chargée de délivrer des licences pour les modèles d'IA à grande échelle.Si le modèle d'une entreprise ne répond pas aux normes gouvernementales, l'agence peut révoquer la licence de l'entreprise. .
La semaine dernière, il a également rejoint plusieurs autres dirigeants d'OpenAI pour appeler à la création d'une organisation internationale similaire à l'Agence internationale de l'énergie atomique pour réglementer l'IA et a appelé à la coopération entre les principaux développeurs internationaux d'IA.
Voix de l'adversaire
Comme la lettre ouverte de Musk, cette dernière est également basée sur l'hypothèse que les systèmes d'IA s'amélioreront rapidement, mais que les humains n'auront pas un contrôle total sur leur fonctionnement en toute sécurité.
De nombreux experts soulignent que des améliorations rapides dans des systèmes tels que les grands modèles de langage sont prévisibles. Une fois que les systèmes d'IA atteignent un certain niveau de sophistication, les humains peuvent perdre le contrôle de leur comportement. Toby Ord, un universitaire de l'Université d'Oxford, a déclaré que tout comme les gens espèrent que les grandes compagnies de tabac admettront plus tôt que leurs produits causeront de graves risques pour la santé et commenceront à discuter de la manière de limiter ces risques, les dirigeants de l'IA le font maintenant.
Mais nombreux sont ceux qui doutent de ces prédictions. Ils soulignent que les systèmes d'IA ne peuvent même pas gérer des tâches relativement banales, comme conduire une voiture. Malgré des années d'efforts et des dizaines de milliards de dollars investis dans ce domaine de recherche, les véhicules entièrement autonomes sont encore loin d'être une réalité. Si l'IA ne peut même pas relever ce défi, disent les sceptiques, quelle chance a la technologie de constituer une menace dans les prochaines années ?
Yann LeCun s'est adressé à Twitter pour exprimer sa désapprobation face à cette préoccupation, affirmant que l'IA surhumaine n'est pas du tout en tête de liste de la crise d'extinction humaine – principalement parce qu'elle n'existe pas encore. "Avant de pouvoir concevoir une IA au niveau du chien (sans parler de l'IA au niveau humain), il est complètement prématuré de discuter de la manière de la rendre plus sûre."
Wu Enda est plus optimiste quant à l'IA. Il a déclaré qu'à ses yeux, facteurs qui provoqueraient des crises de survie pour la plupart des êtres humains, notamment les épidémies, le changement climatique, les astéroïdes, etc., l'IA sera plutôt une solution clé à ces crises. Si l'humanité veut survivre et prospérer au cours des 1 000 prochaines années, l'IA doit se développer plus rapidement, et non plus lentement.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Signature conjointe des trois géants ! Une autre lettre ouverte sur "Méfiez-vous de l'IA, défendez l'humanité" a été publiée
Écrit par : VickyXiao, Juny
Source : Silicon Stars
Depuis que l'IA générative a balayé presque tous les domaines à un rythme aussi rapide, la peur que l'IA défie les humains est devenue de plus en plus réelle.
La dernière fois, Musk a publié une lettre ouverte appelant à la suspension de la formation des grands modèles d'IA pendant six mois et au renforcement de la supervision de la technologie de l'IA sur la communauté de recherche en intelligence artificielle et les leaders de l'industrie, appelant tous les laboratoires du monde à suspendre le développement de des modèles d'IA plus puissants, avec une période de suspension d'au moins 6 mois. Mais il s'est avéré qu'il a en fait acheté 10 000 GPU pour Twitter afin de promouvoir un tout nouveau projet d'IA, et il est très probable qu'il développe son propre grand modèle de langage.
Mais cette fois, une autre lettre ouverte exhortant les gens à prêter attention à la menace posée par l'IA a de nouveau été publiée. Ce qui est plus frappant que la dernière fois, c'est que les trois géants actuels dans le domaine de l'IA générative : OpenAI, DeepMind (appartenant à Google) et Anthropic les ont tous rejoints.
Déclaration de 22 mots, 350 signatures
La déclaration, publiée par le Center for AI Safety, une organisation à but non lucratif basée à San Francisco, est un nouvel avertissement de ce qu'ils considèrent comme une menace existentielle pour l'humanité posée par l'IA. La déclaration entière ne contient que 22 mots - oui, vous avez bien lu, seulement 22 mots, et le contenu complet est le suivant :
**Atténuer le risque d'extinction de l'IA devrait être une priorité mondiale, tout comme la gestion d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire. **
Bien que la théorie de la menace de l'IA ne soit pas nouvelle, c'est la première fois qu'elle est publiquement comparée à des facteurs de crise tels que la "guerre nucléaire" et la "pandémie" qui mettent en danger toute l'humanité.
La partie byline de la déclaration est beaucoup plus longue que le contenu de la déclaration.
En plus de Sam Altman, PDG d'OpenAI, Demis Hassabis, PDG de DeepMind, et Dario Amode, PDG d'Anthropic, plus de 350 chercheurs, ingénieurs et entrepreneurs de haut niveau en IA ont également rejoint, y compris les "AI Big Three" qui ont déjà remporté le Turing Award "Deux Geoffrey Hinton et Yoshua Bengio, mais Yann LeCun, qui a remporté le prix avec eux et est actuellement le scientifique en chef de l'IA de Meta, la société mère de Facebook, n'a pas encore signé.
En outre, des universitaires chinois figuraient également sur la liste, notamment Zeng Yi, directeur du Centre de recherche sur l'éthique et la gouvernance de l'intelligence artificielle à l'Institut d'automatisation de l'Académie chinoise des sciences, et Zhan Xianyuan, professeur associé à l'Université Tsinghua.
La liste complète des signatures peut être consultée ici :
Hendrycks, directeur exécutif du Center for AI Security, l'éditeur de la déclaration, a déclaré que la déclaration était succincte et n'abordait délibérément aucun moyen potentiel d'atténuer la menace de l'intelligence artificielle afin d'éviter tout désaccord. "Nous ne voulions pas pousser pour un énorme portefeuille de 30 interventions potentielles", a déclaré Hendrycks. "Lorsque cela se produit, cela dilue le message."
Version améliorée de la lettre ouverte de Musk
Cette lettre ouverte peut être considérée comme une version améliorée et "propre" de la lettre ouverte de Musk plus tôt cette année.
Auparavant, Musk s'est joint à plus d'un millier de dirigeants de l'industrie et du monde universitaire pour publier une annonce conjointe sur le site Web du "Future of Life Institute". La lettre ouverte transmet principalement deux aspects de l'information : l'un est d'avertir de la menace potentielle de l'intelligence artificielle pour la société humaine, et exige la suspension immédiate de la formation de tout système d'intelligence artificielle plus puissant que GPT-4, avec une durée d'au moins 6 mois. La seconde est d'appeler l'ensemble du domaine de l'intelligence artificielle et les décideurs politiques à concevoir conjointement un système complet de gouvernance de l'intelligence artificielle pour superviser et examiner le développement de la technologie de l'intelligence artificielle.
La lettre a été critiquée à l'époque à plusieurs niveaux. Non seulement parce que Musk a été exposé comme "ne parlant pas d'arts martiaux", tout en appelant publiquement à la suspension de la recherche sur l'IA, il a secrètement promu un tout nouveau projet d'IA et débauché certains talents techniques de Google et OpenAI, mais aussi parce que la suggestion de " suspendre le développement" ne l'a pas fait. Ce n'est pas faisable et cela ne résout pas le problème.
Par exemple, lorsqu'il a remporté le prix Turing avec Yoshua Bengio, Yann LeCun, l'un des "Big Three" de l'intelligence artificielle, a précisé à l'époque qu'il n'était pas d'accord avec le point de vue de la lettre et n'a pas signé il.
Pourtant, Yann LeCun n'a pas non plus signé cette nouvelle lettre ouverte plus ambiguë.
Wu Enda, un universitaire bien connu dans le domaine de l'intelligence artificielle et fondateur de Landing AI, a également posté sur LinkedIn à l'époque que l'idée de suspendre la formation à l'IA pendant 6 mois est une mauvaise idée et irréaliste.
Il a déclaré que la seule façon de vraiment suspendre la recherche de l'industrie sur la formation en IA est l'intervention du gouvernement, mais demander au gouvernement de suspendre les technologies émergentes qu'il ne comprend pas est anticoncurrentiel et évidemment pas une bonne solution. Il a reconnu que l'IA responsable est importante et que l'IA comporte des risques, mais une approche unique n'est pas recommandée. Ce qui est plus important à l'heure actuelle, c'est que toutes les parties investissent davantage dans le domaine de la sécurité de l'intelligence artificielle tout en développant la technologie de l'IA, et coopèrent pour formuler des réglementations sur la transparence et l'audit.
Sam Altman a même directement déclaré lorsqu'il a été interrogé par le Congrès américain que le cadre de l'appel de Musk était erroné et que la suspension de la date n'avait aucun sens. "On fait une pause de six mois, et alors ? On fait une pause de six mois de plus ?", a-t-il dit.
Mais comme Andrew Ng, Sam Altman a été l'un des plus ardents défenseurs d'une plus grande réglementation gouvernementale de l'IA.
Il a même fait des recommandations réglementaires au gouvernement américain lors de l'audience, demandant au gouvernement de créer une nouvelle agence gouvernementale chargée de délivrer des licences pour les modèles d'IA à grande échelle.Si le modèle d'une entreprise ne répond pas aux normes gouvernementales, l'agence peut révoquer la licence de l'entreprise. .
La semaine dernière, il a également rejoint plusieurs autres dirigeants d'OpenAI pour appeler à la création d'une organisation internationale similaire à l'Agence internationale de l'énergie atomique pour réglementer l'IA et a appelé à la coopération entre les principaux développeurs internationaux d'IA.
Voix de l'adversaire
Comme la lettre ouverte de Musk, cette dernière est également basée sur l'hypothèse que les systèmes d'IA s'amélioreront rapidement, mais que les humains n'auront pas un contrôle total sur leur fonctionnement en toute sécurité.
De nombreux experts soulignent que des améliorations rapides dans des systèmes tels que les grands modèles de langage sont prévisibles. Une fois que les systèmes d'IA atteignent un certain niveau de sophistication, les humains peuvent perdre le contrôle de leur comportement. Toby Ord, un universitaire de l'Université d'Oxford, a déclaré que tout comme les gens espèrent que les grandes compagnies de tabac admettront plus tôt que leurs produits causeront de graves risques pour la santé et commenceront à discuter de la manière de limiter ces risques, les dirigeants de l'IA le font maintenant.
Mais nombreux sont ceux qui doutent de ces prédictions. Ils soulignent que les systèmes d'IA ne peuvent même pas gérer des tâches relativement banales, comme conduire une voiture. Malgré des années d'efforts et des dizaines de milliards de dollars investis dans ce domaine de recherche, les véhicules entièrement autonomes sont encore loin d'être une réalité. Si l'IA ne peut même pas relever ce défi, disent les sceptiques, quelle chance a la technologie de constituer une menace dans les prochaines années ?
Yann LeCun s'est adressé à Twitter pour exprimer sa désapprobation face à cette préoccupation, affirmant que l'IA surhumaine n'est pas du tout en tête de liste de la crise d'extinction humaine – principalement parce qu'elle n'existe pas encore. "Avant de pouvoir concevoir une IA au niveau du chien (sans parler de l'IA au niveau humain), il est complètement prématuré de discuter de la manière de la rendre plus sûre."
Wu Enda est plus optimiste quant à l'IA. Il a déclaré qu'à ses yeux, facteurs qui provoqueraient des crises de survie pour la plupart des êtres humains, notamment les épidémies, le changement climatique, les astéroïdes, etc., l'IA sera plutôt une solution clé à ces crises. Si l'humanité veut survivre et prospérer au cours des 1 000 prochaines années, l'IA doit se développer plus rapidement, et non plus lentement.