“Mitigar o risco de extinção da IA deve ser uma prioridade global, assim como gerenciar outros riscos em escala social, como pandemias e guerra nuclear.”
Escrito por: VickyXiao, Juny
Fonte: Silicon Stars
Desde que a IA generativa varreu quase todos os campos em um ritmo tão rápido, o medo da IA desafiar os humanos tornou-se cada vez mais real.
Da última vez, Musk emitiu uma carta aberta pedindo a suspensão do treinamento de grandes modelos de IA por meio ano e fortalecendo a supervisão da tecnologia de IA na comunidade de pesquisa de inteligência artificial e líderes do setor, pedindo a todos os laboratórios do mundo que suspendam o desenvolvimento de modelos de IA mais fortes, com um período de suspensão de pelo menos 6 meses. Mas na verdade ele comprou 10.000 GPUs para o Twitter para promover um novo projeto de IA, e é muito provável que ele esteja desenvolvendo seu próprio modelo de linguagem grande.
Mas desta vez, outra carta aberta pedindo às pessoas que prestem atenção à ameaça representada pela IA foi emitida novamente. O que é mais impressionante do que da última vez é que os três gigantes atuais no campo da IA generativa: OpenAI, DeepMind (pertencente ao Google) e Anthropic se juntaram a eles.
Declaração de 22 palavras, 350 assinaturas
A declaração, emitida pelo Center for AI Safety, uma organização sem fins lucrativos com sede em São Francisco, é um novo aviso do que eles acreditam ser uma ameaça existencial à humanidade representada pela IA. A declaração inteira tem apenas 22 palavras - sim, você leu certo, apenas 22 palavras, e o conteúdo completo é o seguinte:
** Mitigar o risco de extinção da IA deve ser uma prioridade global, juntamente com o gerenciamento de outros riscos em escala social, como pandemias e guerra nuclear. **
Embora a teoria da ameaça da IA não seja nova, é a primeira vez que é comparada publicamente com fatores de crise como "guerra nuclear" e "pandemia" que colocam em risco toda a humanidade.
A parte da assinatura da declaração é muito mais longa do que o conteúdo da declaração.
Além de Sam Altman, CEO da OpenAI, Demis Hassabis, CEO da DeepMind e Dario Amode, CEO da Anthropic, mais de 350 pesquisadores, engenheiros e empreendedores de IA também se juntaram, incluindo os "AI Big Three" que já ganharam o Prêmio Turing "Dois Geoffrey Hinton e Yoshua Bengio, mas Yann LeCun, que ganhou o prêmio com eles e atualmente é o principal cientista de IA da Meta, empresa controladora do Facebook, ainda não assinou.
Além disso, estudiosos chineses também apareceram na lista, incluindo Zeng Yi, diretor do Centro de Pesquisa de Ética e Governança de Inteligência Artificial do Instituto de Automação da Academia Chinesa de Ciências, e Zhan Xianyuan, professor associado da Universidade de Tsinghua.
A lista completa de assinaturas pode ser vista aqui:
Hendrycks, diretor executivo do Center for AI Security, o editor da declaração, disse que a declaração foi sucinta e deliberadamente não abordou nenhuma maneira potencial de mitigar a ameaça da inteligência artificial para evitar divergências. "Não queríamos forçar um enorme portfólio de 30 intervenções em potencial", disse Hendrycks. "Quando isso acontece, dilui a mensagem."
Versão aprimorada da carta aberta de Musk
Esta carta aberta pode ser vista como uma “versão limpa” da carta aberta de Musk no início deste ano.
Anteriormente, Musk se juntou a mais de mil líderes da indústria e da academia para emitir um anúncio conjunto no site do "Future of Life Institute". A carta aberta veicula principalmente duas vertentes de informação: uma é para alertar sobre a potencial ameaça da inteligência artificial à sociedade humana, e é exigida a suspensão imediata do treinamento de qualquer sistema de inteligência artificial mais forte que o GPT-4, com prazo de pelo menos 6 meses. A segunda é convocar todo o campo da inteligência artificial e os formuladores de políticas para projetar em conjunto um sistema abrangente de governança de inteligência artificial para supervisionar e revisar o desenvolvimento da tecnologia de inteligência artificial.
A carta foi criticada na época em vários níveis. Não apenas porque Musk foi exposto como "não falando sobre artes marciais", enquanto pedia publicamente a suspensão da pesquisa de IA, ele secretamente promoveu um novo projeto de IA e roubou alguns talentos técnicos do Google e da OpenAI, mas também porque a sugestão de " suspender o desenvolvimento" não é viável e não resolve o problema.
Por exemplo, ao vencer o Prêmio Turing com Yoshua Bengio, Yann LeCun, um dos "Três Grandes" da inteligência artificial, deixou claro na época que não concordava com o ponto de vista da carta e não assinou isto.
No entanto, Yann LeCun também não assinou esta nova e mais ambígua carta aberta.
Wu Enda, um conhecido estudioso da área de inteligência artificial e fundador da Landing AI, também postou no LinkedIn na época que a ideia de suspender o treinamento de IA por 6 meses é uma ideia ruim e irreal.
Ele disse que a única maneira de realmente suspender a pesquisa da indústria sobre treinamento em IA é a intervenção do governo, mas pedir ao governo que suspenda tecnologias emergentes que eles não entendem é anticompetitivo e obviamente não é uma boa solução. Ele reconheceu que a IA responsável é importante e que a IA tem riscos, mas uma abordagem de tamanho único não é aconselhável. O que é mais importante no momento é que todas as partes invistam mais no campo de segurança da inteligência artificial enquanto desenvolvem a tecnologia de IA e cooperem para formular regulamentos sobre transparência e auditoria.
Sam Altman chegou a afirmar diretamente quando foi questionado pelo Congresso dos EUA que o enquadramento da convocação de Musk estava errado e a suspensão da data não fazia sentido. "Fizemos uma pausa de seis meses, e depois? Fazemos uma pausa de mais seis meses?", disse ele.
Mas, como Andrew Ng, Sam Altman tem sido um dos defensores mais veementes de uma maior regulamentação governamental da IA.
Ele até fez recomendações regulatórias ao governo dos EUA na audiência, pedindo ao governo que formasse uma nova agência governamental responsável pela emissão de licenças para modelos de IA em larga escala. Se o modelo de uma empresa não atender aos padrões do governo, a agência pode revogar a licença da empresa .
Na semana passada, ele também se juntou a vários outros executivos da OpenAI para pedir o estabelecimento de uma organização internacional semelhante à Agência Internacional de Energia Atômica para regular a IA e pediu cooperação entre os principais desenvolvedores internacionais de IA.
Voz do oponente
Como a carta aberta de Musk, esta última também se baseia na suposição de que os sistemas de IA melhorarão rapidamente, mas os humanos não terão controle total sobre sua operação segura.
Muitos especialistas apontam que melhorias rápidas em sistemas, como grandes modelos de linguagem, são previsíveis. Quando os sistemas de IA atingem um certo nível de sofisticação, os humanos podem perder o controle sobre seu comportamento. Toby Ord, um estudioso da Universidade de Oxford, disse que, assim como as pessoas esperam que as grandes empresas de tabaco admitam que seus produtos causarão sérios riscos à saúde mais cedo e comecem a discutir como limitar esses riscos, os líderes da IA estão fazendo isso agora.
Mas também há muitos que duvidam dessas previsões. Eles apontam que os sistemas de IA não conseguem nem lidar com tarefas relativamente mundanas, como dirigir um carro. Apesar de anos de esforço e dezenas de bilhões de dólares investidos nessa área de pesquisa, os veículos totalmente autônomos ainda estão longe de ser uma realidade. Se a IA não consegue enfrentar esse desafio, dizem os céticos, que chance a tecnologia tem de representar uma ameaça nos próximos anos?
Yann LeCun foi ao Twitter para expressar sua desaprovação a essa preocupação, dizendo que a IA sobre-humana não está no topo da lista de crises de extinção humana – principalmente porque ainda não existe. “Antes de podermos projetar IA de nível canino (e muito menos IA de nível humano), é completamente prematuro discutir como torná-la mais segura”.
Wu Enda está mais otimista em relação à IA. Ele disse que, a seu ver, fatores que causariam crises de sobrevivência para a maioria dos seres humanos, incluindo epidemias, mudanças climáticas, asteróides etc., a IA será uma solução fundamental para essas crises. Se a humanidade quiser sobreviver e prosperar nos próximos 1.000 anos, a IA precisa se desenvolver mais rápido, não mais devagar.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Assinatura conjunta dos três gigantes! Outra carta aberta sobre "Cuidado com a IA, Defenda a Humanidade" foi emitida
Escrito por: VickyXiao, Juny
Fonte: Silicon Stars
Desde que a IA generativa varreu quase todos os campos em um ritmo tão rápido, o medo da IA desafiar os humanos tornou-se cada vez mais real.
Da última vez, Musk emitiu uma carta aberta pedindo a suspensão do treinamento de grandes modelos de IA por meio ano e fortalecendo a supervisão da tecnologia de IA na comunidade de pesquisa de inteligência artificial e líderes do setor, pedindo a todos os laboratórios do mundo que suspendam o desenvolvimento de modelos de IA mais fortes, com um período de suspensão de pelo menos 6 meses. Mas na verdade ele comprou 10.000 GPUs para o Twitter para promover um novo projeto de IA, e é muito provável que ele esteja desenvolvendo seu próprio modelo de linguagem grande.
Mas desta vez, outra carta aberta pedindo às pessoas que prestem atenção à ameaça representada pela IA foi emitida novamente. O que é mais impressionante do que da última vez é que os três gigantes atuais no campo da IA generativa: OpenAI, DeepMind (pertencente ao Google) e Anthropic se juntaram a eles.
Declaração de 22 palavras, 350 assinaturas
A declaração, emitida pelo Center for AI Safety, uma organização sem fins lucrativos com sede em São Francisco, é um novo aviso do que eles acreditam ser uma ameaça existencial à humanidade representada pela IA. A declaração inteira tem apenas 22 palavras - sim, você leu certo, apenas 22 palavras, e o conteúdo completo é o seguinte:
** Mitigar o risco de extinção da IA deve ser uma prioridade global, juntamente com o gerenciamento de outros riscos em escala social, como pandemias e guerra nuclear. **
Embora a teoria da ameaça da IA não seja nova, é a primeira vez que é comparada publicamente com fatores de crise como "guerra nuclear" e "pandemia" que colocam em risco toda a humanidade.
A parte da assinatura da declaração é muito mais longa do que o conteúdo da declaração.
Além de Sam Altman, CEO da OpenAI, Demis Hassabis, CEO da DeepMind e Dario Amode, CEO da Anthropic, mais de 350 pesquisadores, engenheiros e empreendedores de IA também se juntaram, incluindo os "AI Big Three" que já ganharam o Prêmio Turing "Dois Geoffrey Hinton e Yoshua Bengio, mas Yann LeCun, que ganhou o prêmio com eles e atualmente é o principal cientista de IA da Meta, empresa controladora do Facebook, ainda não assinou.
Além disso, estudiosos chineses também apareceram na lista, incluindo Zeng Yi, diretor do Centro de Pesquisa de Ética e Governança de Inteligência Artificial do Instituto de Automação da Academia Chinesa de Ciências, e Zhan Xianyuan, professor associado da Universidade de Tsinghua.
A lista completa de assinaturas pode ser vista aqui:
Hendrycks, diretor executivo do Center for AI Security, o editor da declaração, disse que a declaração foi sucinta e deliberadamente não abordou nenhuma maneira potencial de mitigar a ameaça da inteligência artificial para evitar divergências. "Não queríamos forçar um enorme portfólio de 30 intervenções em potencial", disse Hendrycks. "Quando isso acontece, dilui a mensagem."
Versão aprimorada da carta aberta de Musk
Esta carta aberta pode ser vista como uma “versão limpa” da carta aberta de Musk no início deste ano.
Anteriormente, Musk se juntou a mais de mil líderes da indústria e da academia para emitir um anúncio conjunto no site do "Future of Life Institute". A carta aberta veicula principalmente duas vertentes de informação: uma é para alertar sobre a potencial ameaça da inteligência artificial à sociedade humana, e é exigida a suspensão imediata do treinamento de qualquer sistema de inteligência artificial mais forte que o GPT-4, com prazo de pelo menos 6 meses. A segunda é convocar todo o campo da inteligência artificial e os formuladores de políticas para projetar em conjunto um sistema abrangente de governança de inteligência artificial para supervisionar e revisar o desenvolvimento da tecnologia de inteligência artificial.
A carta foi criticada na época em vários níveis. Não apenas porque Musk foi exposto como "não falando sobre artes marciais", enquanto pedia publicamente a suspensão da pesquisa de IA, ele secretamente promoveu um novo projeto de IA e roubou alguns talentos técnicos do Google e da OpenAI, mas também porque a sugestão de " suspender o desenvolvimento" não é viável e não resolve o problema.
Por exemplo, ao vencer o Prêmio Turing com Yoshua Bengio, Yann LeCun, um dos "Três Grandes" da inteligência artificial, deixou claro na época que não concordava com o ponto de vista da carta e não assinou isto.
No entanto, Yann LeCun também não assinou esta nova e mais ambígua carta aberta.
Wu Enda, um conhecido estudioso da área de inteligência artificial e fundador da Landing AI, também postou no LinkedIn na época que a ideia de suspender o treinamento de IA por 6 meses é uma ideia ruim e irreal.
Ele disse que a única maneira de realmente suspender a pesquisa da indústria sobre treinamento em IA é a intervenção do governo, mas pedir ao governo que suspenda tecnologias emergentes que eles não entendem é anticompetitivo e obviamente não é uma boa solução. Ele reconheceu que a IA responsável é importante e que a IA tem riscos, mas uma abordagem de tamanho único não é aconselhável. O que é mais importante no momento é que todas as partes invistam mais no campo de segurança da inteligência artificial enquanto desenvolvem a tecnologia de IA e cooperem para formular regulamentos sobre transparência e auditoria.
Sam Altman chegou a afirmar diretamente quando foi questionado pelo Congresso dos EUA que o enquadramento da convocação de Musk estava errado e a suspensão da data não fazia sentido. "Fizemos uma pausa de seis meses, e depois? Fazemos uma pausa de mais seis meses?", disse ele.
Mas, como Andrew Ng, Sam Altman tem sido um dos defensores mais veementes de uma maior regulamentação governamental da IA.
Ele até fez recomendações regulatórias ao governo dos EUA na audiência, pedindo ao governo que formasse uma nova agência governamental responsável pela emissão de licenças para modelos de IA em larga escala. Se o modelo de uma empresa não atender aos padrões do governo, a agência pode revogar a licença da empresa .
Na semana passada, ele também se juntou a vários outros executivos da OpenAI para pedir o estabelecimento de uma organização internacional semelhante à Agência Internacional de Energia Atômica para regular a IA e pediu cooperação entre os principais desenvolvedores internacionais de IA.
Voz do oponente
Como a carta aberta de Musk, esta última também se baseia na suposição de que os sistemas de IA melhorarão rapidamente, mas os humanos não terão controle total sobre sua operação segura.
Muitos especialistas apontam que melhorias rápidas em sistemas, como grandes modelos de linguagem, são previsíveis. Quando os sistemas de IA atingem um certo nível de sofisticação, os humanos podem perder o controle sobre seu comportamento. Toby Ord, um estudioso da Universidade de Oxford, disse que, assim como as pessoas esperam que as grandes empresas de tabaco admitam que seus produtos causarão sérios riscos à saúde mais cedo e comecem a discutir como limitar esses riscos, os líderes da IA estão fazendo isso agora.
Mas também há muitos que duvidam dessas previsões. Eles apontam que os sistemas de IA não conseguem nem lidar com tarefas relativamente mundanas, como dirigir um carro. Apesar de anos de esforço e dezenas de bilhões de dólares investidos nessa área de pesquisa, os veículos totalmente autônomos ainda estão longe de ser uma realidade. Se a IA não consegue enfrentar esse desafio, dizem os céticos, que chance a tecnologia tem de representar uma ameaça nos próximos anos?
Yann LeCun foi ao Twitter para expressar sua desaprovação a essa preocupação, dizendo que a IA sobre-humana não está no topo da lista de crises de extinção humana – principalmente porque ainda não existe. “Antes de podermos projetar IA de nível canino (e muito menos IA de nível humano), é completamente prematuro discutir como torná-la mais segura”.
Wu Enda está mais otimista em relação à IA. Ele disse que, a seu ver, fatores que causariam crises de sobrevivência para a maioria dos seres humanos, incluindo epidemias, mudanças climáticas, asteróides etc., a IA será uma solução fundamental para essas crises. Se a humanidade quiser sobreviver e prosperar nos próximos 1.000 anos, a IA precisa se desenvolver mais rápido, não mais devagar.