“Mitigar el riesgo de extinción de la IA debería ser una prioridad mundial, al igual que la gestión de otros riesgos a escala social, como las pandemias y la guerra nuclear”.
Escrito por: VickyXiao, Juny
Fuente: Silicon Stars
Desde que la IA generativa se extendió por casi todos los campos a un ritmo tan rápido, el miedo a que la IA desafíe a los humanos se ha vuelto cada vez más real.
La última vez, Musk emitió una carta abierta pidiendo la suspensión del entrenamiento de modelos grandes de IA durante medio año y fortaleciendo la supervisión de la tecnología de IA en la comunidad de investigación de inteligencia artificial y los líderes de la industria, pidiendo a todos los laboratorios del mundo que suspendan el desarrollo de modelos de IA más fuertes, con un período de suspensión de al menos 6 meses. Pero resultó que en realidad compró 10 000 GPU para Twitter para promocionar un nuevo proyecto de IA, y es muy probable que esté desarrollando su propio modelo de lenguaje grande.
Pero esta vez, se ha emitido nuevamente otra carta abierta instando a las personas a prestar atención a la amenaza que representa la IA. Lo que llama más la atención que la última vez es que se han unido los tres gigantes actuales en el campo de la IA generativa: OpenAI, DeepMind (de Google) y Anthropic.
Declaración de 22 palabras, 350 firmas
La declaración, emitida por el Center for AI Safety, una organización sin fines de lucro con sede en San Francisco, es una nueva advertencia de lo que creen que es una amenaza existencial para la humanidad que plantea la IA. La declaración completa tiene solo 22 palabras, sí, leyó bien, solo 22 palabras, y el contenido completo es el siguiente:
**Mitigar el riesgo de extinción de la IA debería ser una prioridad mundial junto con la gestión de otros riesgos a escala social, como las pandemias y la guerra nuclear. **
Aunque la teoría de la amenaza de la IA no es nueva, es la primera vez que se compara públicamente con factores de crisis como la "guerra nuclear" y la "pandemia" que ponen en peligro a toda la humanidad.
La parte del pie de autor de la declaración es mucho más larga que el contenido de la declaración.
Además de Sam Altman, director ejecutivo de OpenAI, Demis Hassabis, director ejecutivo de DeepMind, y Dario Amode, director ejecutivo de Anthropic, también se han unido más de 350 investigadores, ingenieros y empresarios de inteligencia artificial, incluidos los "Tres Grandes de IA", que una vez ganaron el Premio Turing "Dos Geoffrey Hinton y Yoshua Bengio, pero Yann LeCun, quien ganó el premio con ellos y actualmente es el científico jefe de inteligencia artificial de Meta, la empresa matriz de Facebook, aún no ha firmado.
Además, académicos chinos también aparecieron en la lista, incluido Zeng Yi, director del Centro de Investigación de Ética y Gobernanza de la Inteligencia Artificial en el Instituto de Automatización de la Academia de Ciencias de China, y Zhan Xianyuan, profesor asociado en la Universidad de Tsinghua.
La lista completa de firmas se puede ver aquí:
Hendrycks, director ejecutivo del Center for AI Security, el editor de la declaración, dijo que la declaración fue sucinta y deliberadamente no abordó ninguna forma potencial de mitigar la amenaza de la inteligencia artificial para evitar desacuerdos. "No queríamos impulsar una cartera enorme de 30 intervenciones potenciales", dijo Hendrycks. "Cuando eso sucede, se diluye el mensaje".
Versión mejorada de la carta abierta de Musk
Esta carta abierta puede verse como una "versión limpia" y mejorada de la carta abierta de Musk a principios de este año.
Anteriormente, Musk se unió a más de mil líderes de la industria y la academia para emitir un anuncio conjunto en el sitio web del "Future of Life Institute". La carta abierta transmite principalmente dos aspectos de la información: uno es para advertir sobre la amenaza potencial de la inteligencia artificial para la sociedad humana, y requiere la suspensión inmediata del entrenamiento de cualquier sistema de inteligencia artificial más fuerte que GPT-4, con un lapso de tiempo de al menos menos 6 meses. El segundo es hacer un llamado a todo el campo de la inteligencia artificial y a los formuladores de políticas para que diseñen conjuntamente un sistema integral de gobernanza de inteligencia artificial para supervisar y revisar el desarrollo de la tecnología de inteligencia artificial.
La carta fue criticada en ese momento en múltiples niveles. No solo porque se expuso que Musk "no hablaba de artes marciales", mientras pedía públicamente la suspensión de la investigación de IA, promovió en secreto un nuevo proyecto de IA y se apoderó de algunos talentos técnicos de Google y OpenAI, sino también por la sugerencia de " suspender el desarrollo" no es factible y no resuelve el problema.
Por ejemplo, cuando ganó el Premio Turing con Yoshua Bengio, Yann LeCun, uno de los "Tres Grandes" en inteligencia artificial, dejó claro en su momento que no estaba de acuerdo con el punto de vista de la carta y no firmó. él.
Sin embargo, Yann LeCun tampoco firmó esta nueva y más ambigua carta abierta.
Wu Enda, un conocido académico en el campo de la inteligencia artificial y fundador de Landing AI, también publicó en LinkedIn en ese momento que la idea de suspender el entrenamiento de IA durante 6 meses es una idea mala y poco realista.
Dijo que la única forma de suspender realmente la investigación de la industria sobre capacitación en IA es la intervención del gobierno, pero pedirle al gobierno que suspenda las tecnologías emergentes que no entienden es anticompetitivo y obviamente no es una buena solución. Reconoció que la IA responsable es importante y que la IA tiene riesgos, pero no es aconsejable un enfoque único para todos. Lo que es más importante en la actualidad es que todas las partes deberían invertir más en el campo de la seguridad de la inteligencia artificial mientras desarrollan tecnología de IA y cooperar para formular regulaciones sobre transparencia y auditoría.
Sam Altman incluso declaró directamente cuando fue cuestionado por el Congreso de los EE. UU. que el marco de la llamada de Musk estaba mal y que la suspensión de la fecha no tenía sentido. "Hacemos una pausa de seis meses, ¿entonces qué? ¿Hacemos una pausa de otros seis meses?", dijo.
Pero al igual que Andrew Ng, Sam Altman ha sido uno de los defensores más vocales de una mayor regulación gubernamental de la IA.
Incluso hizo recomendaciones regulatorias al gobierno de EE. UU. en la audiencia, pidiéndole que forme una nueva agencia gubernamental responsable de emitir licencias para modelos de IA a gran escala.Si el modelo de una empresa no cumple con los estándares gubernamentales, la agencia puede revocar la licencia de la empresa. .
La semana pasada, también se unió a varios otros ejecutivos de OpenAI para pedir el establecimiento de una organización internacional similar a la Agencia Internacional de Energía Atómica para regular la IA y pidió la cooperación entre los principales desarrolladores internacionales de IA.
Voz del Oponente
Al igual que la carta abierta de Musk, esta última también se basa en la suposición de que los sistemas de IA mejorarán rápidamente, pero los humanos no tendrán control total sobre su funcionamiento seguro.
Muchos expertos señalan que las mejoras rápidas en sistemas como los grandes modelos de lenguaje son predecibles. Una vez que los sistemas de IA alcanzan cierto nivel de sofisticación, los humanos pueden perder el control sobre su comportamiento. Toby Ord, académico de la Universidad de Oxford, dijo que así como la gente espera que las grandes compañías tabacaleras admitan antes que sus productos causarán graves peligros para la salud y comiencen a discutir cómo limitar estos peligros, los líderes de AI lo están haciendo ahora.
Pero también hay muchos que dudan de estas predicciones. Señalan que los sistemas de IA ni siquiera pueden manejar tareas relativamente mundanas, como conducir un automóvil. A pesar de años de esfuerzo y decenas de miles de millones de dólares invertidos en esta área de investigación, los vehículos totalmente autónomos aún están lejos de ser una realidad. Si la IA ni siquiera puede enfrentar este desafío, dicen los escépticos, ¿qué posibilidades tiene la tecnología de representar una amenaza en los próximos años?
Yann LeCun recurrió a Twitter para expresar su desaprobación por esta preocupación, diciendo que la IA sobrehumana no está en la parte superior de la lista de crisis de extinción humana, principalmente porque aún no existe. "Antes de que podamos diseñar IA a nivel de perro (y mucho menos IA a nivel humano), es completamente prematuro discutir cómo hacerla más segura".
Wu Enda es más optimista sobre la IA. Dijo que, en su opinión, los factores que causarían crisis de supervivencia para la mayoría de los seres humanos, incluidas las epidemias, el cambio climático, los asteroides, etc., en cambio, la IA será una solución clave para estas crisis. Si la humanidad quiere sobrevivir y prosperar en los próximos 1000 años, la IA debe desarrollarse más rápido, no más lento.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
¡Firma conjunta de los tres gigantes! Se emitió otra carta abierta sobre "Cuidado con la IA, Defiende la Humanidad"
Escrito por: VickyXiao, Juny
Fuente: Silicon Stars
Desde que la IA generativa se extendió por casi todos los campos a un ritmo tan rápido, el miedo a que la IA desafíe a los humanos se ha vuelto cada vez más real.
La última vez, Musk emitió una carta abierta pidiendo la suspensión del entrenamiento de modelos grandes de IA durante medio año y fortaleciendo la supervisión de la tecnología de IA en la comunidad de investigación de inteligencia artificial y los líderes de la industria, pidiendo a todos los laboratorios del mundo que suspendan el desarrollo de modelos de IA más fuertes, con un período de suspensión de al menos 6 meses. Pero resultó que en realidad compró 10 000 GPU para Twitter para promocionar un nuevo proyecto de IA, y es muy probable que esté desarrollando su propio modelo de lenguaje grande.
Pero esta vez, se ha emitido nuevamente otra carta abierta instando a las personas a prestar atención a la amenaza que representa la IA. Lo que llama más la atención que la última vez es que se han unido los tres gigantes actuales en el campo de la IA generativa: OpenAI, DeepMind (de Google) y Anthropic.
Declaración de 22 palabras, 350 firmas
La declaración, emitida por el Center for AI Safety, una organización sin fines de lucro con sede en San Francisco, es una nueva advertencia de lo que creen que es una amenaza existencial para la humanidad que plantea la IA. La declaración completa tiene solo 22 palabras, sí, leyó bien, solo 22 palabras, y el contenido completo es el siguiente:
**Mitigar el riesgo de extinción de la IA debería ser una prioridad mundial junto con la gestión de otros riesgos a escala social, como las pandemias y la guerra nuclear. **
Aunque la teoría de la amenaza de la IA no es nueva, es la primera vez que se compara públicamente con factores de crisis como la "guerra nuclear" y la "pandemia" que ponen en peligro a toda la humanidad.
La parte del pie de autor de la declaración es mucho más larga que el contenido de la declaración.
Además de Sam Altman, director ejecutivo de OpenAI, Demis Hassabis, director ejecutivo de DeepMind, y Dario Amode, director ejecutivo de Anthropic, también se han unido más de 350 investigadores, ingenieros y empresarios de inteligencia artificial, incluidos los "Tres Grandes de IA", que una vez ganaron el Premio Turing "Dos Geoffrey Hinton y Yoshua Bengio, pero Yann LeCun, quien ganó el premio con ellos y actualmente es el científico jefe de inteligencia artificial de Meta, la empresa matriz de Facebook, aún no ha firmado.
Además, académicos chinos también aparecieron en la lista, incluido Zeng Yi, director del Centro de Investigación de Ética y Gobernanza de la Inteligencia Artificial en el Instituto de Automatización de la Academia de Ciencias de China, y Zhan Xianyuan, profesor asociado en la Universidad de Tsinghua.
La lista completa de firmas se puede ver aquí:
Hendrycks, director ejecutivo del Center for AI Security, el editor de la declaración, dijo que la declaración fue sucinta y deliberadamente no abordó ninguna forma potencial de mitigar la amenaza de la inteligencia artificial para evitar desacuerdos. "No queríamos impulsar una cartera enorme de 30 intervenciones potenciales", dijo Hendrycks. "Cuando eso sucede, se diluye el mensaje".
Versión mejorada de la carta abierta de Musk
Esta carta abierta puede verse como una "versión limpia" y mejorada de la carta abierta de Musk a principios de este año.
Anteriormente, Musk se unió a más de mil líderes de la industria y la academia para emitir un anuncio conjunto en el sitio web del "Future of Life Institute". La carta abierta transmite principalmente dos aspectos de la información: uno es para advertir sobre la amenaza potencial de la inteligencia artificial para la sociedad humana, y requiere la suspensión inmediata del entrenamiento de cualquier sistema de inteligencia artificial más fuerte que GPT-4, con un lapso de tiempo de al menos menos 6 meses. El segundo es hacer un llamado a todo el campo de la inteligencia artificial y a los formuladores de políticas para que diseñen conjuntamente un sistema integral de gobernanza de inteligencia artificial para supervisar y revisar el desarrollo de la tecnología de inteligencia artificial.
La carta fue criticada en ese momento en múltiples niveles. No solo porque se expuso que Musk "no hablaba de artes marciales", mientras pedía públicamente la suspensión de la investigación de IA, promovió en secreto un nuevo proyecto de IA y se apoderó de algunos talentos técnicos de Google y OpenAI, sino también por la sugerencia de " suspender el desarrollo" no es factible y no resuelve el problema.
Por ejemplo, cuando ganó el Premio Turing con Yoshua Bengio, Yann LeCun, uno de los "Tres Grandes" en inteligencia artificial, dejó claro en su momento que no estaba de acuerdo con el punto de vista de la carta y no firmó. él.
Sin embargo, Yann LeCun tampoco firmó esta nueva y más ambigua carta abierta.
Wu Enda, un conocido académico en el campo de la inteligencia artificial y fundador de Landing AI, también publicó en LinkedIn en ese momento que la idea de suspender el entrenamiento de IA durante 6 meses es una idea mala y poco realista.
Dijo que la única forma de suspender realmente la investigación de la industria sobre capacitación en IA es la intervención del gobierno, pero pedirle al gobierno que suspenda las tecnologías emergentes que no entienden es anticompetitivo y obviamente no es una buena solución. Reconoció que la IA responsable es importante y que la IA tiene riesgos, pero no es aconsejable un enfoque único para todos. Lo que es más importante en la actualidad es que todas las partes deberían invertir más en el campo de la seguridad de la inteligencia artificial mientras desarrollan tecnología de IA y cooperar para formular regulaciones sobre transparencia y auditoría.
Sam Altman incluso declaró directamente cuando fue cuestionado por el Congreso de los EE. UU. que el marco de la llamada de Musk estaba mal y que la suspensión de la fecha no tenía sentido. "Hacemos una pausa de seis meses, ¿entonces qué? ¿Hacemos una pausa de otros seis meses?", dijo.
Pero al igual que Andrew Ng, Sam Altman ha sido uno de los defensores más vocales de una mayor regulación gubernamental de la IA.
Incluso hizo recomendaciones regulatorias al gobierno de EE. UU. en la audiencia, pidiéndole que forme una nueva agencia gubernamental responsable de emitir licencias para modelos de IA a gran escala.Si el modelo de una empresa no cumple con los estándares gubernamentales, la agencia puede revocar la licencia de la empresa. .
La semana pasada, también se unió a varios otros ejecutivos de OpenAI para pedir el establecimiento de una organización internacional similar a la Agencia Internacional de Energía Atómica para regular la IA y pidió la cooperación entre los principales desarrolladores internacionales de IA.
Voz del Oponente
Al igual que la carta abierta de Musk, esta última también se basa en la suposición de que los sistemas de IA mejorarán rápidamente, pero los humanos no tendrán control total sobre su funcionamiento seguro.
Muchos expertos señalan que las mejoras rápidas en sistemas como los grandes modelos de lenguaje son predecibles. Una vez que los sistemas de IA alcanzan cierto nivel de sofisticación, los humanos pueden perder el control sobre su comportamiento. Toby Ord, académico de la Universidad de Oxford, dijo que así como la gente espera que las grandes compañías tabacaleras admitan antes que sus productos causarán graves peligros para la salud y comiencen a discutir cómo limitar estos peligros, los líderes de AI lo están haciendo ahora.
Pero también hay muchos que dudan de estas predicciones. Señalan que los sistemas de IA ni siquiera pueden manejar tareas relativamente mundanas, como conducir un automóvil. A pesar de años de esfuerzo y decenas de miles de millones de dólares invertidos en esta área de investigación, los vehículos totalmente autónomos aún están lejos de ser una realidad. Si la IA ni siquiera puede enfrentar este desafío, dicen los escépticos, ¿qué posibilidades tiene la tecnología de representar una amenaza en los próximos años?
Yann LeCun recurrió a Twitter para expresar su desaprobación por esta preocupación, diciendo que la IA sobrehumana no está en la parte superior de la lista de crisis de extinción humana, principalmente porque aún no existe. "Antes de que podamos diseñar IA a nivel de perro (y mucho menos IA a nivel humano), es completamente prematuro discutir cómo hacerla más segura".
Wu Enda es más optimista sobre la IA. Dijo que, en su opinión, los factores que causarían crisis de supervivencia para la mayoría de los seres humanos, incluidas las epidemias, el cambio climático, los asteroides, etc., en cambio, la IA será una solución clave para estas crisis. Si la humanidad quiere sobrevivir y prosperar en los próximos 1000 años, la IA debe desarrollarse más rápido, no más lento.