“Mitigasi risiko kepunahan AI harus menjadi prioritas global seperti mengelola risiko skala sosial lainnya seperti pandemi dan perang nuklir.”
Ditulis oleh: VickyXiao, Juny
Sumber: Bintang Silikon
Sejak AI generatif menyapu hampir setiap bidang dengan kecepatan yang begitu cepat, ketakutan akan AI yang menantang manusia menjadi semakin nyata.
Terakhir kali, Musk mengeluarkan surat terbuka yang menyerukan penangguhan pelatihan model besar AI selama setengah tahun dan memperkuat pengawasan teknologi AI pada komunitas riset kecerdasan buatan dan pemimpin industri, menyerukan semua laboratorium di seluruh dunia untuk menangguhkan pengembangan model AI yang lebih kuat , dengan masa penangguhan minimal 6 bulan. Tapi ternyata dia benar-benar membeli 10.000 GPU untuk Twitter untuk mempromosikan proyek AI baru, dan kemungkinan besar dia sedang mengembangkan model bahasa besarnya sendiri.
Namun kali ini, surat terbuka lain yang mendesak masyarakat untuk memperhatikan ancaman AI kembali dikeluarkan. Yang lebih mencolok dari yang terakhir kali adalah tiga raksasa saat ini di bidang AI generatif: OpenAI, DeepMind (milik Google), dan Anthropic semuanya telah bergabung dengan mereka.
Pernyataan 22 kata, 350 tanda tangan
Pernyataan yang dikeluarkan oleh Center for AI Safety, sebuah organisasi nirlaba yang berbasis di San Francisco, adalah peringatan baru tentang apa yang mereka yakini sebagai ancaman eksistensial terhadap kemanusiaan yang ditimbulkan oleh AI. Seluruh pernyataan hanya 22 kata — ya, Anda membacanya dengan benar, hanya 22 kata, dan isi lengkapnya adalah sebagai berikut:
**Mitigasi risiko kepunahan AI harus menjadi prioritas global bersamaan dengan mengelola risiko skala sosial lainnya seperti pandemi dan perang nuklir. **
Meskipun teori ancaman AI bukanlah hal baru, ini adalah pertama kalinya secara terbuka dibandingkan dengan faktor krisis seperti "perang nuklir" dan "pandemi" yang membahayakan seluruh umat manusia.
Bagian byline dari pernyataan itu jauh lebih panjang daripada isi pernyataan itu.
Selain Sam Altman, CEO OpenAI, Demis Hassabis, CEO DeepMind, dan Dario Amode, CEO Anthropic, lebih dari 350 peneliti, insinyur, dan pengusaha AI terkemuka juga telah bergabung, termasuk "Tiga Besar AI" yang pernah memenangkan Penghargaan Turing "Dua Geoffrey Hinton dan Yoshua Bengio, tetapi Yann LeCun, yang memenangkan penghargaan bersama mereka dan saat ini menjadi kepala ilmuwan AI Meta, perusahaan induk Facebook, belum menandatangani.
Selain itu, cendekiawan Tiongkok juga muncul dalam daftar, termasuk Zeng Yi, direktur Pusat Penelitian untuk Etika dan Tata Kelola Kecerdasan Buatan di Institut Otomasi Akademi Ilmu Pengetahuan Tiongkok, dan Zhan Xianyuan, seorang profesor di Universitas Tsinghua.
Daftar lengkap tanda tangan dapat dilihat di sini:
Hendrycks, direktur eksekutif Center for AI Security, penerbit pernyataan itu, mengatakan pernyataan itu singkat dan sengaja tidak membahas cara-cara potensial untuk mengurangi ancaman kecerdasan buatan guna menghindari ketidaksepakatan. "Kami tidak ingin mendorong portofolio besar dari 30 intervensi potensial," kata Hendrycks. "Ketika itu terjadi, itu melemahkan pesannya."
Versi surat terbuka Musk yang disempurnakan
Surat terbuka ini dapat dilihat sebagai versi yang disempurnakan dan "bersih" dari surat terbuka Musk awal tahun ini.
Sebelumnya, Musk bergabung dengan lebih dari seribu pemimpin dari industri dan akademisi untuk mengeluarkan pengumuman bersama di situs "Future of Life Institute". Surat terbuka tersebut terutama menyampaikan dua aspek informasi: satu untuk memperingatkan potensi ancaman kecerdasan buatan terhadap masyarakat manusia, dan mensyaratkan penghentian segera pelatihan sistem kecerdasan buatan yang lebih kuat dari GPT-4, dengan rentang waktu paling lama minimal 6 bulan. Kedua, mengajak seluruh bidang kecerdasan buatan dan pembuat kebijakan untuk bersama-sama merancang sistem tata kelola kecerdasan buatan yang komprehensif untuk mengawasi dan meninjau perkembangan teknologi kecerdasan buatan.
Surat itu dikritik pada saat itu di berbagai tingkatan. Bukan hanya karena Musk diekspos sebagai "tidak berbicara tentang seni bela diri", sementara secara terbuka menyerukan penangguhan penelitian AI, dia diam-diam mempromosikan proyek AI baru dan memburu beberapa bakat teknis dari Google dan OpenAI, tetapi juga karena saran dari " menangguhkan pengembangan" tidak Itu tidak layak, dan itu tidak menyelesaikan masalah.
Misalnya, ketika dia memenangkan Penghargaan Turing dengan Yoshua Bengio, Yann LeCun, salah satu dari "Tiga Besar" dalam kecerdasan buatan, menjelaskan pada saat itu bahwa dia tidak setuju dengan sudut pandang surat itu dan tidak menandatanganinya. dia.
Namun, Yann LeCun juga tidak menandatangani surat terbuka yang baru dan lebih ambigu ini.
Wu Enda, seorang cendekiawan terkenal di bidang kecerdasan buatan dan pendiri Landing AI, juga memposting di LinkedIn saat itu bahwa gagasan menangguhkan pelatihan AI selama 6 bulan adalah ide yang buruk dan tidak realistis.
Dia mengatakan bahwa satu-satunya cara untuk benar-benar menangguhkan penelitian industri tentang pelatihan AI adalah intervensi pemerintah, tetapi meminta pemerintah untuk menangguhkan teknologi baru yang tidak mereka pahami adalah anti-persaingan dan jelas bukan solusi yang baik. Dia mengakui bahwa AI yang bertanggung jawab itu penting dan AI memang memiliki risiko, tetapi pendekatan satu ukuran untuk semua tidak disarankan. Yang lebih penting saat ini adalah semua pihak harus berinvestasi lebih banyak di bidang keamanan kecerdasan buatan sambil mengembangkan teknologi AI, dan bekerja sama untuk merumuskan peraturan seputar transparansi dan audit.
Sam Altman bahkan secara langsung menyatakan ketika dia diinterogasi oleh Kongres AS bahwa kerangka seruan Musk salah, dan penangguhan tanggal tidak ada artinya. "Kita jeda enam bulan, lalu apa? Kita jeda enam bulan lagi?" ujarnya.
Tapi seperti Andrew Ng, Sam Altman telah menjadi salah satu pendukung paling vokal untuk peraturan pemerintah yang lebih besar tentang AI.
Dia bahkan membuat rekomendasi peraturan kepada pemerintah AS di persidangan, meminta pemerintah untuk membentuk badan pemerintah baru yang bertanggung jawab mengeluarkan lisensi untuk model AI skala besar.Jika model perusahaan tidak memenuhi standar pemerintah, badan tersebut dapat mencabut lisensi perusahaan tersebut. .
Pekan lalu, dia juga bergabung dengan beberapa eksekutif OpenAI lainnya untuk menyerukan pembentukan organisasi internasional yang mirip dengan Badan Energi Atom Internasional untuk mengatur AI dan menyerukan kerja sama di antara pengembang AI internasional terkemuka.
Suara Lawan
Seperti surat terbuka Musk, yang terbaru ini juga didasarkan pada asumsi bahwa sistem AI akan meningkat pesat, tetapi manusia tidak akan memiliki kendali penuh atas operasi amannya.
Banyak ahli menunjukkan bahwa peningkatan pesat dalam sistem seperti model bahasa besar dapat diprediksi. Begitu sistem AI mencapai tingkat kecanggihan tertentu, manusia mungkin kehilangan kendali atas perilakunya. Toby Ord, seorang sarjana dari Universitas Oxford, mengatakan bahwa sama seperti orang berharap perusahaan tembakau besar akan mengakui bahwa produk mereka akan menyebabkan bahaya kesehatan yang serius lebih awal dan mulai mendiskusikan cara membatasi bahaya ini, para pemimpin AI melakukannya sekarang.
Namun banyak juga yang meragukan prediksi tersebut. Mereka menunjukkan bahwa sistem AI bahkan tidak dapat menangani tugas-tugas yang relatif biasa, seperti mengendarai mobil. Terlepas dari upaya bertahun-tahun dan investasi puluhan miliar dolar di bidang penelitian ini, kendaraan yang sepenuhnya otonom masih jauh dari kenyataan. Jika AI bahkan tidak dapat memenuhi tantangan ini, kata para skeptis, peluang apa yang dimiliki teknologi untuk menjadi ancaman di tahun-tahun mendatang?
Yann LeCun turun ke Twitter untuk menyatakan ketidaksetujuannya terhadap kekhawatiran ini, mengatakan bahwa AI manusia super sama sekali tidak berada di urutan teratas daftar krisis kepunahan manusia - terutama karena itu belum ada. “Sebelum kita dapat merancang AI tingkat anjing (apalagi AI tingkat manusia), terlalu dini untuk membahas cara membuatnya lebih aman.”
Wu Enda lebih optimis dengan AI. Dia mengatakan bahwa di matanya, faktor-faktor yang akan menyebabkan krisis kelangsungan hidup bagi kebanyakan manusia, termasuk epidemi, perubahan iklim, asteroid, dll., AI justru akan menjadi solusi utama dari krisis tersebut. Jika umat manusia ingin bertahan dan berkembang dalam 1.000 tahun ke depan, AI perlu berkembang lebih cepat, bukan lebih lambat.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Tanda tangan bersama dari tiga raksasa! Surat terbuka lainnya tentang "Waspadalah terhadap AI, Pertahankan Kemanusiaan" dikeluarkan
Ditulis oleh: VickyXiao, Juny
Sumber: Bintang Silikon
Sejak AI generatif menyapu hampir setiap bidang dengan kecepatan yang begitu cepat, ketakutan akan AI yang menantang manusia menjadi semakin nyata.
Terakhir kali, Musk mengeluarkan surat terbuka yang menyerukan penangguhan pelatihan model besar AI selama setengah tahun dan memperkuat pengawasan teknologi AI pada komunitas riset kecerdasan buatan dan pemimpin industri, menyerukan semua laboratorium di seluruh dunia untuk menangguhkan pengembangan model AI yang lebih kuat , dengan masa penangguhan minimal 6 bulan. Tapi ternyata dia benar-benar membeli 10.000 GPU untuk Twitter untuk mempromosikan proyek AI baru, dan kemungkinan besar dia sedang mengembangkan model bahasa besarnya sendiri.
Namun kali ini, surat terbuka lain yang mendesak masyarakat untuk memperhatikan ancaman AI kembali dikeluarkan. Yang lebih mencolok dari yang terakhir kali adalah tiga raksasa saat ini di bidang AI generatif: OpenAI, DeepMind (milik Google), dan Anthropic semuanya telah bergabung dengan mereka.
Pernyataan 22 kata, 350 tanda tangan
Pernyataan yang dikeluarkan oleh Center for AI Safety, sebuah organisasi nirlaba yang berbasis di San Francisco, adalah peringatan baru tentang apa yang mereka yakini sebagai ancaman eksistensial terhadap kemanusiaan yang ditimbulkan oleh AI. Seluruh pernyataan hanya 22 kata — ya, Anda membacanya dengan benar, hanya 22 kata, dan isi lengkapnya adalah sebagai berikut:
**Mitigasi risiko kepunahan AI harus menjadi prioritas global bersamaan dengan mengelola risiko skala sosial lainnya seperti pandemi dan perang nuklir. **
Meskipun teori ancaman AI bukanlah hal baru, ini adalah pertama kalinya secara terbuka dibandingkan dengan faktor krisis seperti "perang nuklir" dan "pandemi" yang membahayakan seluruh umat manusia.
Bagian byline dari pernyataan itu jauh lebih panjang daripada isi pernyataan itu.
Selain Sam Altman, CEO OpenAI, Demis Hassabis, CEO DeepMind, dan Dario Amode, CEO Anthropic, lebih dari 350 peneliti, insinyur, dan pengusaha AI terkemuka juga telah bergabung, termasuk "Tiga Besar AI" yang pernah memenangkan Penghargaan Turing "Dua Geoffrey Hinton dan Yoshua Bengio, tetapi Yann LeCun, yang memenangkan penghargaan bersama mereka dan saat ini menjadi kepala ilmuwan AI Meta, perusahaan induk Facebook, belum menandatangani.
Selain itu, cendekiawan Tiongkok juga muncul dalam daftar, termasuk Zeng Yi, direktur Pusat Penelitian untuk Etika dan Tata Kelola Kecerdasan Buatan di Institut Otomasi Akademi Ilmu Pengetahuan Tiongkok, dan Zhan Xianyuan, seorang profesor di Universitas Tsinghua.
Daftar lengkap tanda tangan dapat dilihat di sini:
Hendrycks, direktur eksekutif Center for AI Security, penerbit pernyataan itu, mengatakan pernyataan itu singkat dan sengaja tidak membahas cara-cara potensial untuk mengurangi ancaman kecerdasan buatan guna menghindari ketidaksepakatan. "Kami tidak ingin mendorong portofolio besar dari 30 intervensi potensial," kata Hendrycks. "Ketika itu terjadi, itu melemahkan pesannya."
Versi surat terbuka Musk yang disempurnakan
Surat terbuka ini dapat dilihat sebagai versi yang disempurnakan dan "bersih" dari surat terbuka Musk awal tahun ini.
Sebelumnya, Musk bergabung dengan lebih dari seribu pemimpin dari industri dan akademisi untuk mengeluarkan pengumuman bersama di situs "Future of Life Institute". Surat terbuka tersebut terutama menyampaikan dua aspek informasi: satu untuk memperingatkan potensi ancaman kecerdasan buatan terhadap masyarakat manusia, dan mensyaratkan penghentian segera pelatihan sistem kecerdasan buatan yang lebih kuat dari GPT-4, dengan rentang waktu paling lama minimal 6 bulan. Kedua, mengajak seluruh bidang kecerdasan buatan dan pembuat kebijakan untuk bersama-sama merancang sistem tata kelola kecerdasan buatan yang komprehensif untuk mengawasi dan meninjau perkembangan teknologi kecerdasan buatan.
Surat itu dikritik pada saat itu di berbagai tingkatan. Bukan hanya karena Musk diekspos sebagai "tidak berbicara tentang seni bela diri", sementara secara terbuka menyerukan penangguhan penelitian AI, dia diam-diam mempromosikan proyek AI baru dan memburu beberapa bakat teknis dari Google dan OpenAI, tetapi juga karena saran dari " menangguhkan pengembangan" tidak Itu tidak layak, dan itu tidak menyelesaikan masalah.
Misalnya, ketika dia memenangkan Penghargaan Turing dengan Yoshua Bengio, Yann LeCun, salah satu dari "Tiga Besar" dalam kecerdasan buatan, menjelaskan pada saat itu bahwa dia tidak setuju dengan sudut pandang surat itu dan tidak menandatanganinya. dia.
Namun, Yann LeCun juga tidak menandatangani surat terbuka yang baru dan lebih ambigu ini.
Wu Enda, seorang cendekiawan terkenal di bidang kecerdasan buatan dan pendiri Landing AI, juga memposting di LinkedIn saat itu bahwa gagasan menangguhkan pelatihan AI selama 6 bulan adalah ide yang buruk dan tidak realistis.
Dia mengatakan bahwa satu-satunya cara untuk benar-benar menangguhkan penelitian industri tentang pelatihan AI adalah intervensi pemerintah, tetapi meminta pemerintah untuk menangguhkan teknologi baru yang tidak mereka pahami adalah anti-persaingan dan jelas bukan solusi yang baik. Dia mengakui bahwa AI yang bertanggung jawab itu penting dan AI memang memiliki risiko, tetapi pendekatan satu ukuran untuk semua tidak disarankan. Yang lebih penting saat ini adalah semua pihak harus berinvestasi lebih banyak di bidang keamanan kecerdasan buatan sambil mengembangkan teknologi AI, dan bekerja sama untuk merumuskan peraturan seputar transparansi dan audit.
Sam Altman bahkan secara langsung menyatakan ketika dia diinterogasi oleh Kongres AS bahwa kerangka seruan Musk salah, dan penangguhan tanggal tidak ada artinya. "Kita jeda enam bulan, lalu apa? Kita jeda enam bulan lagi?" ujarnya.
Tapi seperti Andrew Ng, Sam Altman telah menjadi salah satu pendukung paling vokal untuk peraturan pemerintah yang lebih besar tentang AI.
Dia bahkan membuat rekomendasi peraturan kepada pemerintah AS di persidangan, meminta pemerintah untuk membentuk badan pemerintah baru yang bertanggung jawab mengeluarkan lisensi untuk model AI skala besar.Jika model perusahaan tidak memenuhi standar pemerintah, badan tersebut dapat mencabut lisensi perusahaan tersebut. .
Pekan lalu, dia juga bergabung dengan beberapa eksekutif OpenAI lainnya untuk menyerukan pembentukan organisasi internasional yang mirip dengan Badan Energi Atom Internasional untuk mengatur AI dan menyerukan kerja sama di antara pengembang AI internasional terkemuka.
Suara Lawan
Seperti surat terbuka Musk, yang terbaru ini juga didasarkan pada asumsi bahwa sistem AI akan meningkat pesat, tetapi manusia tidak akan memiliki kendali penuh atas operasi amannya.
Banyak ahli menunjukkan bahwa peningkatan pesat dalam sistem seperti model bahasa besar dapat diprediksi. Begitu sistem AI mencapai tingkat kecanggihan tertentu, manusia mungkin kehilangan kendali atas perilakunya. Toby Ord, seorang sarjana dari Universitas Oxford, mengatakan bahwa sama seperti orang berharap perusahaan tembakau besar akan mengakui bahwa produk mereka akan menyebabkan bahaya kesehatan yang serius lebih awal dan mulai mendiskusikan cara membatasi bahaya ini, para pemimpin AI melakukannya sekarang.
Namun banyak juga yang meragukan prediksi tersebut. Mereka menunjukkan bahwa sistem AI bahkan tidak dapat menangani tugas-tugas yang relatif biasa, seperti mengendarai mobil. Terlepas dari upaya bertahun-tahun dan investasi puluhan miliar dolar di bidang penelitian ini, kendaraan yang sepenuhnya otonom masih jauh dari kenyataan. Jika AI bahkan tidak dapat memenuhi tantangan ini, kata para skeptis, peluang apa yang dimiliki teknologi untuk menjadi ancaman di tahun-tahun mendatang?
Yann LeCun turun ke Twitter untuk menyatakan ketidaksetujuannya terhadap kekhawatiran ini, mengatakan bahwa AI manusia super sama sekali tidak berada di urutan teratas daftar krisis kepunahan manusia - terutama karena itu belum ada. “Sebelum kita dapat merancang AI tingkat anjing (apalagi AI tingkat manusia), terlalu dini untuk membahas cara membuatnya lebih aman.”
Wu Enda lebih optimis dengan AI. Dia mengatakan bahwa di matanya, faktor-faktor yang akan menyebabkan krisis kelangsungan hidup bagi kebanyakan manusia, termasuk epidemi, perubahan iklim, asteroid, dll., AI justru akan menjadi solusi utama dari krisis tersebut. Jika umat manusia ingin bertahan dan berkembang dalam 1.000 tahun ke depan, AI perlu berkembang lebih cepat, bukan lebih lambat.