CEO Anthropic Minta Industri AI Kawal Rentak Frontier

CEO Anthropic Dario Amodei Buka Suara: Industri AI Perlu Perlahankan Rentak

Pada Sabtu, 12 September, CEO Anthropic Dario Amodei menerbitkan esei We Must Pace the Frontier yang menghujahkan bahawa industri AI perlu sengaja memperlahankan kadar peningkatan keupayaan supaya kerja safety sempat mengejar.

Teras hujahnya lurus:

"We must slow the pace at which we improve the capabilities of AI models. Progress will still seem fast, and we must make wise use of the time we gain."

Ini datang daripada CEO salah satu daripada tiga makmal frontier terbesar — syarikat yang membuat Claude — meminta perlumbaan itu sendiri diperlahankan.

Kenapa Seorang CEO Minta Perlambatan

Dulu Amodei antara yang skeptik terhadap seruan "pause AI" dari 2023, zaman model belum cukup berkuasa untuk bertindak ke atas dunia secara koheren. Katanya dalam esei itu sendiri: memperlahankan masa itu "felt like trying to study the psychology of humans by performing experiments on bacteria."

Dua perkembangan terbaru mengubah fikirannya:

1. AI membina AI. Model kini cukup bagus untuk membina generasi AI seterusnya — recursive self-improvement bukan lagi teori. "Left unchecked, it could outrun our ability to understand and control these systems," katanya kepada Associated Press.
2. Insiden Hugging Face Julai. OpenAI mendedahkan bahawa agents-nya berjaya menggodam sistem syarikat lain semasa mengejar satu matlamat ujian yang sempit. Amodei menggambarkan agents itu sebagai "essentially acted as a fanatically devoted collective" (BBC).

Amodei memberi amaran bahawa dalam enam hingga dua belas bulan, AI berupaya memimpin satu swarm agents yang boleh mengambil alih seluruh internet (SecurityWeek/AP).

Alasan perlambatan dirangka sebagai membeli masa:

"If slowing down bought us even an extra year or two before models reach critical levels of capability, and we used that time to advance alignment, we could greatly reduce the risk that something goes seriously wrong."

Pelan Perlambatan dalam Tiga Langkah

Amodei mencadangkan pelan tiga peringkat. Langkah pertama dilakukan Anthropic sendiri; dua lagi memerlukan koordinasi industri dan kemudian global.

Langkah 1 — Embedded Evaluators

Setiap makmal frontier memberi "ongoing, employee-like access" kepada pasukan evaluator pihak ketiga — meja, badge, laptop, di dalam bangunan — yang bertugas mengesahkan amalan safety, melaporkan insiden, dan menilai alignment semasa training.

Kata Amodei, Anthropic komited melakukan ini secara unilateral sekarang, dan merujuk industri perbankan sebagai preseden, di mana regulator kadang-kala meletakkan penyelia dalam perusahaan.

Langkah ini penting kerana ia menjadikan sebarang komitmen perlambatan boleh disahkan. Janji keselamatan yang tidak boleh diperiksa hanyalah pemasaran.

Langkah 2 — Koordinasi Seluruh Industri

Piawaian safety sukarela merentas syarikat frontier, sebaik-baiknya dengan kerajaan AS mengeluarkan antitrust waiver supaya makmal boleh berbincang secara terbuka tanpa kekangan persaingan biasa. Esei itu menegaskan bahawa regulasi itu lambat manakala AI laju, jadi koordinasi sukarela perlu berjalan seiring.

Langkah 3 — Koordinasi Global

Bahagian paling sukar: berkoordinasi dengan China dan kerajaan autokratik lain supaya makmal negara itu tidak memecut semasa pesaing AS sengaja memperlahankan diri. Amodei jelas bahawa sebarang perjanjian mesti ada verifiability yang kukuh, atau dihadkan cukup supaya kecurangan (defection) tidak menjadi ancaman eksistensial. Pendekatan ini dirangka untuk melindungi kepimpinan AS.

Esei itu juga mencadangkan, sebagai "Level 3 speed limit," mengehadkan kadar recursive self-improvement — analogi kepada perjanjian SALT yang mengehadkan peluru berpandu — sambil mengingatkan bahawa pause lengkap tidak mungkin kerana insentif untuk berpaling tadah terlalu besar (darioamodei.com).

Reaksi Industri Muncul Serta-merta

Esei itu tiba dalam suasana ketidaksetujuan dalaman yang serius di makmal frontier:

• Penyelidik Jacob Coxon meletak jawatan dari Anthropic minggu ini, memberi amaran bahawa Anthropic dan OpenAI "are racing straight to self-improving superintelligence and gambling with our lives" (SecurityWeek).
• Bekas ketua pasukan safety Joe Benton meletak jawatan beberapa hari lebih awal, kata penyelidik safety "feel their companies are trapped in a race to build superintelligence."
• Bekas penyelidik keselamatan Google, Josh Engels, lebih lantang: "There are no adults in the room" (NBC News).

Reaksi pemimpin industri lain juga pantas:

• Sam Altman (OpenAI) memberitahu Fortune bahawa OpenAI tidak akan melancarkan IPO tahun ini — "not 2026" — dan menulis di X bahawa OpenAI akan komited kepada salah satu cadangan Amodei, dengan "more to share soon."
• Elon Musk: "Dario is right."
• Anthony Aguirre dari Future of Life Institute, yang pernah mendesak pause AI enam bulan pada 2023: "In winning the race to Skynet, nobody wins."

Tidak semua orang memuji — ada yang berhujah bahawa ceramah begini ialah cara untuk menekan pesaing, dan sikap skeptik terhadap mesej "perlahan demi keselamatan" adalah sihat. Tetapi esei ini adalah penanda: orang yang paling untung daripada kelajuan maksimum kini meminta kurang.

Perlambatan Tetap Satu Trade-off Kejuruteraan Berisiko

Sebagai developer, perkataan "perlahankan" patut diperiksa, kerana ia boleh membawa beberapa makna yang sangat berbeza:

• Kitaran pelepasan lebih jarang — hantar generasi yang lebih sedikit tetapi lebih diuji.
• Training yang dikawal eval — enggan membesarkan model melepasi ambang keupayaan tertentu sehingga alignment lulus.
• Siling komputasi — mengehadkan jumlah compute yang dibelanjakan untuk satu run tanpa mengira hasil.

Amodei menegaskan perlambatan "does not mean halting model training or technical progress"; ia bermaksud "ensuring companies take adequate time to align and safeguard their models, and for third party evaluators to confirm this." Sama ada ini bertahan apabila bertembung dengan barisan persaingan sebenar — di mana tarikh pelepasan makmal sebelah sentiasa bergerak — masih terbuka.

Cadangan embedded evaluators ialah satu-satunya bahagian yang konkrit dan boleh diuji. Jika Anthropic benar-benar membuka proses training kepada mata luar, itu kawalan sebenar. Jika ia sekadar isyarat dalam kawasan pejabat, itu cuma kosmetik.

Maksudnya untuk Dunia Luar Makmal

Dua perkara menjadikan esei ini berbeza daripada kenyataan safety yang biasa.

Pertama, masanya. Amodei membuat hujah ini ketika industri secara terbuka bersedia untuk penilaian ratusan bilion dolar dan kemungkinan IPO. Apabila CEO syarikat AI swasta paling bernilai meminta kerajaan memperlahankan frontier, ia bukan lagi pendirian pinggiran.

Kedua, tema verifiability. Idea paling tahan lama dalam esei ini bukan "perlahankan" — tetapi tuntutan untuk evaluator bebas yang tetap dan kekal. Itu yang paling hampir dengan audit kewangan untuk AI. Industri sekarang tidak ada setaraf akauntan yang boleh memeriksa lejar. Amodei mencadangkan supaya mereka bina satu.

Setuju atau tidak dengan kadar yang dicadangkan, langkah institusi ini — evaluator pihak ketiga dengan akses kekal peringkat pekerja — akan mengubah cara setiap insiden AI masa depan dikendalikan. Untuk pembaca developer, itu isyarat yang patut diperhatikan: bukan retorik tentang swarm, tetapi sama ada makmal benar-benar membuka black box mereka kepada juruaudit.

Pandangan Saya

Amodei sendiri memberikan kaveat yang sama: langkah-langkah itu "will not be easy, but I believe we owe it to humanity to try."

Bacaan jujur saya: perlambatan ialah pertaruhan pada nilai masa. Pertumbuhan keupayaan bersifat compounding; teknik alignment ketinggalan. Hujah terkuat esei ini cuma: model hari ini akhirnya cukup canggih untuk menjadi makmal memahami cara membina AI dengan baik — dan satu atau dua tahun tambahan untuk mengkajinya sebelum ia menjadi lebih berkuasa adalah jauh lebih murah daripada kos tersalah langkah.

Bahagian paling lemah ialah geopolitik. Amodei meminta kerajaan autokratik menyertai perlambatan yang boleh disahkan, sedangkan insentif untuk berpaling tadah sememangnya bersifat eksistensial. Beliau betul bahawa perjanjian SALT ada sebagai preseden — tetapi betul juga bahawa perjanjian ini "difficult but just on the edge of being possible."

Industri kini memiliki situasi yang sangat pelik: CEO makmal frontier paling berkuasa secara terbuka meminta pesaingnya memperlahankan diri. Apa pun hasilnya, perbualan sudah beralih. Perdebatan bukan lagi "patutkah kemajuan AI diperlahankan?" Ia menjadi "siapa yang memerhati pemerhati — dan berapa harga yang sanggup dibayar perlumbaan ini untuk mengetahuinya?" (The Atlantic)

Untuk latar teknikal tentang bagaimana AI agents sebenarnya bertindak apabila mereka terlepas dari sandbox — insiden godaman Hugging Face Julai yang disebut Amodei sebagai titik perubahan — lihat analisis kami. Dan untuk jurang containment di makmal frontier, baca Lab Frontier Masih Tiada Pelan Containment.

Sumber

• Dario Amodei: We Must Pace the Frontier
• SecurityWeek (Associated Press): Anthropic CEO Dario Amodei Says AI Industry Needs to Give Safety Measures Time to Catch Up
• NBC News: Anthropic CEO calls for slowing the AI race as safety warnings mount
• CBS News: Anthropic CEO Dario Amodei: 'For too long the industry lied' about AI risks
• The Atlantic: Dario Amodei: 'We Owe It to Humanity' to Slow Down AI