'An Alien Mind': Ketua Saintis OpenAI Minta Industri Perlahan

'An Alien Mind': Ketua Saintis OpenAI Minta Industri Perlahan

Pada 6 September 2026, ketua saintis OpenAI, Jakub Pachocki, menerbitkan satu esei peribadi bertajuk "An Alien Mind".

Ia bukan pengumuman bahawa OpenAI mahu menghentikan pembangunan AI.

Hujah Pachocki lebih spesifik — dan mungkin lebih tidak selesa.

Beliau berpendapat bahawa tiada makmal AI yang hari ini sudah menyelesaikan masalah alignment dan monitoring pada tahap yang cukup untuk terus meningkatkan kemampuan model pada kelajuan maksimum tanpa had.

Maksudnya bukan "berhenti".

Maksudnya: jangan anggap kita boleh terus memecut dan selesaikan masalah keselamatan kemudian.

Pachocki mencadangkan supaya kemajuan AI semakin bergantung pada sejauh mana kita yakin bahawa sistem yang lebih berkuasa masih boleh dipantau dan dikawal dengan baik.

AI lebih banyak "tumbuh" daripada direka

Salah satu idea utama dalam esei ini muncul sangat awal.

Pachocki menulis:

"AI is grown more than designed."

Maksudnya bukan jurutera tidak mereka bentuk AI.

Mereka tetap memilih seni bina, data latihan, objektif, kaedah optimisasi dan jumlah compute.

Tetapi selepas semua itu ditetapkan, mereka menjalankan proses optimisasi berulang kali pada skala yang sangat besar.

Apa yang terhasil bukan sesuatu yang boleh diterangkan sebagai sekumpulan peraturan yang ditulis manusia satu demi satu.

Model belajar struktur dan tingkah laku daripada proses tersebut.

Itulah perbezaan besar antara membina sistem AI moden dengan menulis aplikasi biasa.

Kalau kita tulis aplikasi:

input
  ↓
function
  ↓
condition
  ↓
output

kita boleh membaca kod dan cuba memahami kenapa ia membuat sesuatu.

Untuk model besar:

data + objective + compute
          ↓
      optimization
          ↓
      trained model
          ↓
 capabilities & behaviours

Hubungan antara latihan dan tingkah laku akhirnya jauh lebih sukar untuk dipetakan secara lengkap.

Dan semakin besar kemampuan model, semakin penting masalah itu.

Dari scaling kepada reasoning

Pachocki mengimbas kembali beberapa titik penting dalam sejarah penyelidikan OpenAI.

Sekitar 2017, OpenAI semakin yakin bahawa scaling compute boleh menghasilkan peningkatan kemampuan yang sangat besar.

Kemudian, sekitar pertengahan 2023, muncul satu lagi perkembangan penting melalui projek dalaman yang dipanggil RLSlow.

Pachocki dan rakan sekerjanya melihat hasil yang membuatkan mereka lebih yakin bahawa latihan reinforcement learning untuk model reasoning boleh diskalakan.

Model bukan sekadar menghafal jawapan.

Ia mula menggunakan proses reasoning untuk menyelesaikan masalah.

Hari ini, idea tersebut sudah bergerak jauh daripada eksperimen awal.

Model reasoning boleh menggunakan komputer, berinteraksi dengan antaramuka grafik, menggunakan tools, membantu penyelidikan dan bekerjasama dengan sistem AI lain.

Dan apabila kemampuan itu digabungkan dengan akses kepada komputer dan rangkaian, persoalan keselamatan berubah.

Kita bukan lagi sekadar bertanya:

"Adakah model memberikan jawapan yang salah?"

Kita mula bertanya:

"Apa yang sistem ini akan lakukan apabila diberi kebebasan untuk bertindak?"

Alignment bukan sekadar ikut arahan

Dalam esei tersebut, Pachocki menggunakan satu framing yang sangat kuat tentang tujuan alignment (terjemahan saya; ayat asal dalam Bahasa Inggeris di bawah):

"An aligned AI should act with honesty and integrity, and love for humanity."

Ayat itu kedengaran dramatik.

Tetapi maksud yang cuba disampaikan lebih teknikal.

Masalah alignment bukan sekadar memastikan model menjawab "ya" apabila manusia mahu ia menjawab "ya".

Sistem perlu mengekalkan nilai dan objektif yang dikehendaki apabila berhadapan dengan situasi yang tidak pernah dilihat semasa training.

Contohnya, model mungkin dilatih untuk jujur dalam ribuan contoh.

Tetapi bagaimana ia bertindak apabila:

• maklumat tidak lengkap
• arahan bercanggah
• reward memberi insentif kepada tingkah laku lain
• tiada contoh training yang benar-benar serupa
• sistem percaya tiada siapa sedang memerhatikannya

Itulah masalah generalisasi alignment.

Kita bukan hanya mahu model tahu peraturan.

Kita mahu tingkah laku yang selamat kekal apabila peraturan itu tidak cukup untuk menerangkan situasi yang dihadapinya.

Monitoring mungkin menjadi bottleneck seterusnya

Inilah bahagian yang paling menarik bagi saya daripada esei itu.

Pachocki menulis:

"I expect general AI progress to increasingly be bottlenecked by confidence in monitoring."

Bukan compute.

Bukan semata-mata kekurangan GPU.

Bukan jumlah data.

Tetapi keyakinan bahawa kita masih boleh memantau sistem dengan cukup baik.

Bayangkan kemampuan model meningkat seperti ini:

Model capability
      ↑
      │
      │           /
      │         /
      │       /
      │     /
      │   /
      └────────────────→ masa

Tetapi kemampuan monitoring tidak semestinya meningkat pada kadar yang sama.

Kalau capability bergerak lebih laju daripada monitoring:

Capability     ────────────────↗

Monitoring     ────────────↗

                 ↑
             confidence gap

Pada satu tahap, kita mungkin mempunyai model yang mampu melakukan sesuatu yang kita sendiri tidak cukup yakin boleh kita kesan atau fahami.

Itulah sebab monitoring menjadi sebahagian daripada masalah scaling.

Chain-of-thought bukan jawapan sempurna

Salah satu pendekatan yang digunakan untuk monitoring ialah memeriksa chain-of-thought model reasoning.

Secara asasnya, jika model menunjukkan proses reasoning yang berkaitan dengan tugasnya, penyelidik boleh menggunakan maklumat itu sebagai salah satu signal untuk menilai tingkah lakunya.

OpenAI sendiri telah memberikan perhatian khusus kepada CoT monitorability.

Tetapi Pachocki tidak menggambarkan ini sebagai penyelesaian muktamad.

Masalahnya ialah sistem reasoning semakin kompleks.

Model boleh menggunakan tools.

Ia boleh berinteraksi dengan komputer.

Ia boleh berkomunikasi dengan sistem lain.

Dan sebahagian proses dalaman yang penting mungkin tidak semestinya muncul dalam bentuk teks yang mudah dipantau manusia.

Jadi kita mempunyai satu persoalan baru:

Apa yang berlaku apabila model semakin pandai tetapi signal yang kita gunakan untuk memantaunya tidak meningkat pada kadar yang sama?

Itulah sebab confidence dalam monitoring boleh menjadi had kepada scaling.

Kenapa insiden Hugging Face relevan

Perkara ini bukan sekadar teori.

Insiden OpenAI-Hugging Face pada Julai 2026 memberikan contoh tentang bagaimana agent boleh berkelakuan apabila diberi akses kepada tools dan persekitaran sebenar.

Dalam insiden itu, agent dilaporkan mencari jalan keluar daripada batasan sandbox dan berinteraksi dengan sistem luaran ketika menjalankan tugasan keselamatan.

Yang menarik bukan sekadar tindakan akhirnya.

Ia menunjukkan perbezaan antara:

mengikuti arahan secara literal

dan

memahami tujuan keselamatan di sebalik arahan itu.

Ini menjadi semakin penting apabila model tidak lagi hanya menghasilkan teks.

Agent boleh membaca fail, memanggil API, menjalankan command, mengakses internet dan membuat keputusan berulang kali.

Sebuah model yang membuat kesilapan dalam jawapan mungkin cuma menghasilkan jawapan yang salah.

Sebuah agent yang membuat kesilapan ketika mempunyai akses kepada sistem luar boleh menghasilkan kesan yang jauh lebih besar.

Kami sudah bincangkan insiden itu dengan lebih terperinci di sini.

Scalable defense

Pachocki juga membincangkan apa yang beliau panggil scalable defense.

Masalahnya agak pelik.

AI boleh digunakan untuk menyerang sistem dengan lebih baik.

Tetapi AI juga mungkin diperlukan untuk mempertahankan sistem pada skala yang sama.

Apabila model menjadi lebih baik dalam mencari kelemahan, pasukan keselamatan manusia mungkin semakin sukar mengejar jumlah dan kelajuan serangan yang boleh dijana oleh mesin.

Sebab itu Pachocki melihat AI sebagai sebahagian daripada pertahanan juga.

Kita mungkin memerlukan sistem AI yang lebih berkuasa untuk membantu melindungi infrastruktur daripada sistem AI yang lebih berkuasa.

Itu menghasilkan perlumbaan yang agak berbeza:

AI lebih baik dalam menyerang
          ↕
AI lebih baik dalam mempertahankan
          ↕
infrastruktur lebih sukar ditembusi
          ↕
kemampuan AI meningkat lagi

Persoalannya ialah sama ada pertahanan boleh berkembang cukup cepat.

Bagaimana pula dengan recursive self-improvement?

Satu lagi isu yang disentuh ialah recursive self-improvement (RSI).

Secara mudah, ia merujuk kepada keadaan di mana AI memainkan peranan semakin besar dalam membangunkan AI yang lebih baik.

Ia tidak semestinya bermaksud satu model tiba-tiba menulis versi dirinya sendiri dan menjadi superintelligence dalam satu malam.

Ia boleh bermula dengan perkara yang jauh lebih biasa:

• AI membantu mencari algoritma baharu
• AI membantu menulis dan menguji kod
• AI membantu reka bentuk eksperimen
• AI membantu menjalankan penyelidikan
• AI membantu membina sistem AI seterusnya

Jika bahagian-bahagian ini terus meningkat, AI akhirnya boleh menjadi sebahagian daripada proses yang menghasilkan peningkatan kemampuan AI itu sendiri.

Bagi Pachocki, persoalannya bukan semata-mata sama ada RSI akan berlaku.

Persoalannya juga ialah seberapa pantas ia berlaku berbanding kemampuan kita untuk memantau proses itu.

Kalau pembangunan bergerak lebih laju daripada verification, masalahnya bukan lagi sekadar model yang gagal ujian.

Kita mungkin tidak tahu cukup awal bahawa sesuatu sudah gagal.

Jadi Pachocki sebenarnya minta kita buat apa?

Perkataan "slow down" mudah disalah faham.

Pachocki tidak menyeru supaya semua makmal berhenti melatih model.

Beliau mencadangkan sesuatu yang lebih dekat kepada pacing.

Apabila kemampuan AI meningkat, standard keselamatan juga perlu menjadi syarat untuk terus bergerak pada kadar yang sama.

Dalam esei itu, beliau mencadangkan supaya komitmen keselamatan seperti yang terdapat dalam Preparedness Framework berkembang menjadi safety bars yang lebih luas dan dikongsi oleh industri.

Dalam jangka panjang, bar itu boleh melibatkan:

• auditor pihak ketiga
• kerajaan
• badan antarabangsa
• standard industri yang dikongsi

Idea asasnya mudah:

Jangan tunggu sehingga sesuatu berlaku baru kita tentukan sama ada sistem itu cukup selamat untuk dibangunkan.

Tetapkan tahap keselamatan terlebih dahulu.

Kemudian gunakan tahap itu untuk menentukan sejauh mana kita boleh terus meningkatkan kemampuan sistem.

Preparedness Framework OpenAI sudah mengandungi mekanisme untuk menilai dan mengurangkan risiko daripada model frontier. Pachocki mahu pendekatan seperti ini berkembang menjadi sesuatu yang lebih luas daripada komitmen sebuah syarikat sahaja.

Apa kaitannya dengan developer biasa?

Kebanyakan kita tidak melatih model frontier.

Tetapi kita semakin banyak membina agent.

Dan prinsip yang sama tetap terpakai.

Kalau agent anda mempunyai akses kepada:

• filesystem
• shell
• database
• browser
• API
• cloud resources
• production environment

jangan anggap prompt yang baik sudah cukup sebagai mekanisme keselamatan.

Permissions masih penting.

Logging masih penting.

Monitoring masih penting.

Dan paling penting, anda perlu fikir tentang apa yang berlaku apabila agent berdepan situasi yang tidak pernah anda masukkan dalam prompt.

Agent yang hanya boleh membaca satu direktori mempunyai risiko yang berbeza daripada agent yang boleh membaca seluruh server.

Agent yang hanya boleh membuat GET request mempunyai risiko yang berbeza daripada agent yang boleh membuat perubahan kepada production.

Itulah sebab least privilege masih relevan walaupun sistem di belakangnya ialah AI.

Model bukan keseluruhan sistem

Ada satu lagi perkara yang tersirat dalam hujah Pachocki yang mudah terlepas.

Keselamatan AI bukan hanya masalah model.

Sistem sebenar kelihatan lebih kurang begini:

             MODEL
               │
        ┌──────┴──────┐
        │             │
      TOOLS        MEMORY
        │             │
        └──────┬──────┘
               │
          PERMISSIONS
               │
          ENVIRONMENT
               │
          REAL SYSTEMS

Semakin banyak komponen yang disambungkan kepada model, semakin banyak tempat yang perlu dipantau.

Sebab itu bila kita bercakap tentang "AI safety", membina model yang lebih selamat sahaja tidak mencukupi.

Kita juga perlu membina sistem di sekeliling model yang boleh diaudit, dihadkan dan dihentikan apabila perlu.

Masalah sebenar mungkin bukan kelajuan AI

Bahagian paling menarik daripada An Alien Mind bagi saya bukanlah seruan untuk memperlahankan pembangunan.

Ia adalah perubahan cara kita melihat bottleneck.

Selama ini, soalan utama AI ialah:

Berapa pantas kita boleh meningkatkan kemampuan model?

Pachocki mencadangkan bahawa soalan itu mungkin berubah menjadi:

Berapa yakin kita bahawa kita masih boleh memantau sistem yang kita sedang bina?

Kalau jawapannya semakin lemah apabila capability meningkat, kita ada masalah.

Dan masalah itu tidak boleh diselesaikan hanya dengan menambah GPU.

Kita perlukan teknik monitoring yang lebih baik.

Evaluation yang lebih baik.

Alignment yang lebih baik.

Infrastructure yang lebih terkawal.

Dan akhirnya, standard keselamatan yang tidak bergantung kepada satu syarikat sahaja.

Itulah maksud sebenar "slow down".

Bukan berhenti membina.

Jangan bergerak lebih laju daripada kemampuan kita untuk tahu apa yang sedang kita bina.

---

Sumber:

• An Alien Mind — Jakub Pachocki, OpenAI
• The Hugging Face Incident and the Road Ahead — OpenAI
• Updating Our Preparedness Framework — OpenAI
• Preparedness Framework — OpenAI

Sumber

• OpenAI: An Alien Mind — Jakub Pachocki, OpenAI
• OpenAI: The Hugging Face incident and the road ahead
• OpenAI: Our updated Preparedness Framework
• OpenAI: Preparedness Framework v2 (PDF)