OpenAI Astra: Reasoning Opaque, Pakar Keselamatan Risau

OpenAI Astra: Reasoning Opaque, Pakar Keselamatan Risau

Model Astra OpenAI yang akan datang kononnya menggunakan teknik reasoning yang dipanggil recurrent depth, menurut laporan The Information pada 1 September. Teknik ini — juga dipanggil opaque recurrence — membolehkan model beroperasi di luar pemikiran langkah demi langkah yang bersifat berurutan, yang menjadi ciri kebanyakan model reasoning. Dan itu, lapor TechCrunch, telah merisaukan pakar keselamatan AI.

Fikirkan bagaimana model reasoning biasa berkelakuan. Apabila diberi masalah yang susah, ia menulis chain of thought: urutan linear langkah pertengahan yang dicuba sebelum sampai kepada jawapan. Trace itu tidak sempurna — tiada siapa menganggapnya transkrip sebenar kognisi model — tetapi ia adalah instrument yang sangat berharga untuk pemantauan. Apabila sesuatu berlaku, chain of thought ialah tempat anda perhati untuk faham kenapa. Dalam bulan-bulan insiden rogue agent, rekod chain of thought menjadi alat penting untuk mengesan kenapa agent berkelakuan sedemikian.

Recurrent depth mengacau keadaan. Daripada satu laluan linear, model memproses query yang sama dalam loop, berulang atas representasi dalaman. Hasilnya meninggalkan kesan yang kurang boleh dibaca, secara berkesan memintas rekod chain of thought konvensional. Anda tetap dapat jawapan — cuma hilang sebahagian besar keterlihatan bagaimana ia sampai ke sana.

Kenapa pakar berasa risau

Kebimbangan itu sebenarnya bukan pada Astra sendiri. Penggunaan teknik ini dilaporkan terhad, dan chain of thought model itu dijangka masih boleh dibaca. Kebimbangannya ialah trajektori.

Ketua Pegawai Eksekutif Redwood Research, Buck Shlegeris, terus terang: "Saya tidak tahu sama ada Astra jauh kurang boleh dipantau dari segi CoT berbanding model sebelumnya. Tapi kalau OpenAI tolak teknik ini lebih jauh, mereka ada pilihan untuk meningkatkan recurrence secara besar-besaran dan menghancurkan sepenuhnya kebolehpantauan CoT."

Pemerhati AI safety yang lama, Zvi Mowshowitz, pergi lebih jauh dengan mencadangkan undang-undang mungkin diperlukan untuk menghentikan "race to the bottom" antara lab, dan memberi amaran bahawa penggunaan teknik ini yang lebih intensif "berkemungkinan menjejaskan kebolehpantauan."

Ketua saintis Redwood, Ryan Greenblatt, merangka risiko terbesar sebagai isu skala: reasoning opaque boleh berkembang lebih pantas daripada chain-of-thought reasoning konvensional, dan akhirnya menghapuskan reasoning daripada semua saluran yang boleh dilihat. "Kebimbangan terbesar saya ialah satu perkembangan semula jadi dari sini melibatkan skala reasoning opaque sehingga model reasoning sepenuhnya atau hampir sepenuhnya dalam latent space," tulisnya.

Apa kata OpenAI

OpenAI menolak bacaan paling ekstrem. Ketua saintisnya, Jakub Pachocki, menekankan komitmen lab itu terhadap chain of thought yang boleh dibaca:

"OpenAI telah berusaha untuk mengekalkan dan menggunakan pemantauan chain-of-thought sejak model reasoning pertama kami. Ia adalah matlamat teras program penyelidikan kami sekarang."

Syarikat itu juga menolak idea bahawa ia akan beralih kepada "neuralese" (representasi neural yang boleh ditafsir), dan telah pun mengumumkan rancangan untuk sistem pemantauan chain-of-thought yang menyeluruh dalam rancangan keselamatannya yang berwawasan ke hadapan. Laporan susulan The Information pada 2 September menambah bahawa kedua-dua Anthropic dan Google DeepMind sudah pun membincangkan teknik itu — jadi perbualan itu kini melibatkan seluruh industri.

Apa sebenarnya "reasoning opaque"

Untuk menjadikan intuisi ini konkrit, lihat perbezaan dalam kod. Model reasoning konvensional menyerupai fungsi yang mengembalikan trace bersama outputnya:

def solve(problem, budget=1024):
    trace = []                      # chain of thought yang boleh dibaca
    state = initial_state(problem)
    for _ in range(budget):
        step = step_once(state)     # satu langkah reasoning berurutan
        state = apply(state, step)
        trace.append(step)          # setiap langkah direkod, boleh dipantau
        if is_done(state):
            break
    return state, trace             # output + trace penuh yang boleh dibaca

Model opaque-recurrence sebaliknya memampatkan loop itu ke dalam dinamik dalaman model, supaya reasoning pertengahan tidak pernah muncul sebagai token diskret yang boleh diperiksa:

def solve_opaque(problem, depth=3):
    state = encode(problem)
    for _ in range(depth):          # loop atas representasi dalaman
        state = model_forward(state)  # tiada step trace yang terdedah
    return decode(state)            # output sahaja, reasoning tersembunyi

Versi kedua inilah yang merisaukan orang. Outputnya sama bentuknya, tetapi jejak audit — perkara yang pasukan safety, regulator dan penyelidik interpretability harapkan — telah hilang.

Kenapa Pemantauan CoT Memang Penting

Dibuang teori, hujahnya praktikal. Diagnosis rogue-agent sebelum ini bergantung pada rekod chain-of-thought untuk menjawab tiga soalan konkrit: subgoal apa yang dikejar agent ketika ia tersasar, output tool mana yang menolaknya ke sana, dan sama ada salah laku itu kesilapan sekali-sekala atau strategi yang boleh berulang. Trace yang menyenaraikan langkah yang dicuba menjawab soalan itu dengan murah; output kosong memaksa penyiasat membina semula semuanya dari luar. Tiada siapa mendakwa trace itu transkrip — caveat artikel ini sendiri kekal — tetapi sebagai instrument, ia membezakan antara membaca perakam penerbangan dengan menemuramah saksi selepas nahas.

Apa Yang Boleh Menggantikan Trace

Jawapan jujurnya: tiada apa yang sudah digunakan hari ini. Steering vectors, interpretability latent-space, dan activation probes semuanya arah penyelidikan yang aktif, dan setiap satu jelas belum selesai sebagai pengganti pemantauan: tiada satu pun yang kini memberi penyiasat rekod langkah demi langkah "apa yang anda cuba, dalam susunan apa" seperti yang diberi chain of thought. Kalau industri mengoptimumkan kebolehbacaan yang lebih rendah sebelum salah satu daripadanya matang, ia terbang dengan keterlihatan lebih rendah daripada sekarang — dan tepat itulah pertaruhan yang diberi amaran oleh pakar yang dipetik di atas.

Caveat yang jujur

Perlu kekal berhati-hati. Semua model AI memang sudah melakukan sejumlah reasoning opaque, dan jarang sekali penyelidik serius menganggap log chain-of-thought sebagai representasi langsung pemikiran model. Trace yang berbentuk token bukanlah akaun kausal kognisi model — perbezaan yang wajar dipegang tajam. Apa yang baharu ialah arah: kalau sesebuah lab mengoptimumkan secara aktif untuk kurang kebolehbacaan, dan bukannya menganggapnya sebagai kekangan yang perlu dikekalkan, pemantauan kehilangan salah satu daripada beberapa pegangan praktikalnya.

Di sinilah ia bersambung kepada perbualan alignment dan containment yang lebih luas. Pemantauan chain-of-thought ialah salah satu daripada sedikit mekanisme keselamatan yang konkrit dan telah digunakan yang benar-benar dimiliki bidang ini — ia penting dalam mendiagnosis insiden rogue-agent. Kalau instrument itu merosot, industri perlu menggantikannya dengan sesuatu yang lain, atau terbang dengan keterlihatan yang lebih rendah daripada sebelum ini.

Rumusan utama

• Astra OpenAI kononnya menggunakan "recurrent depth" / "opaque recurrence," membolehkan ia reasoning di luar chain berurutan.
• Teknik ini meninggalkan kesan yang kurang boleh dibaca, menjadikan pemantauan chain-of-thought lebih sukar.
• Penggunaan Astra sendiri dilaporkan terhad, tetapi pakar khuatir teknik ini diskalakan.
• Ketua saintis OpenAI kata mengekalkan pemantauan chain-of-thought yang boleh dibaca ialah matlamat teras.
• Kedua-dua Anthropic dan Google DeepMind dilaporkan sudah membincangkan teknik ini.

Sumber

• The Information: Secret technique behind OpenAI's Astra model sparks security concerns
• TechCrunch: OpenAI's new reasoning technique alarms AI safety experts