OpenAI, Navier–Stokes & Masa Depan Matematik

Awal minggu ini saya menghuraikan penyelesaian Navier–Stokes yang didakwa OpenAI: formalization Lean, kira-kira 10,000 agent, tempoh 88 jam, dan perbezaan antara apa yang OpenAI dakwa berjaya dibuktikan dengan status rasmi masalah itu.

Artikel kali ini bukan tentang matematik itu semata-mata.

Yang lebih menarik ialah apa yang berlaku di sekelilingnya — siapa yang mendapat kredit, bagaimana idea penyelidikan boleh bergerak melalui tools AI, siapa yang mempunyai akses kepada compute pada skala besar, dan apa yang berlaku kepada matematik apabila kerja penyelidikan mula dijalankan seperti operasi industri.

OpenAI berkata sistem dalaman mereka menghasilkan penyelesaian kepada masalah Navier–Stokes menggunakan kira-kira 10,000 agent yang berjalan secara serentak dan mencapai hasil itu dalam sekitar 88 jam.

Pertikaian yang muncul selepas itu menunjukkan bahawa persoalannya bukan lagi sekadar "boleh tak AI buat matematik?"

Soalan yang lebih susah ialah: siapa yang mengawal proses itu, siapa yang mendapat kredit, dan siapa yang mampu mengambil bahagian?

Dua pasukan, masalah yang berkait rapat

Masalah kewujudan dan kelancaran Navier–Stokes ialah salah satu daripada tujuh Millennium Prize Problems yang diperkenalkan oleh Clay Mathematics Institute. Setiap masalah membawa hadiah $1 juta, tetapi menyelesaikan masalah secara rasmi tetap tertakluk kepada proses matematik dan penilaian yang ditetapkan oleh Clay.

Secara ringkas, masalah Navier–Stokes bertanya sama ada penyelesaian licin kepada persamaan Navier–Stokes tiga dimensi boleh kekal licin untuk semua masa, atau sama ada singulariti boleh terbentuk dalam masa terhingga.

Kontroversi terbaru ini sebenarnya bermula sebelum pengumuman OpenAI.

Pada 7 September, ahli matematik NYU Tristan Buckmaster dan Levent Alpöge, yang bekerja di Anthropic tetapi bukan menjalankan projek ini bagi pihak Anthropic, menerbitkan hasil berkaitan finite-time blowup untuk beberapa persamaan bendalir yang berkait rapat.

Ini penting untuk dibezakan.

Hasil Buckmaster–Alpöge bukan penyelesaian kepada masalah Navier–Stokes Clay itu sendiri. Ia berkaitan dengan persamaan lain, termasuk persamaan Euler tak termampat tiga dimensi dengan smooth forcing, serta sistem berkaitan.

Kedua-duanya telah mengusahakan arah penyelidikan itu selama berbulan-bulan dan menggunakan tools AI, termasuk OpenAI Codex dan Claude daripada Anthropic. Pendekatan mereka pula mempunyai kaitan dengan kerja terdahulu oleh Diego Córdoba dan Luis Martínez-Zoroa.

Kemudian, pada hari berikutnya, OpenAI menerbitkan apa yang mereka gambarkan sebagai penyelesaian kepada masalah kewujudan dan kelancaran Navier–Stokes.

Menurut OpenAI, usaha itu bermula pada 1 September selepas penyelidiknya mendengar khabar bahawa terdapat kemajuan terhadap masalah Millennium Prize. Syarikat itu berkata sistem agent mereka menghasilkan hasil Navier–Stokes kira-kira 88 jam selepas agent pertama dilancarkan.

Jarak masa yang sangat dekat antara kedua-dua perkembangan inilah yang mencetuskan pertikaian.

"Kenapa nak musnahkan karier sendiri?"

Pertikaian utama berkisar tentang apa yang berlaku sebelum kedua-dua hasil itu diumumkan kepada umum.

Menurut akaun Buckmaster, beliau menghubungi OpenAI selepas mendapat tahu bahawa syarikat itu mengetahui tentang kemajuan kumpulannya.

Buckmaster mendakwa beliau diberikan beberapa pilihan tentang bagaimana hasil itu boleh diterbitkan. Menurut beliau, salah satu pilihan melibatkan penulisan bersama OpenAI tetapi tanpa Alpöge sebagai pengarang, kerana hubungan Alpöge dengan Anthropic.

Buckmaster juga mendakwa seorang penyelidik OpenAI bertanya kepadanya:

"Why would you ruin your career?"

Beliau kemudian mendakwa menerima jawapan:

"If you don't want me to be nice, then I don't have to be nice."

Ini ialah dakwaan Buckmaster tentang perbualan peribadi, bukan fakta yang telah dibuktikan secara bebas.

Sébastien Bubeck, penyelidik OpenAI yang dinamakan oleh Buckmaster, mempertikaikan akaun itu dan menafikan bahawa beliau pernah meminta Buckmaster membuang Alpöge daripada pengarang bersama.

Jadi untuk bahagian ini, perkara yang boleh kita nyatakan dengan yakin ialah memang wujud pertikaian terbuka mengenai interaksi itu. Butiran setiap perbualan masih bergantung kepada akaun pihak yang terlibat.

Apa yang OpenAI kata berlaku

Versi OpenAI berbeza.

Syarikat itu berkata usaha itu bermula pada 1 September selepas penyelidiknya mendengar khabar bahawa penyelidik lain sedang membuat kemajuan terhadap masalah Millennium Prize.

OpenAI berkata khabar itu datang daripada perbincangan di Twitter.

Dalam penjelasan mereka, OpenAI menyatakan:

"We (the researchers and the agents) did not see any of their work through any means until they released it publicly — in particular, no specific user data was accessed in order to solve this problem."

Ini ialah kenyataan OpenAI mengenai bagaimana penyelidikan itu dijalankan.

Tetapi ada satu lagi ayat yang penting.

OpenAI turut berkata:

"While unlikely, we cannot rule out that de-identified data derived from their usage of our products helped improve our models."

Dua perkara ini perlu dibaca bersama.

OpenAI berkata penyelidik dan agent mereka tidak mengakses data pengguna tertentu untuk menyelesaikan masalah itu. Pada masa yang sama, syarikat itu mengakui mereka tidak boleh menolak sepenuhnya kemungkinan bahawa data yang telah dinyahkenal pasti daripada penggunaan produk mereka pernah menyumbang secara tidak langsung kepada peningkatan model.

Itu bukan bukti bahawa kerja peribadi Buckmaster dan Alpöge digunakan untuk menghasilkan penyelesaian Navier–Stokes.

Tetapi ia menjelaskan kenapa isu data provenance menjadi sebahagian daripada perdebatan.

Matematiknya tetap menarik

Kontroversi ini tidak sepatutnya menyebabkan pencapaian teknikal itu diabaikan.

OpenAI berkata sistem dalaman mereka menghasilkan penyelesaian kepada masalah Navier–Stokes dan hasil itu kemudiannya diformalisasikan dalam Lean.

Lean membolehkan pernyataan matematik yang diformalisasikan diperiksa secara mekanikal. Itu memberikan tahap pengesahan yang jauh lebih kuat daripada sekadar menghasilkan teks yang kelihatan seperti bukti.

OpenAI juga menerangkan bahawa agent mereka bekerja dalam kumpulan, dengan kumpulan berbeza meneroka pendekatan yang berbeza sebelum hasil itu digabungkan dan diperhalusi.

Untuk eksperimen ini, OpenAI melaporkan kira-kira 10,000 agent berjalan serentak.

Mereka berkata hasil Navier–Stokes dicapai pada 5 September, sekitar 88 jam selepas agent pertama dilancarkan. Formalization dan verification dalam Lean mengambil kira-kira 17 jam lagi.

Secara keseluruhan, OpenAI melaporkan kira-kira 300 bilion output token untuk semua masalah yang dicuba. Untuk masalah Navier–Stokes sahaja, mereka melaporkan sekitar 2.7 juta mesej dan kira-kira 130 bilion output token.

Semua angka itu ialah angka yang dilaporkan OpenAI sendiri.

Ia memberi gambaran tentang skala eksperimen, tetapi bukan audit bebas terhadap kos compute atau pengesahan rasmi daripada Clay Mathematics Institute.

Begitu juga dengan hadiah $1 juta.

OpenAI berkata mereka tidak bercadang menuntut hadiah Millennium Prize itu. Jadi kewujudan hasil OpenAI dan formalization Lean yang mereka terangkan adalah perkara berbeza daripada pengiktirafan rasmi melalui proses hadiah Clay.

Masalah compute

Di sinilah cerita ini menjadi lebih besar daripada OpenAI.

Skala pengiraan yang digunakan dalam eksperimen itu berada jauh di luar kemampuan kebanyakan kumpulan penyelidikan matematik biasa.

TechCrunch menganggarkan bahawa jika compute itu dinilai menggunakan kadar Astra semasa, nilainya boleh mencecah sekitar $22.5 juta.

Itu ialah anggaran TechCrunch, bukan jumlah yang OpenAI umumkan sebagai kos sebenar.

Perbezaan itu penting.

Nilai sebenar bukanlah persoalan utama di sini. Yang lebih penting ialah hakikat bahawa eksperimen matematik kini boleh menggunakan compute pada skala yang sangat sukar ditandingi oleh penyelidik individu.

Seorang ahli matematik mungkin menghabiskan berbulan-bulan meneroka satu arah.

Syarikat AI frontier pula boleh menjalankan ribuan agent secara selari, membahagikan masalah kepada banyak laluan, membuang laluan yang gagal dan memperuntukkan lebih banyak compute kepada pendekatan yang nampak menjanjikan.

Itu tidak bermaksud hasil yang dihasilkan oleh mesin automatiknya lebih baik.

Tetapi ia memang mengubah ekonomi penyelidikan matematik.

Bila "research taste" jadi semakin penting

Ada satu perkara yang menarik di sebalik semua ini.

Kerja Buckmaster–Alpöge dan hasil OpenAI mempunyai kaitan dengan arah matematik terdahulu yang dipelopori Diego Córdoba dan Luis Martínez-Zoroa.

Kita tidak mempunyai bukti yang cukup untuk mengatakan OpenAI mengambil idea daripada kerja peribadi Buckmaster dan Alpöge.

Kita juga tidak boleh menganggap kedua-dua kumpulan pasti sampai kepada pendekatan yang sama secara bebas.

Tetapi persoalan yang timbul tetap menarik:

Apabila ribuan agent mencari jalan penyelesaian secara serentak, siapa yang menentukan jalan mana yang patut dicari?

AI boleh meneroka banyak kemungkinan.

Namun seseorang masih perlu menentukan masalah mana yang berbaloi dikejar, formulasi mana yang menarik, keputusan pertengahan mana yang penting dan laluan mana yang patut ditinggalkan.

Itulah yang sering dimaksudkan dengan research taste — keupayaan mengenal pasti arah yang berpotensi sebelum nilainya jelas.

Kita belum boleh mengatakan bahawa research taste manusia menjadi punca kejayaan OpenAI dalam kes ini.

Tetapi episod ini menunjukkan bahawa pemilihan masalah, intuisi matematik dan arah penyelidikan mungkin menjadi semakin penting apabila pencarian itu sendiri semakin mudah diautomatikkan.

Kebimbangan Terence Tao

Terence Tao turut mengemukakan kebimbangan yang lebih luas tentang kesan AI terhadap penyelidikan matematik.

Isunya bukan semata-mata sama ada AI akan menggantikan ahli matematik.

Masalahnya ialah matematik berkembang melalui proses sosial: membuktikan sesuatu, menerangkannya, mengajar, membuat semakan, mencari counterexample, memperbaiki hujah dan belajar daripada kegagalan.

Jika sistem AI semakin banyak melakukan proses penemuan dalam persekitaran tertutup, orang ramai mungkin hanya melihat keputusan akhir tanpa melihat laluan yang menghasilkan keputusan tersebut.

Itu boleh mengubah perkara yang diberi ganjaran dalam bidang matematik.

Tao memberi amaran bahawa penyelesaian AI yang muncul terlalu awal, khususnya apabila prosesnya tidak telus, boleh mengganggu proses penyelidikan yang biasanya membantu komuniti membina pengetahuan secara berperingkat.

Beliau juga memberitahu New Scientist bahawa syarikat AI kini memberi tumpuan kepada bahagian matematik yang paling berprestij, sementara kerja seperti menerangkan, mengajar dan menyemak hasil penyelidikan masih perlu dilakukan oleh manusia.

Itu bukan hujah bahawa AI tidak patut digunakan dalam matematik.

Ia lebih kepada persoalan siapa yang akan melakukan kerja yang tinggal selepas AI mengambil bahagian yang paling menarik perhatian.

Masalah transparency

Ada satu lagi perbezaan besar antara matematik tradisional dengan matematik yang dibantu AI.

Dalam penyelidikan biasa, proses boleh dilihat oleh komuniti.

Kertas diterbitkan. Orang lain membaca, mengkritik, mencari kesilapan, mencuba semula hujah dan menggunakan idea tersebut untuk kerja seterusnya.

AI boleh bekerja dengan cara yang sangat berbeza.

Sistem boleh menghasilkan berjuta-juta percubaan yang gagal tanpa sesiapa di luar organisasi melihatnya. Sebuah syarikat boleh mencuba ratusan pendekatan secara dalaman dan hanya menerbitkan hasil terakhir.

Dari sudut kecekapan, itu sangat masuk akal.

Dari sudut audit, ia jauh lebih sukar.

OpenAI sekurang-kurangnya menerbitkan formalization Lean, yang memberi orang lain cara untuk memeriksa bahagian formal daripada hasil tersebut.

Tetapi formal verification menjawab soalan yang berbeza daripada research provenance.

Lean boleh membantu menentukan sama ada pernyataan tertentu mengikuti andaian formal yang telah ditetapkan.

Ia tidak memberitahu kita:

• berapa banyak arah penyelidikan yang telah dicuba;
• berapa banyak yang gagal;
• sejauh mana manusia mempengaruhi pencarian;
• idea luar mana yang mempengaruhi arah akhir;
• sama ada data peribadi pernah memberi kesan kepada latihan model;
• atau kenapa satu pendekatan akhirnya dipilih berbanding pendekatan lain.

Itu semua ialah persoalan tentang provenance dan governance, bukan sekadar proof checking.

Masalah "AI slop"

Ada satu detail kecil daripada kerja Buckmaster–Alpöge yang juga menarik.

Buckmaster pernah menggambarkan salah satu write-up yang dijana LLM untuk hasil Euler mereka sebagai sangat sukar dibaca dan menyebutnya sebagai "AI slop."

Ini ialah kritikan terhadap write-up janaan mesin tersebut, bukan dakwaan bahawa hasil matematiknya sendiri salah.

Perbezaannya penting.

Formal verification dan human understanding menyelesaikan dua masalah yang berbeza.

Proof assistant boleh membantu memastikan bahawa pernyataan formal mengikuti andaian yang diberikan.

Tetapi manusia masih perlu memahami apa maksud keputusan itu, kenapa strategi tersebut penting dan bagaimana ia berkait dengan pengetahuan matematik yang sedia ada.

Kalau AI semakin mampu menghasilkan sejumlah besar hasil yang boleh diformalisasikan, bottleneck mungkin berubah daripada mencari bukti kepada memahami dan menerangkan bukti tersebut.

Itu boleh menjadi perubahan besar dalam matematik.

Risiko sebenar bukan AI "menang"

Pada pandangan saya, pengajaran paling menarik daripada episod ini bukanlah bahawa AI boleh menyelesaikan matematik yang susah.

Ia ialah struktur dan ekonomi penyelidikan matematik mungkin sedang berubah.

Kumpulan penyelidikan masa depan mungkin terdiri daripada beberapa ahli matematik yang mengarahkan ribuan atau jutaan agent untuk meneroka kemungkinan secara serentak.

Kalau berjaya, kadar penemuan boleh meningkat dengan sangat pantas.

Tetapi kuasa penyelidikan juga boleh semakin tertumpu kepada organisasi yang mempunyai:

• model terbaik;
• compute terbesar;
• infrastructure proprietary;
• data yang banyak;
• dan kemampuan menjalankan eksperimen pada skala yang tidak mampu ditiru oleh penyelidik biasa.

Itu membawa kepada satu soalan governance yang susah:

Apa berlaku apabila kemampuan untuk menyertai penyelidikan matematik termaju bergantung lebih banyak kepada akses kepada compute daripada akses kepada idea?

Pertikaian OpenAI–Buckmaster menjadikan persoalan itu lebih nyata kerana isu yang dipertikaikan bukan sekadar siapa menghasilkan keputusan.

Ia juga tentang kredit, authorship, penggunaan tools AI, provenance data dan sejauh mana proses penyelidikan patut dibuka kepada komuniti.

Belum ada jawapan yang mudah untuk semua itu.

Apa yang penyelidik patut ambil daripada perkara ini

Bagi penyelidik yang menggunakan commercial AI tools, pengajarannya bukanlah "jangan guna AI."

Sebaliknya, fahami apa yang berlaku kepada data anda.

Sebelum memasukkan penyelidikan yang belum diterbitkan, draft, hasil eksperimen atau idea proprietari ke dalam sistem AI komersial, semak polisi penggunaan data dan latihan model penyedia tersebut. Semak juga pilihan opt-out, retention dan syarat organisasi jika tersedia.

Jangan menganggap setiap sesi AI komersial secara automatik bersifat peribadi.

Tetapi pada masa yang sama, kita juga tidak patut membuat kesimpulan bahawa OpenAI menggunakan kerja peribadi Buckmaster dan Alpöge untuk menghasilkan penyelesaian tersebut.

Bukti awam yang ada sekarang tidak membuktikan perkara itu.

Dan itulah sebabnya provenance menjadi semakin penting apabila AI masuk lebih jauh ke dalam penyelidikan.

Matematik mungkin bukan bahagian yang paling susah

Hasil OpenAI mungkin akhirnya menjadi salah satu demonstrasi paling penting tentang kemampuan AI dalam matematik.

Tetapi matematik itu sendiri hanyalah sebahagian daripada cerita.

Soalan yang lebih besar ialah tentang provenance, kredit, transparency, compute dan akses.

Kalau AI boleh meneroka berjuta-juta laluan matematik pada skala yang tidak mampu ditandingi manusia, sumber yang paling terhad mungkin bukan lagi kemampuan melakukan setiap langkah dalam bukti.

Mungkin yang semakin bernilai ialah mengetahui arah mana yang patut dicari, memahami kenapa ia berfungsi, dan memastikan pengetahuan yang ditemui boleh digunakan oleh orang lain.

Bahagian itu tidak boleh diukur dalam token.

Dan kalau AI benar-benar mahu menjadi rakan penyelidikan yang serius, matematik akhirnya perlu memikirkan satu perkara yang sama pentingnya dengan proof itu sendiri:

bagaimana manusia dan AI sepatutnya bekerjasama dalam menghasilkan pengetahuan.

Sumber

• OpenAI: On the Navier–Stokes Millennium Prize Problem
• Clay Mathematics Institute: Navier-Stokes Equation
• MIT Technology Review: What OpenAI's latest controversy tells us about the future of math
• The Verge: OpenAI's sly mathematical breakthrough sends a chill through academia
• TechCrunch: OpenAI fought dirty on career-making math problem, says NYU mathematician
• New Scientist: Terence Tao: AI companies are harming mathematics
• The Hindu: Did OpenAI crack a million-dollar math problem using data stolen from mathematicians?
• hejes.my: OpenAI's AI Swarm Proposes a Solution to Navier–Stokes