Adakah Security Researcher Akan Mati? Sejarah Kata Tidak

Di DEF CON tahun ini, seorang penyelidik keselamatan kanan di sebuah syarikat FAANG memberitahu rakan sekerja juniornya sesuatu yang agak keras: kerjayanya mungkin tidak lagi mempunyai masa depan kerana AI.

Menurutnya, security researcher akan pupus.

Rakan sekerja junior itu, Garance, kemudian membawa persoalan tersebut kepada bosnya, Roni Carta, yang lebih dikenali dalam talian sebagai Lupin. Carta ialah pengasas dan CEO firma security supply-chain Depi, selain individu yang memperkenalkan vulnerability class npx Confusion.

Jawapan Carta bukan sekadar, "Jangan risau, kerja anda masih selamat."

Sebaliknya, dia melihat persoalan itu melalui sejarah teknologi selama kira-kira lima abad — daripada mesin cetak dan gerakan Luddites kepada fotografi, elektrik, komputer dan catur. Dia turut melihat kembali sejarah penyelidikan kelemahan itu sendiri.

Kesimpulan yang sampai agak tidak selesa.

Security research tidak akan hilang. Tetapi jenis kerja yang bernilai akan berubah. Dan penyelidik yang mahu kekal relevan perlu bergerak bersama perubahan itu.

Kesilapan yang berulang sejak berabad-abad

Setiap kali mesin mula melakukan sesuatu yang sebelum ini memerlukan kemahiran manusia, kita cenderung membuat kesimpulan yang sama:

Kalau mesin boleh buat kerja itu, manusia yang buat kerja itu akan hilang.

Masalahnya, sejarah tidak begitu mudah.

Pada tahun 1492, abbas Jerman Johannes Trithemius menulis In Praise of Scribes. Dia bimbang tentang masa depan para rahib yang selama ini menyalin buku dengan tangan.

Hujahnya kedengaran sangat moden.

Buku bercetak menggunakan kertas yang dianggap kurang tahan berbanding perkamen. Kerja menyalin buku pula bukan sekadar menghasilkan salinan. Ketika menyalin, seorang rahib membaca, menghafal dan belajar. Mesin cetak menghapuskan sebahagian daripada proses itu.

Bunyinya hampir sama dengan hujah yang kita dengar tentang AI hari ini.

"Saya sendiri mungkin pernah menggunakan hujah yang sama."

Trithemius bukan orang yang bodoh. Malah dia betul tentang beberapa perkara. Dia boleh melihat kelemahan buku bercetak berbanding manuskrip terbaik pada zamannya.

Yang dia tidak dapat lihat ialah apa yang berlaku selepas kos menghasilkan sebuah buku jatuh dengan begitu mendadak.

Persoalan sebenarnya bukan lagi sama ada sebuah buku bercetak lebih baik daripada manuskrip yang ditulis oleh rahib paling mahir.

Persoalannya ialah:

Apa yang berlaku apabila menghasilkan satu salinan buku tidak lagi memerlukan berbulan-bulan kerja manusia?

Sebaik sahaja soalan itu berubah, seluruh ekonomi di sekeliling buku turut berubah.

Kadang-kadang orang yang takut memang betul

Sejarah juga tidak memberikan kita alasan untuk terlalu selesa dengan ayat seperti "teknologi sentiasa mencipta lebih banyak pekerjaan."

Itu tidak semestinya benar untuk setiap pekerja.

Golongan Luddites, misalnya, bukan sekadar sekumpulan manusia yang membenci teknologi. Ramai daripada mereka ialah pekerja tekstil yang sangat mahir.

Dan mereka memang kehilangan pekerjaan.

Mesin shearing frame boleh melakukan kerja yang sebelum itu memerlukan seorang cropper berkemahiran tinggi. Dua pekerja yang mengendalikan mesin tersebut boleh menyiapkan dalam sehari kerja yang sebelum ini mengambil masa kira-kira seminggu.

Kemahiran pekerja itu tidak tiba-tiba menjadi lebih rendah.

Kerjanya sahaja sudah tidak lagi diperlukan pada skala yang sama.

Itulah bahagian sejarah yang kadang-kadang kita cuba elakkan apabila bercakap tentang AI.

Jika sebuah syarikat sebelum ini memerlukan sepuluh orang untuk melakukan sesuatu tugasan, tetapi AI membolehkan tiga orang melakukannya, tujuh orang yang lain tetap menghadapi masalah.

Mereka tidak semestinya boleh terus berkata, "Saya akan buat kerja yang lebih tinggi nilainya."

Tidak semua orang mempunyai peluang yang sama untuk berpindah ke sana.

David Ricardo sendiri akhirnya mengubah pendiriannya pada tahun 1821 dan mengakui bahawa penggunaan mesin boleh menjejaskan kepentingan pekerja.

Para pekerja yang memberi keterangan kepada Sadler Committee pada tahun 1832 pula menggambarkan perkara itu secara terus: ada yang kehilangan pekerjaan, manakala yang masih bekerja terpaksa mengendalikan mesin untuk tempoh yang panjang.

Jadi, ya — teknologi memang boleh menghapuskan pekerjaan.

Persoalannya bukan sama ada ia berlaku.

Persoalannya ialah pekerjaan yang mana satu akan hilang, dan kerja apa yang muncul selepas itu.

Fotografi, elektrik dan komputer mengulangi corak yang sama

Setiap generasi mempunyai orang yang sangat yakin bahawa teknologi baharu akan merosakkan sesuatu yang penting.

Pada tahun 1859, Charles Baudelaire mengkritik fotografi dengan hujah yang, jika ditukar sedikit bahasanya, tidak jauh berbeza daripada perdebatan mengenai AI hari ini.

Fotografi dianggap sekadar meniru realiti. Mesin tidak boleh menghasilkan seni sebenar. Orang ramai pula mungkin mula menganggap hasil teknikal sebagai seni.

Fotografi memang mengambil alih sebahagian kerja yang sebelum itu dilakukan oleh pelukis.

Tetapi lukisan tidak mati.

Sebaliknya, seni berkembang ke arah yang berbeza.

Fotografi menjadikan penghasilan imej realistik jauh lebih mudah. Itu tidak bermaksud semua perkara yang dilakukan oleh seorang artis boleh digantikan oleh kamera.

Menghasilkan imej yang realistik dan menjadi seorang artis bukan perkara yang sama.

Kemudian datang pula elektrik.

Henry Morton pernah menganggap mentol Edison sebagai satu kegagalan. William Preece pula menghasilkan analisis yang menunjukkan mengapa penggunaan banyak mentol untuk menerangi rumah tidak praktikal pada ketika itu.

Mereka bukan orang luar.

Mereka memahami teknologi tersebut.

Namun mereka tetap salah tentang apa yang akan berlaku selepas teknologi itu berkembang.

Ini membezakan dua perkara yang selalu kita campur adukkan:

"Teknologi ini mempunyai batasan."

dan

"Batasan ini akan terus melindungi pekerjaan saya."

Yang pertama ialah persoalan kejuruteraan.

Yang kedua ialah ramalan tentang masa depan.

Komputer dan internet memberikan kita contoh yang lebih dekat.

Pada tahun 1998, Paul Krugman pernah meramalkan bahawa impak ekonomi internet mungkin tidak lebih besar daripada mesin faks.

Robert Metcalfe, pencipta Ethernet, pula pernah meramalkan bahawa internet akan runtuh sepenuhnya pada tahun 1996. Selepas ramalannya tidak menjadi kenyataan, dia akhirnya memakan salinan kolumnya sendiri yang telah dikisar di atas pentas.

Namun sejarah komputer juga menunjukkan perkara yang lebih rumit.

Ada pekerjaan yang memang hilang.

Typesetter dalam industri akhbar, misalnya, benar-benar terjejas akibat automasi.

Bertram Powers, pemimpin kesatuan pekerja akhbar, mengambil pendekatan yang menarik. Daripada cuba menghentikan automasi sepenuhnya, dia merundingkan perjanjian yang membenarkan syarikat menggunakan teknologi baharu sambil melindungi pekerja sedia ada.

Dia tidak lagi bertanya:

"Bagaimana kita hentikan mesin?"

Dia bertanya:

"Apakah kedudukan manusia apabila mesin itu sudah wujud?"

Itulah soalan yang jauh lebih berguna.

Catur menunjukkan perkara yang sama

Catur pernah dianggap sebagai salah satu contoh terbaik kecerdasan manusia.

Kemudian pada tahun 1997, Deep Blue mengalahkan Garry Kasparov.

Jika logiknya mudah, catur sepatutnya tamat di situ.

Mesin sudah mengalahkan manusia terbaik.

Tetapi catur tidak mati.

Sebaliknya, enjin catur menjadi sebahagian daripada permainan itu sendiri. Pemain menggunakannya untuk berlatih. Analisis menjadi lebih mendalam. Pemain mengkaji semula teori pembukaan yang sudah berusia puluhan tahun.

Kasparov sendiri kemudiannya menjadi terkenal dengan konsep permainan manusia-mesin.

Pada tahun 2005, satu lagi contoh menarik muncul apabila pemain amatur yang menggunakan program catur biasa berjaya mengalahkan seorang grandmaster yang dibantu superkomputer.

Nilai dalam permainan itu telah berubah.

Yang penting bukan lagi sekadar siapa yang boleh mengira langkah paling banyak.

Soalan yang lebih penting ialah bagaimana manusia menggunakan mesin untuk mencapai sesuatu yang sebelum ini tidak mampu dilakukan.

Itulah corak yang sering terlepas apabila kita bercakap tentang automasi.

Kita terlalu fokus pada satu tugasan.

Kita lupa melihat matlamat yang lebih besar di sebalik tugasan tersebut.

Security research juga sudah "mati" beberapa kali

Untuk penyelidik keselamatan, bahagian ini mungkin lebih menarik.

Bidang vulnerability research sebenarnya sudah beberapa kali diramalkan akan mati.

1. Fuzzing — 1990

Pada tahun 1990, Barton Miller menunjukkan bahawa input rawak boleh menyebabkan antara satu perempat hingga sepertiga utiliti standard UNIX mengalami kerosakan.

Reaksinya mudah difahami:

Kalau mesin boleh mencari begitu banyak bug secara automatik, apa lagi yang perlu dilakukan oleh penyelidik?

Tetapi fuzzing tidak membunuh vulnerability research.

Ia membuang sebahagian kerja yang paling mudah.

Kemudian penyelidik bergerak ke teknik yang lebih maju seperti grammar-aware fuzzing, coverage-guided fuzzing, sanitizers dan analisis reachability.

Automasi mengambil alih lapisan bawah.

Kerja yang lebih sukar muncul di atasnya.

2. Metasploit — 2003 hingga 2007

Apabila Metasploit menjadikan eksploit lebih mudah digunakan, ada yang menganggap pembangunan eksploit sudah tidak mempunyai masa depan.

Kalau semua orang boleh menjalankan eksploit, apa gunanya menjadi pakar?

Jawapannya ialah mitigasi.

ASLR, DEP, stack cookies dan CFI menjadikan eksploitasi semakin sukar.

Jadi fokus penyelidik berubah.

Bukan lagi sekadar mencari eksploit.

Sebaliknya, mereka perlu mencari cara untuk melepasi pertahanan tersebut.

3. DARPA Cyber Grand Challenge — 2016

Pada tahun 2016, tujuh mesin bertanding dalam DARPA Cyber Grand Challenge dan melakukan pertandingan capture the flag secara autonomi.

Ia berlaku ketika DEF CON.

Tajuk berita mudah dijangka.

Mesin boleh mencari kelemahan sendiri.

Penggodam tidak lagi perlu menjadi manusia.

Tetapi ada satu butiran yang menarik.

Sistem yang menang, Mayhem, kemudiannya bertanding dalam DEF CON CTF kategori manusia pada minggu yang sama.

Keputusannya?

Tempat terakhir.

Maksudnya bukan mesin itu tidak berguna.

Sebaliknya, ia menunjukkan bahawa mengautomasikan satu bahagian proses tidak sama dengan mengautomasikan keseluruhan bidang.

4. Era recon dan automasi

Kemudian datang pula era subdomain enumeration, nuclei templates, carian ASN secara besar-besaran dan pelbagai alat automasi lain.

Sekali lagi, soalan yang sama muncul:

"Recon sudah dikomoditikan. Jadi kerja bug bounty sudah tamat."

Sebahagiannya memang betul.

Mengumpulkan data mentah tidak lagi mempunyai nilai seperti dahulu.

Tetapi nilai berpindah ke tempat lain.

Bagaimana hendak memilih sasaran?

Bagaimana hendak memahami trust boundary yang tidak pernah didokumentasikan?

Daripada ribuan hasil imbasan, yang mana satu sebenarnya penting?

Dan yang paling sukar:

Apa yang patut dicari apabila anda sendiri belum tahu apa yang sedang anda cari?

Setiap kali automasi mengambil alih bahagian bawah stack, penyelidik cenderung bergerak ke bahagian yang lebih tinggi.

Itulah coraknya.

Apa yang AI masih sukar ambil alih

Ini bukan bermaksud semua security researcher akan selamat.

Tidak.

Jika nilai profesional anda hanya datang daripada kebolehan mencari bug yang sama, pada sasaran yang sama, menggunakan teknik yang sudah diketahui, anda memang mempunyai sebab untuk risau.

AI semakin baik dalam kerja seperti itu.

Apa yang lebih sukar ialah menentukan apa yang patut disiasat sejak awal.

Memahami sistem yang kompleks.

Memahami trust boundary yang tidak didokumentasikan.

Menyambungkan beberapa tingkah laku yang secara berasingan nampak biasa tetapi menghasilkan masalah apabila digabungkan.

Dan yang paling penting, mencari kelas kelemahan yang belum mempunyai nama.

Carta sendiri memberikan contoh yang baik.

Pada DEF CON 33, dia memperkenalkan npx Confusion, satu varian dependency confusion yang melibatkan unscoped binary yang dirujuk melalui bahagian bin atau scripts dalam package.json.

Pasukannya menunjukkan bahawa kelemahan tersebut boleh membawa kepada kompromi dalam pipeline CI syarikat besar. Mereka turut menemui pakej "hantu" (phantom packages) yang telah dimuat turun dalam jumlah yang besar.

Kemudian alat automasi seperti npxconfuse muncul untuk membantu mencari kelemahan yang sama.

Dan sebenarnya, itu bukan kegagalan.

Itulah kejayaan.

Carta menemui kelas kelemahan baharu.

Orang lain kemudian membina alat untuk mencari kelas kelemahan tersebut secara automatik.

Selepas itu, cabaran seterusnya untuk penyelidik ialah mencari sesuatu yang belum dapat dikesan oleh alat tersebut.

Automasi tidak semestinya mengambil tempat anda. Ia boleh mengambil alih perkara yang anda sudah tahu cara melakukannya.

Dan itu sebenarnya petanda yang baik.

Kalau kerja anda boleh diautomasi selepas anda berjaya menerangkannya dengan jelas, mungkin memang itulah masa untuk bergerak ke masalah seterusnya.

Dua kesilapan yang sering kita buat

Daripada sejarah ini, ada dua kesilapan yang mudah dilakukan.

Kesilapan pertama ialah menganggap batasan teknologi hari ini akan kekal selama-lamanya.

Kita pernah melihatnya dengan elektrik, internet dan banyak teknologi lain.

"Teknologi ini tidak boleh buat X."

Mungkin betul hari ini.

Tetapi itu tidak bermaksud ia masih betul lima tahun lagi.

Kesilapan kedua pula ialah menganggap apabila satu tugas boleh diautomasi, seluruh profesion akan hilang.

Itu juga tidak semestinya benar.

Fuzzing tidak membunuh vulnerability research.

Metasploit tidak membunuh exploit development.

Enjin catur tidak membunuh catur.

Komputer tidak membunuh software development.

Sebaliknya, alat-alat tersebut mengubah perkara yang dianggap bernilai.

Dan perubahan itu tidak semestinya menyenangkan semua orang.

Ada yang memang kehilangan pekerjaan.

Ada yang terpaksa belajar kemahiran baharu.

Ada yang tidak sempat berpindah.

Jadi kita tidak patut menggunakan sejarah sebagai alasan untuk berkata, "Jangan risau, semuanya akan baik-baik sahaja."

Itu bukan pengajaran sebenar daripada sejarah.

Pengajarannya ialah:

Apabila teknologi berubah, nilai manusia turut berubah.

Jadi, apa yang patut dilakukan oleh security researcher?

Kerjaya anda tidak selamat.

Sebenarnya, kerjaya sesiapa pun tidak pernah benar-benar selamat.

Kalau ada orang menjanjikan pekerjaan anda akan kekal selama-lamanya, berhati-hatilah.

Sebaliknya, bina kemahiran yang semakin bernilai apabila alat menjadi semakin baik.

Jangan hanya belajar cara menggunakan scanner.

Fahami kenapa sesuatu sistem direka begitu.

Jangan hanya belajar mencari bug yang sudah diketahui.

Belajar mengenal pasti tingkah laku pelik yang belum mempunyai kategori.

Jangan hanya belajar menghasilkan exploit.

Belajar memahami keseluruhan sistem, architecture, aliran data dan sempadan kepercayaan.

Dan yang paling penting:

Gunakan AI.

Jangan bersaing dengan AI untuk melakukan kerja yang AI boleh lakukan dengan lebih cepat.

Biarkan AI melakukan kerja yang membosankan.

Biarkan ia membaca kod.

Biarkan ia membuat carian awal.

Biarkan ia mengulang tugas yang sama ribuan kali.

Kemudian gunakan masa yang dijimatkan untuk melakukan perkara yang lebih sukar.

Cari soalan yang belum ditanya.

Cari sistem yang belum difahami.

Cari kelas kelemahan yang belum dinamakan.

Itulah bahagian yang paling sukar untuk diautomasi.

Kenapa perkara ini penting untuk developer

Perkara yang sama sedang berlaku dalam software development.

AI boleh menghasilkan kod dengan sangat cepat. Tetapi semakin mudah kod dihasilkan, semakin penting pula perkara yang berada di luar sekadar menulis kod.

Reka bentuk sistem.

Keselamatan.

Pengujian.

Semakan.

Penyelenggaraan.

Memahami keperluan sebenar pengguna.

Dan membuat keputusan apabila output AI kelihatan betul tetapi sebenarnya salah.

Itulah sebabnya langkah semakan manusia masih penting dalam pipeline penulisan dan pembangunan berasaskan AI. Model boleh menghasilkan banyak output. Tetapi seseorang masih perlu menentukan sama ada output tersebut masuk akal, tepat dan sesuai digunakan.

Kita juga mula melihat agen AI digunakan dalam bidang seperti pembangunan dan penyelenggaraan perisian saintifik. Apabila penjanaan kod menjadi lebih murah, cabaran boleh berpindah kepada verifikasi, pemilikan dan penyelenggaraan.

Coraknya sama.

Bahagian bawah stack akan terus diautomasi.

Persoalannya ialah siapa yang bersedia bergerak ke atas.

Rahib yang menyalin buku tidak hilang kerana mesin cetak menjadi "rahib yang lebih baik".

Kerja mereka hilang kerana kos menghasilkan salinan buku jatuh dengan begitu banyak.

Itu perbezaan yang penting.

AI mungkin melakukan perkara yang sama kepada sebahagian kerja security researcher.

Tetapi itu tidak bermakna keseluruhan bidang tersebut akan mati.

Sebaliknya, kerja yang mudah dijelaskan dan diulang mungkin semakin banyak dilakukan oleh mesin.

Dan apabila itu berlaku, nilai manusia akan semakin tertumpu pada perkara yang masih sukar dijelaskan:

menentukan apa yang perlu dicari, memahami perkara yang belum difahami dan menemui sesuatu yang belum pernah ditemui sebelum ini.

Jadi, adakah security researcher akan mati?

Mungkin sebahagian pekerjaan itu akan hilang.

Itu hampir pasti.

Tetapi bidangnya?

Sejarah setakat ini menunjukkan: apabila mesin mengambil alih bahagian bawah, manusia biasanya mencari jalan ke atas.

Persoalannya bukan sama ada AI akan mengambil kerja anda.

Persoalannya ialah:

Apabila AI mengambil alih kerja yang anda lakukan hari ini, anda sudah bersedia untuk melakukan apa selepas itu?

Baca rantaian thread asal di X: 0xLupin — "security researchers are doomed".