Claude Mythos: 26K Findings dan Bottleneck Triage Manusia

Claude Mythos: 26K Findings dan Bottleneck Triage Manusia

AI semakin bagus mencari kelemahan software.

Masalahnya sekarang mungkin bukan lagi berapa banyak bug yang boleh ditemui, tetapi berapa banyak yang manusia boleh sahkan, laporkan dan baiki.

Data daripada Project Glasswing milik Anthropic memberikan contoh yang agak jelas.

Dalam dashboard terkininya, Anthropic menyenaraikan 26,153 candidate vulnerability findings yang ditemui oleh Claude Mythos Preview dan model Claude lain. Tetapi hanya sebahagian kecil daripada jumlah itu masuk ke proses disclosure yang direkodkan dalam ledger awam.

Pada masa yang sama, analisis VulnCheck terhadap ledger tersebut menemui sesuatu yang lebih menarik: angka dalam dashboard, ledger dan sub-ledger tidak semuanya sepadan.

Jadi cerita sebenar bukan sekadar:

"AI jumpa 26K bug."

Cerita sebenar ialah:

AI boleh menghasilkan finding jauh lebih cepat daripada manusia boleh menentukan mana yang benar-benar penting.

26,153 finding bukan bermaksud 26,153 vulnerability yang disahkan

Ini perbezaan paling penting dalam keseluruhan cerita.

Anthropic sendiri menerangkan bahawa angka 26,153 ialah candidate findings — output awal yang masuk ke queue untuk triage manusia. Ia bukan bermaksud 26,153 kelemahan telah disahkan benar dan mempunyai patch yang diperlukan.

Setakat kemas kini Anthropic pada 26 Ogos 2026, dashboard menunjukkan:

Angka ini meliputi findings daripada Mythos Preview, model Mythos lain dan model Claude lain, bukan Mythos Preview semata-mata. Anthropic juga menjelaskan bahawa proses independent human triage dan review ialah rate-limiting step.

Itu sendiri sudah cukup untuk menunjukkan perubahan besar dalam bottleneck.

Dulu, masalah utama security research ialah mencari bug.

Sekarang, sekurang-kurangnya dalam workflow seperti Glasswing, masalahnya semakin bergerak kepada validasi, koordinasi disclosure dan remediation.

Jadi dari mana datangnya angka 202?

Ini bahagian yang menarik — dan sebab artikel asal perlu diperbetulkan.

Pada 8 September, Patrick Garrity dari VulnCheck menerbitkan analisis terhadap public disclosure ledger Anthropic. Beliau mendapati daripada 26,153 findings, hanya 2,736 berada dalam disclosure ledger.

Daripada 26,153 keseluruhan findings:

• 2,736 (10.5%) masuk ke disclosure ledger;
• 202 (0.8%) ditanda sebagai fixed dalam ledger;
• 245 (0.9%) ditarik balik;
• 2,096 (8.0%) telah dilaporkan kepada maintainer tetapi belum ditanda fixed;
• 191 (0.7%) masih dalam pre-disclosure; dan
• 2 ditanda sebagai duplicate.

Angka-angka tersebut datang daripada analisis VulnCheck terhadap ledger yang tersedia ketika itu.

Jadi tajuk "26K kelemahan ditemui, hanya 202 diperbaiki" terlalu mudah dan boleh mengelirukan.

202 ialah jumlah fixed yang kelihatan dalam disclosure ledger yang dianalisis VulnCheck, bukan jumlah keseluruhan patched upstream yang Anthropic laporkan dalam dashboard.

Anthropic sendiri ketika ini melaporkan 421 patched upstream.

Tetapi discrepancy itu sendiri menarik

Perbezaan ini bukan sekadar isu kosmetik.

VulnCheck menunjukkan bahawa dashboard Anthropic menyatakan 421 findings patched upstream, manakala main disclosure ledger yang dianalisisnya menunjukkan 202 fixed findings.

VulnCheck turut menunjukkan perbezaan antara beberapa rekod:

• dashboard: 421 findings patched upstream;
• main ledger: 202 fixed;
• dashboard: 462 CVE/GHSA advisories;
• main ledger dan sub-ledger CVE/GHSA pula mempunyai kiraan yang berbeza.

VulnCheck mencatatkan 70 CVEs dalam CVE ledger berbanding 82 dalam main ledger, dan 49 GHSAs dalam GHSA ledger berbanding 77 dalam main ledger.

Ini tidak semestinya bermaksud data Anthropic salah.

Sebahagian perbezaan boleh datang daripada masa kemas kini, skop ledger, status disclosure atau cara sesuatu finding dikira.

Malah, Anthropic menerangkan bahawa dashboard dan ledger mempunyai fungsi berbeza. Dashboard mengira keseluruhan proses CVD, manakala ledger mendedahkan finding mengikut peringkat disclosure dan disclosure window.

Tetapi dari sudut pembaca, satu perkara memang jelas:

angka vulnerability AI tidak boleh dibaca seperti counter CVE biasa.

Bottleneck sebenar ialah triage

Anthropic sendiri sebenarnya mengaku perkara ini.

Dalam dashboardnya, Anthropic menyatakan bahawa jumlah vulnerability yang telah didedahkan hanyalah subset daripada semua yang ditemui kerana independent human triage and review ialah rate-limiting step.

Workflow mereka bukan:

AI finds bug
      ↓
Patch

Ia lebih dekat kepada:

AI finds candidate
       ↓
Human / security firm triage
       ↓
Reproduce
       ↓
Determine whether it is real
       ↓
Assess severity
       ↓
Prepare disclosure
       ↓
Maintainer review
       ↓
Patch
       ↓
Release

Anthropic mengatakan kebanyakan findings melalui firma keselamatan luar yang mereka gunakan untuk triage, atau ditriage sendiri.

Mereka juga mengakui terdapat bug yang telah disahkan sebagai real tetapi belum dilaporkan kepada maintainer kerana capacity limitations.

Itu mungkin bahagian paling penting daripada keseluruhan dataset ini.

AI boleh mempercepatkan discovery.

Tetapi discovery bukan remediation.

Mythos juga nampaknya lebih agresif menilai severity

VulnCheck membandingkan penilaian severity Claude dengan penilaian maintainer untuk findings yang mempunyai kedua-duanya.

Menurut analisis tersebut, 91.5% daripada findings yang mempunyai kedua-dua penilaian dinilai critical atau high oleh Claude, berbanding 51.3% menurut maintainer dalam dataset VulnCheck.

Dark Reading melaporkan angka maintainer yang sedikit berbeza, iaitu 61.3%, bergantung pada dataset/penapisan yang digunakan.

Perbezaan ini sendiri adalah sebab untuk berhati-hati dengan nombor itu.

Yang selamat untuk disimpulkan ialah:

Claude dan maintainer tidak sentiasa melihat severity dengan cara yang sama.

Itu sebenarnya bukan sesuatu yang pelik.

Severity vulnerability bergantung kepada perkara seperti:

• exploitability;
• reachability;
• threat model;
• privilege requirements;
• deployment context;
• impact sebenar; dan
• sama ada bug itu berada dalam security boundary projek.

Model boleh mengenal pasti pola yang nampak berbahaya.

Maintainer pula mempunyai konteks produk yang lebih lengkap.

Curl menunjukkan kenapa false positive penting

Satu contoh yang lebih mudah difahami datang daripada curl.

Daniel Stenberg sebelum ini menulis tentang lima findings yang Mythos laporkan kepada curl.

Selepas disemak, hasilnya ialah:

• satu vulnerability sebenar;
• tiga false positives; dan
• satu isu yang merupakan bug tetapi bukan vulnerability.

VulnCheck menggunakan kes ini sebagai contoh mengapa jumlah finding AI tidak boleh dianggap sama dengan jumlah vulnerability yang perlu ditampal.

Dalam skala lima finding, proses itu masih boleh diurus.

Bayangkan workflow sama apabila sistem menghasilkan puluhan ribu candidate findings.

Itulah masalah yang Glasswing mula tunjukkan.

AI security scanner sendiri tidak semestinya konsisten

Masalah ini bukan hanya berlaku pada Mythos.

Dark Reading turut melaporkan eksperimen Contrast Security yang menjalankan tiga AI security scanners sebanyak tiga kali pada codebase 50,000 baris yang sama.

Hasilnya berbeza antara run.

Dalam contoh yang dilaporkan, scanner berasaskan Sonnet hanya menghasilkan semula 17% daripada findingnya sendiri merentas tiga run. Scanner berasaskan Opus menghasilkan semula 25%, manakala jumlah findings berubah hampir 30% antara run terbaik dan terburuk.

Kesemua scanner pula bersetuju hanya pada sekitar 5% findings.

Angka seperti ini perlu dibaca sebagai hasil eksperimen Contrast Security yang dilaporkan Dark Reading, bukan sebagai ukuran universal terhadap semua AI security scanners.

Tetapi ia menunjukkan satu masalah yang sama:

lebih banyak finding tidak semestinya bermaksud lebih banyak signal.

Ekonomi pun berubah

Jeff Williams, pengasas Contrast Security dan pencipta OWASP Top 10, turut memberikan angka yang menarik.

Dalam projek yang dilaporkan Dark Reading, mengimbas codebase sekitar 2 juta baris berharga kira-kira $315 dalam API charges.

Triage terhadap output itu pula dianggarkan sekitar $128,000.

Kalau anggaran itu mewakili workflow tertentu, nisbahnya sangat besar.

Discovery semakin murah.

Validation masih mahal.

Itu menghasilkan satu paradoks:

AI boleh menjadikan vulnerability discovery hampir terlalu murah untuk diabaikan, tetapi hasilnya boleh menjadi terlalu banyak untuk diproses secara manual.

Dan itu bukan masalah yang boleh diselesaikan hanya dengan menjalankan model yang lebih besar.

Apa yang patut dibuat oleh security team?

Aku rasa pengajaran daripada Glasswing bukan "jangan guna AI untuk security".

Sebaliknya, AI security scanner patut dianggap sebagai high-volume intake system, bukan mesin yang mengeluarkan keputusan akhir.

Beberapa prinsip menjadi lebih penting:

1. Triage berdasarkan evidence

Jangan terima label critical daripada model secara automatik.

Semak:

• adakah vulnerability itu benar;
• bolehkah ia direproduce;
• adakah code path itu reachable;
• apa privilege yang diperlukan;
• apakah actual impact;
• adakah vulnerability itu sudah diketahui; dan
• adakah ia berada dalam threat model projek.

2. Automate validation yang boleh diautomasi

Model boleh membantu menyediakan reproduction steps, mencari code path, mengumpulkan context dan melakukan pre-filter.

Tetapi keputusan bahawa sesuatu finding benar-benar vulnerability masih memerlukan verification.

3. Jangan biarkan queue menjadi terlalu besar

Kalau discovery rate meningkat 100× tetapi triage capacity hanya meningkat 2×, anda tidak mempunyai security pipeline yang 100× lebih baik.

Anda mempunyai queue yang 50× lebih besar.

4. Prioritize exploitability, bukan hype

Finding yang mempunyai laluan exploit yang jelas, exposure sebenar atau kaitan dengan komponen penting patut menerima perhatian lebih tinggi berbanding finding yang hanya mendapat label critical daripada model.

Ini juga selari dengan realiti vulnerability management: severity ialah satu input kepada prioritization, bukan keseluruhan keputusan.

Discovery bukan kemenangan akhir

Project Glasswing sebenarnya memberikan dua cerita serentak.

Cerita pertama memang mengagumkan:

AI sudah cukup bagus untuk mencari vulnerability yang manusia mungkin terlepas.

Anthropic sendiri mengatakan Mythos telah menemui ribuan vulnerability high- dan critical-severity, dan program itu dibina untuk menggunakan kemampuan itu bagi mengukuhkan software kritikal.

Tetapi cerita kedua mungkin lebih penting untuk industri.

Apabila discovery menjadi jauh lebih murah, verification, disclosure dan remediation menjadi semakin penting.

Dan data Glasswing menunjukkan proses itu masih mempunyai kapasiti manusia sebagai salah satu had utama. Anthropic sendiri menyebut human triage sebagai rate-limiting step.

Jadi bottleneck cybersecurity tidak semestinya hilang apabila AI menjadi lebih bagus.

Ia mungkin hanya berpindah.

Daripada:

"Can we find the bug?"

kepada:

"Which of these thousands of findings actually matter?"

Itu masalah yang jauh lebih besar daripada sekadar membuat scanner yang lebih pintar.

Dan buat masa ini, manusia masih berada di tengah-tengah funnel itu.

Nota penting untuk fact-check

Aku sengaja tidak mengekalkan tajuk asal 26K Kelemahan Ditemui, Hanya 202 Diperbaiki.

Sebab selepas semakan live, tajuk itu boleh menyebabkan pembaca faham bahawa:

26,153 confirmed vulnerabilities → only 202 fixed.

Itu tidak disokong.

Data yang lebih tepat ialah:

26,153 candidate findings → 5,008 externally reviewed → 4,576 confirmed valid in Anthropic's triage metric → 2,300 reported/disclosed → 421 patched upstream pada dashboard Anthropic bertarikh 26 Ogos.

Manakala 2,736 → 202 fixed ialah bacaan VulnCheck terhadap disclosure ledger yang mereka analisis pada 8 September.

Dan inilah sebenarnya cerita yang lebih menarik: bukan "Anthropic gagal patch 26K bugs", tetapi AI discovery volume, human triage capacity, disclosure state, dan remediation metrics belum lagi duduk dalam satu angka yang mudah dibandingkan.

Aku rasa angle baru ni jauh lebih kuat untuk HEJES sebab ia kritikal terhadap hype, tetapi masih fair kepada Anthropic dan sumber data.

Sumber

• Anthropic: Anthropic's coordinated vulnerability disclosure dashboard
• VulnCheck: The Anthropic Glasswing Receipts Are Starting to Trickle In
• Dark Reading: Mythos Vulnerability Firehose Hits a Human Bottleneck
• Anthropic: Project Glasswing: An initial update
• Anthropic: Project Glasswing