Melebihi "Made with AI": Paparkan Bukti, Bukan Pengarang

Melebihi "Made with AI": Paparkan Bukti, Bukan Pengarang

Kita semakin biasa melihat label seperti:

Made with AI

Masalahnya, label itu menjawab soalan yang mungkin bukan soalan paling penting.

Ia memberitahu kita bagaimana kandungan itu dihasilkan.

Tetapi ia tidak memberitahu kita:

"Boleh aku percaya apa yang sedang aku baca?"

Itulah persoalan yang cuba dijawab oleh satu kertas baharu bertajuk Beyond "Made with AI": Visualizing Provenance Density to Mitigate the Transparency Penalty, oleh penyelidik dari University of Tokyo, KAIST, Georgia Tech dan Sony CSL. Paper ini diperkenalkan sebagai preprint pada September 2026.

Cadangan mereka ialah Provenance Density — bukannya sekadar memberitahu pembaca bahawa AI digunakan, tetapi menunjukkan berapa banyak tuntutan dalam sesuatu teks yang mempunyai sokongan bukti yang boleh disahkan.

Dan pada aku, perbezaan itu sangat penting.

---

Masalahnya bukan AI. Masalahnya ialah fluency.

Salah satu perkara paling menarik dalam paper ini ialah istilah Fluency Trap.

AI generatif telah menjadikan prosa yang lancar sangat murah untuk dihasilkan.

Ayat tersusun.

Grammar betul.

Struktur nampak profesional.

Nada yakin.

Semua benda yang dahulu membuatkan kita rasa:

"Orang yang tulis ini nampaknya tahu apa dia cakap."

sekarang boleh dihasilkan oleh mesin dalam beberapa saat.

Masalahnya, kelancaran bahasa bukan bukti kebenaran.

Dan ini menghasilkan situasi yang agak pelik.

Teks palsu boleh kelihatan sangat meyakinkan.

Tetapi apabila pembaca diberitahu:

"Ini ditulis oleh AI."

mereka pula boleh mula meragui kandungan yang sebenarnya tepat.

Jadi kita mendapat dua jenis kesilapan:

AI + hallucination
       ↓
"nampak meyakinkan"

AI + fakta yang betul
       ↓
"oh, AI yang tulis"
       ↓
"mungkin tak boleh percaya"

Paper ini memanggil kesan terhadap kandungan yang tepat itu Transparency Penalty.

Masalahnya bukan sekadar pengguna tertipu oleh AI.

Kadang-kadang pengguna juga terlalu menghukum kandungan yang betul hanya kerana ia dilabel AI.

---

Label pengarang tidak sama dengan bukti

Bayangkan dua artikel.

Artikel A

Made with AI

Claim:
"Gunung X meletus pada 2025."

Artikel B

Made with AI

Claim:
"Gunung X meletus pada 2025."

Sources:
✓ Geological Survey
✓ Government report
✓ Scientific publication

Kedua-duanya mempunyai label yang sama.

Tetapi sebagai pembaca, kita sebenarnya memerlukan maklumat daripada Artikel B.

Bukan kerana kita peduli sangat siapa yang menulisnya.

Kita mahu tahu:

Apa yang menyokong claim ini?

Itulah idea asas Provenance Density.

---

Apa itu Provenance Density?

Secara mudah:

Provenance Density cuba mengukur dan memvisualkan berapa banyak tuntutan dalam sesuatu teks yang mempunyai sokongan bukti yang relevan.

Jadi fokusnya berubah:

Made with AI
      ↓
Siapa / apa yang menghasilkan?

Provenance Density
      ↓
Apa yang menyokong claim ini?

Ini nampak seperti perubahan kecil.

Sebenarnya ia mengubah keseluruhan cara kita memikirkan transparency.

Daripada:

"Adakah mesin menulis ini?"

kepada:

"Bahagian mana daripada apa yang ditulis ini boleh disahkan?"

---

Tetapi citation sahaja tidak cukup

Ini bahagian yang aku rasa paling menarik.

Kita mungkin fikir penyelesaiannya mudah:

"Letak citation pada setiap paragraph."

Tidak semestinya.

Bayangkan AI menghasilkan:

"Malaysia akan mempunyai tiga bandar raya baharu menjelang 2028."

Kemudian sistem mencari lima laman web dan semuanya nampak berkaitan.

Kita boleh mendapatkan:

5 sources found
5 citations
High retrieval density

Tetapi itu tidak bermaksud claim ini benar.

Mungkin semua sumber itu mengulang maklumat yang sama.

Mungkin sumber itu sudah outdated.

Mungkin search engine menemukan halaman yang mempunyai keyword sama tetapi sebenarnya tidak menyokong claim.

Jadi paper ini cuba melihat bukan sekadar:

"Berapa banyak sumber yang ditemui?"

tetapi juga:

"Adakah generasi model itu sendiri konsisten?"

---

Consistency Veto

Ini salah satu komponen paling menarik dalam reka bentuk mereka.

Model menghasilkan beberapa sampel jawapan untuk claim yang sama.

Kemudian sistem melihat sejauh mana jawapan-jawapan itu bercanggah antara satu sama lain menggunakan NLI.

Secara konseptual:

                 Same question
                       │
          ┌────────────┼────────────┐
          ↓            ↓            ↓
       Answer 1     Answer 2     Answer 3
          │            │            │
          └────────────┼────────────┘
                       ↓
                 Consistency
                       │
              ┌────────┴────────┐
              ↓                 ↓
          consistent        conflicting
              │                 │
          confidence ↑       score ↓

Kalau model memberikan jawapan yang sangat berbeza antara sampel, sistem menganggap ketidakstabilan itu sebagai signal.

Bukan bukti automatik bahawa jawapan salah.

Tetapi signal bahawa kita patut lebih berhati-hati.

Ini penting terutama untuk soalan yang melibatkan fakta semasa.

---

Keputusan audit yang menarik

Para penyelidik menjalankan audit teknikal menggunakan 200 generasi, dengan gabungan TruthfulQA dan FreshQA. Repo penyelidikan mereka turut menyediakan data, kod dan hasil untuk reproduksi.

Mereka membandingkan beberapa pendekatan.

Nombor ini menghasilkan satu kejutan:

Lebih banyak evidence tidak semestinya bermaksud lebih baik.

Untuk soalan dinamik dalam audit mereka, retrieval density sahaja malah berada di bawah tahap diskriminasi yang baik.

Sebaliknya, consistency signal menunjukkan prestasi jauh lebih tinggi pada FreshQA.

Tetapi ada satu caveat yang sangat penting.

Angka 0.92 AUC itu jangan dibaca sebagai:

"AI sekarang boleh detect hallucination dengan accuracy 92%."

Itu bukan apa yang kajian ini buktikan.

Dataset dinamik yang mengandungi hallucination dalam audit ini sangat kecil, jadi keputusan itu lebih sesuai dianggap sebagai signal awal yang menarik, bukan bukti muktamad bahawa kaedah ini sudah menyelesaikan hallucination detection.

Dan ini sebenarnya membuatkan paper tersebut lebih menarik, bukan kurang.

Ia menunjukkan bahawa retrieval confidence dan truth confidence bukan perkara yang sama.

---

Kemudian mereka uji manusia

Bahagian kedua kajian lebih dekat dengan pengalaman pengguna.

Mereka menjalankan eksperimen dalam-subjek dengan 81 peserta. Peserta diminta menilai kebenaran kandungan menggunakan tiga keadaan:

1. Tiada signal
2. Label "Made with AI"
3. Provenance Density interface

Paper melaporkan keputusan berikut:

Provenance Density menghasilkan jurang +4.15 mata antara kandungan benar dan palsu, dengan effect size d = 1.82. Dalam keadaan tanpa signal, peserta tidak menunjukkan diskriminasi yang dapat dikesan.

Itu hasil yang menarik.

Tetapi sekali lagi, kita perlu faham apa sebenarnya yang diuji.

---

Ada satu caveat besar: Oracle

Interface dalam user study itu menggunakan apa yang paper gambarkan sebagai keadaan idealized atau Oracle.

Maksudnya, sistem kajian sudah mengetahui kandungan mana yang patut diberikan density tinggi dan mana yang patut diberikan density rendah.

Jadi eksperimen itu menjawab soalan:

"Kalau kita boleh memberikan signal provenance yang tepat, adakah pengguna boleh menggunakannya?"

Dan jawapannya nampaknya:

Ya.

Tetapi ia belum sepenuhnya menjawab soalan yang lebih susah:

"Bolehkah sistem automatik menghasilkan signal itu dengan tepat dalam dunia sebenar?"

Itulah sebab technical audit sangat penting.

Dan di situlah retrieval dan consistency masih menjadi masalah.

---

Ini bukan pengganti fact-checking

Aku rasa ini juga penting untuk dijelaskan.

Provenance Density bukan:

Density = Truth

Ia lebih dekat kepada:

Density
   ↓
Evidence / support signal
   ↓
Better calibrated reader

Itu perbezaan besar.

Sistem tidak boleh mengatakan:

"5/5 claims verified, jadi artikel ini pasti benar."

Kalau sistem sendiri salah mengesahkan claim, visualisasi yang cantik hanya membuatkan kita lebih yakin terhadap kesilapan.

Sebab itu pipeline di belakang interface jauh lebih penting daripada sidebar yang cantik.

---

Formula di belakangnya

Bagi yang berminat dengan bahagian teknikal, paper tersebut mentakrifkan Provenance Density sebagai fungsi yang menggabungkan consistency dengan evidence density.

Secara ringkas:

D(T) = consistency × evidence support

Implementation mereka menggunakan beberapa komponen termasuk:

• claim segmentation
• retrieval
• source reputation
• semantic matching
• NLI-based consistency
• aggregation

Repo mereka menyediakan implementasi untuk source_scoring.py, provenance_density.py dan semantic_entropy.py, selain dataset dan hasil audit.

Satu keputusan reka bentuk yang menarik ialah contextual relevance diberi pemberat secara kubik.

Secara ringkas:

weight
  =
source reputation
×
semantic match³

Kenapa kuasa tiga?

Untuk mengurangkan kesan sumber yang hanya berkongsi keyword tetapi sebenarnya tidak menyokong claim.

Contohnya:

semantic match = 0.5

0.5³ = 0.125

Jadi matching yang sederhana tidak terus menghasilkan evidence score yang tinggi.

Ini bukan penyelesaian sempurna.

Tetapi ia menunjukkan satu prinsip yang sangat penting:

retrieval bukan sama dengan evidence.

---

Masalah baru: fakta baru

Ada satu kelemahan yang aku rasa sangat penting untuk produk sebenar.

Sistem yang konservatif terhadap provenance boleh menghukum maklumat yang baru.

Bayangkan sesuatu berlaku hari ini.

Belum banyak sumber autoritatif yang menerangkannya.

Search engine hanya mempunyai beberapa laporan awal.

Sistem mungkin berkata:

Evidence density: LOW

Sedangkan berita itu sebenarnya benar.

Ini ialah masalah cold start untuk provenance.

Sumber yang mapan mempunyai banyak bukti.

Fakta baru belum tentu mempunyai banyak bukti.

Jadi:

low evidence
      ≠
false

Ia mungkin cuma bermaksud:

"Belum cukup bukti untuk mengesahkan."

Dan itu perbezaan yang sangat penting.

---

17–26 saat untuk satu dokumen

Ada juga masalah yang sangat praktikal:

latency.

Audit mereka mengukur kira-kira 17 hingga 26 saat bagi setiap dokumen dalam pipeline tersebut.

Jadi sukar untuk membayangkan sistem ini berjalan secara synchronous setiap kali seseorang menekan:

Publish

Untuk aplikasi sebenar, reka bentuk yang lebih masuk akal mungkin:

User publishes
      ↓
Content available immediately
      ↓
Background provenance check
      ↓
Evidence sidebar updated
      ↓
Warnings / low-confidence claims

Atau:

Quick Check
     +
Deep Check

Ini jauh lebih realistik daripada cuba menjadikan setiap halaman menunggu puluhan saat sebelum boleh dibaca.

---

Jadi, apa yang patut kita tunjuk kepada pembaca?

Ini soalan yang paling menarik bagi aku.

Hari ini kita banyak bercakap tentang:

• AI watermark
• AI detection
• "Made with AI"
• content labels
• synthetic media disclosure

Semua itu berguna.

Tetapi ia menjawab persoalan tentang asal-usul.

Bukan kebenaran.

Mungkin interface masa depan patut kelihatan lebih seperti:

┌─────────────────────────────────┐
│ Article                         │
│                                 │
│ Malaysia announced...      [✓]  │
│                                 │
│ Source: Government report       │
│                                 │
│ The policy will begin...  [?]   │
│                                 │
│ No authoritative source found   │
│                                 │
│ Population increased...   [✓]   │
│                                 │
│ Source: Statistical Dept.       │
└─────────────────────────────────┘

Bukan sekadar:

🤖 Made with AI

Perbezaannya ialah satu memberitahu kita siapa yang membuatnya.

Satu lagi membantu kita memahami mengapa kita patut atau tidak patut mempercayainya.

---

Apa yang sebenarnya patut kita kejar?

Aku rasa perdebatan AI transparency terlalu lama berada pada soalan:

"Adakah content ini dibuat oleh AI?"

Soalan itu semakin kurang berguna apabila AI-generated text menjadi hampir tidak dapat dibezakan daripada tulisan manusia dari segi gaya.

Soalan yang lebih berguna ialah:

"Claim mana yang mempunyai evidence?"

Dan selepas itu:

"Sejauh mana evidence itu relevan, terkini dan boleh dipercayai?"

Itulah peralihan daripada:

Authorship transparency
        ↓
Evidence transparency

Dan aku rasa ini akan menjadi semakin penting apabila AI bukan sekadar menghasilkan artikel, tetapi mula menghasilkan:

• laporan
• research summaries
• keputusan operasi
• financial analysis
• policy drafts
• medical information
• code
• security assessments

Dalam semua keadaan ini, "Made with AI" hanyalah satu metadata.

Evidence adalah perkara yang kita perlukan untuk membuat keputusan.

---

Kesimpulan

Paper Provenance Density ini belum menyelesaikan masalah hallucination.

Dan aku rasa kita tidak patut membacanya begitu.

Ia masih mempunyai batasan yang jelas:

• user study menggunakan idealized/Oracle provenance signal
• audit hanya meliputi dataset tertentu
• dynamic-query result mempunyai sample limitation
• retrieval sendiri boleh memberikan false confidence
• provenance scoring boleh bias terhadap maklumat baru
• pipeline masih mempunyai latency yang ketara

Tetapi idea asasnya sangat menarik.

Transparency tidak semestinya bermaksud memberitahu siapa yang menulis sesuatu.

Kadang-kadang transparency yang lebih berguna ialah menunjukkan apa yang menyokongnya.

AI boleh menghasilkan ayat yang sangat meyakinkan.

Jadi kita tidak sepatutnya mengajar manusia untuk lebih pandai meneka:

"Ini AI atau manusia?"

Kita patut membina sistem yang membantu mereka bertanya:

"Mana buktinya?"

Itulah soalan yang lebih susah.

Dan mungkin juga soalan yang lebih penting — naluri sama yang dipakai penerbitan: pintu semakan manusia memeriksa bukti di sebalik setiap dakwaan dan bukannya mempercayai kelancaran draf.

Rujukan

• Zhang, Q., Huang, Y., Lee, J., Starner, T., & Rekimoto, J. — Beyond "Made with AI": Visualizing Provenance Density to Mitigate the Transparency Penalty. arXiv:2609.03460.
• Open-science repository: code, data and reproduction materials for the Provenance Density study.

---

Aku rasa versi ini lebih selamat untuk publish daripada draft asal sebab ia membezakan dengan jelas antara apa yang paper tunjuk, apa yang eksperimen idealized tunjuk, dan interpretasi kita sendiri. Itu penting untuk blog macam HEJES.MY yang nak nampak technical tetapi tak overclaim.

Untuk sisi penggunaan soalan yang sama — apa yang orang sebenarnya buat dengan sistem AI setelah ia digunakan — lihat cara penggunaan AI di lapangan.

Sumber

• arXiv: Beyond "Made with AI": Visualizing Provenance Density to Mitigate the Transparency Penalty
• GitHub: Provenance Density open-source implementation and research data