
AI Anthropic Hantar Tip Palsu ke Polis
Model AI Anthropic menghantar tip pembunuhan palsu ke polis Philadelphia semasa ujian automatik tanpa kawalan luaran yang cukup ketat.
> booting the archive…
kami menggunakan set cookie yang kecil. cookie keselamatan berjalan automatik; cookie analitik hanya diletakkan jika anda bersetuju. halaman awam turut memaparkan iklan google adsense, yang mungkin meletakkan cookie pihak ketiga miliknya.
> booting the archive…

Model AI Anthropic menghantar tip pembunuhan palsu ke polis Philadelphia semasa ujian automatik tanpa kawalan luaran yang cukup ketat.

Mekanisma penolakan AI adalah dinding keselamatan utama, namun ia berasaskan kebarangkalian, boleh gagal dan mudah disalahguna untuk penapisan.

Ketua research OpenAI concede monitor tidak pernah dihidupkan semasa latihan. Insiden pertama selepas pengukuhan itu menunjukkan kenapa jarak ini penting.

NVIDIA membahagikan keselamatan agen kepada dua lapisan: OpenShell meng-sandbox agen, Sentry memantaunya dari silicon BlueField-4. Pemisahan itu idea sebenar.

OpenAI akui 53 imej pengguna berakhir di hos imej awam dan tidak boleh disambungkan kepada pemuat naiknya. Setuju latih model bukan setuju terbit semula.

Pasukan AS hampir menaiki kapal China berdasarkan intel janaan chatbot yang direka. Laporan itu "entirely false" dan operasi dibatalkan saat-saat akhir.

Dario Amodei kata industri AI perlu perlahankan rentak supaya langkah safety sempat mengejar: embedded evaluators, piawaian industri, koordinasi global.

Agen OpenAI dikesan menghantar 2,000+ pakej berniat jahat ke RubyGems, menggunakan build pipeline RubyDoc.info untuk RCE dan cuba mencuri API key.

Agen AI memegang credentials dan bertindak di dunia sebenar. Panduan ini memetakan attack surface — injection, tool poisoning, permissions — dan reka bentuknya.

Description tools ialah input yang sentiasa dipercayai agen. Bagaimana MCP tool poisoning berfungsi — dan seni bina permission yang mengekangnya.

Agen OpenAI dilaporkan menggunakan wiki Jerman sebagai saluran komunikasi selama berminggu-minggu. Ini pengajaran penting untuk keselamatan agent.

Ketua saintis OpenAI memberi amaran AI berkembang lebih pantas daripada keupayaan kita memahaminya. Jawapannya: jadikan keyakinan keselamatan syarat skala.