Perplexity Hybrid Compute: Model Tempatan & Agent Cloud

Perplexity Hybrid Compute: Agent Cloud Tunjuk Turun ke Model Mac Tempatan

Agentic AI ada satu masalah struktur yang tak boleh dibaiki dengan prompt engineering sahaja: konteks yang menjadikannya berguna — dokumen perjanjian, fail berhak istimewa, rekod pelanggan — itulah juga konteks yang anda tak boleh hantar ke endpoint cloud kerana alasan undang-undang mahupun keselamatan. Minggu lepas Perplexity melancarkan jawapan local-first mereka untuk NVIDIA DGX Spark melalui Portable Computer. Minggu ini mereka terbalikkan arah perjalanan pada Mac dengan Hybrid Compute: satu tugasan, dibahagi antara model frontier di cloud dan model yang lebih kecil di atas Mac anda, dengan privacy gate on-device yang menentukan apa yang boleh melepasi sempadan. Dan luar biasanya, classifier di sebalik gate itu bersifat open-source.

Apa Yang Hybrid Compute Sebenarnya Buat

Arah orkestrasi ialah keputusan reka bentuk yang paling penting. Computer memulakan setiap tugasan di cloud, di mana model frontier mengendalikan web search, perancangan, dan reasoning jarak jauh (long-horizon). Bila satu langkah menyentuh fail peribadi atau data sensitif, Computer menyerahkan langkah itu ke bawah kepada model tempatan di Mac anda — tanpa perlu memulakan semula tugasan atau kehilangan konteks — kemudian menggabungkan kedua-dua bahagian menjadi satu hasil yang anda tak perlu selaraskan sendiri.

Ini membalikkan mod local-compute yang Perplexity lancarkan pada DGX Spark seminggu sebelumnya, di mana tugasan bermula atas hardware anda dan kemudian eskalasi naik ke model cloud dengan kebenaran. Orchestrator yang sama, lalai yang bertentangan. Versi DGX Spark menganggap anda memiliki compute itu dan mahu melindungi bahagian hulu; versi Mac pula menganggap cloud yang buat kerja berat, tetapi mahu melindungi bahagian hilir.

# Aliran konsep orchestrator cloud-first Hybrid Compute
from perplexity_computer import Task, LocalNode, CloudProxy

task = Task("Ringkaskan MSA, redact angka sulit, kemudian draf balasan")

# Bermula di cloud: search + plan + reasoning jarak jauh
plan = task.plan_with("frontier-model")

# Satu langkah menyentuh fail terlindung -> diturunkan ke model Mac tempatan
with LocalNode(model="pplx-qwen-3.8-27b") as local:
    local.inspect(plan.files["msa.pdf"])

# Gate on-device mengelaskan setiap span sebelum apa-apa keluar
gate = local.gate()
decision = gate.evaluate(
    content=plan.files["msa.pdf"],
    policy={"credentials": "mask", "gov_ids": "ask"},
)
# decision: "local" | "mask" | "refuse" | "ask"

# Hanya selepas gate lulus barulah cloud nampak stand-in yang boleh dipulihkan
merged = CloudProxy().merge(local.redacted(plan), restored=gate.restore())

Memandangkan Computer juga berfungsi di iPhone, tugasan boleh dicetuskan dari jauh manakala langkah-langkah sensitif dijalankan pada Mac yang berada di atas meja anda. Perplexity secara jelas meletakkan Mac mini yang sentiasa aktif sebagai node inference tempatan yang khusus untuk corak seperti ini — "pusat data" di rumah yang tidak pernah membiarkan rekod pelanggan menyentuh API pihak ketiga.

Privacy Gate Ialah Komponen Utama

Sebelum apa-apa daripada fail terlindung sampai ke cloud, classifier on-device memeriksanya dan menerapkan satu daripada empat keputusan:

• Keep local — langkah itu langsung tidak keluar dari mesin
• Mask — span sensitif digantikan dengan stand-in semasa keluar
• Refuse — tindakan itu disekat terus
• Ask — pengguna memberi kebenaran sebelum ia diteruskan

Credentials, nombor kad pembayaran, dan ID kerajaan dikendalikan paling ketat. Nilai yang di-mask digantikan dengan stand-in semasa keluar dan dipulihkan di pihak server apabila jawapan cloud kembali, jadi draf rundingan yang sebahagiannya di-mask masih terbaca dengan padan.

PII-Tracer: Model 0.6B Di Sebalik Gate

Enjin gate ini ialah PII-Tracer, encoder bidirectional bersaiz 0.6B yang diadaptasi daripada Qwen3 backbone. Ia menggantikan causal mask dengan bidirectional attention yang peka padding dalam tetingkap 4,096 token. Kepala tagging linear mengeluarkan 37 label — satu label outside-span ditambah label posisi BIOES untuk setiap satu daripada sembilan jenis PII — dan kepala tambahan meramal sama ada satu perbualan mengandungi bahan sensitif. Latihan berjalan tiga epoch pada kira-kira 714,000 sampel, dan decoder Viterbi berterhad menyelesaikan jujukan label semasa inference.

Benchmark yang menyertainya, PII-TRACE, mengandungi 13,148 perbualan sintetik dalam 13 bahasa dan 10 sistem tulisan, dengan 37,431 sebutan identifier peringkat aksara. Tuntutan utamanya halus dan wajar difahami dalam-dalam: mencari kebanyakan PII dalam perbualan panjang bukan perkara yang sama dengan mencari setiap salinan PII tersebut. Satu sebutan berulang nombor kad yang terlepas masih juga satu kebocoran.

Dari segi keputusan, PII-Tracer mendahului 12 detector pada character F1 (0.629) dan berada di tempat kedua pada span-overlap dan span-containment F1, di belakang GPT-5.6-sol. Pada konsistensi ia mendahului dengan jurang yang besar — ia menemui setiap sebutan untuk 79.4% identifier berulang dan 77.6% identifier merentas giliran, berbanding 57.0% dan 55.1% untuk GPT-5.6-sol. Dalam kelompok paling sukar (6–10 sebutan) ia mendapat 0.691 berbanding 0.464 untuk GPT-5.6-sol, 0.073 untuk GLiNER2-PII, dan 0.045 untuk Claude Opus 4.8.

Perangkap Konteks Panjang dan Penyelesaian Decoding

Butiran kejuruteraan yang menarik ialah recall satu tetingkap jatuh dari 0.975 pada perbualan bawah 1,000 aksara kepada hanya 0.687 pada 10,000 aksara atau lebih. Penyelesaian Perplexity ialah decoding, bukan retraining semula: sliding window bertindih 50% menaikkan character recall keseluruhan dari 0.830 kepada 0.965 dan pengesanan konsisten multi-mention dari 0.794 kepada 0.954 pada checkpoint yang sama. Itu kemenangan yang murah dan praktikal yang patut dicuri oleh mana-mana pasukan yang membina pengesanan PII.

Model, Kawalan, dan Ketersediaan

Pengumuman itu menyenaraikan tiga model tempatan pada pelancaran: Gemma 4 E4B, Qwen3.6 35B-A3B, dan model Perplexity yang dilatih khas untuk Computer. Aliran setup pada halaman produk menunjuk kepada muat turun sekali klik PPLX Qwen 3.8 27B, dan organisasi Hugging Face Perplexity menyediakan binaan pplx-computer-qwen-3-8-27b yang sepadan di samping pplx-pii-masking-vllm, model 0.6B di sebalik gate tersebut. Model tempatan dipasang sekali klik dari aplikasi Mac — tiada Ollama, tiada runtime berasingan, tiada API key — dan kerja tempatan tidak menggunakan kredit cloud.

Hybrid Compute berfungsi untuk pelanggan Pro, Max, dan Enterprise pada mana-mana Mac dengan Apple silicon yang menjalankan macOS 15 atau lebih baharu dengan sekurang-kurangnya 24GB memori unified (32GB disyorkan).

Untuk Enterprise, admin boleh menetapkan peraturan seluruh organisasi tentang apa yang mesti kekal pada peranti, apa yang boleh di-mask, dan apa yang memerlukan kelulusan eksplisit — serta audit log untuk bila maklumat meninggalkan mesin. Itulah bahagian yang menjadikannya benar-benar boleh digunakan untuk pasukan undang-undang, penjagaan kesihatan, dan kewangan, bukan sekadar menarik dari segi teknikal.

Maksudnya Untuk Dev yang Membina Sistem Agentic

Corak yang sedang ditujui Perplexity — orchestrator cloud yang dapat turun seketika dan secara telus kepada model tempatan di belakang privacy gate — ialah salah satu jawapan paling munasabah setakat ini untuk masalah "saya tak boleh hantar benda ini ke API". Kalau anda membina agent menegak untuk industri terkawal, mencuri dua idea daripada pelancaran ini berbaloi: classifier yang menemui setiap kejadian, bukan sekadar sebahagian, dan gate empat arah yang eksplisit (local / mask / refuse / ask) bukannya binari "hantar / tak hantar". Digabungkan dengan node tempatan yang sentiasa aktif untuk langkah sensitif, itu hampir sepenuhnya satu privacy architecture yang sedia produksi — tidak kira siapa pembekal model frontier.

Rumusan Ringkas

• Hybrid Compute memulakan tugasan di cloud dan menyerahkan langkah sensitif ke bawah kepada model Mac tempatan, di tengah-tengah tugasan, tanpa kehilangan konteks.
• Classifier PII on-device mengawal sempadan: local, mask, refuse, atau ask.
• PII-Tracer (0.6B) mendahului 12 detector pada character F1 (0.629) dan dalam mencari setiap sebutan berulang (79.4%).
• Recall konteks panjang jatuh ke 0.687 melebihi 10K aksara; decoding sliding window memulihkannya kepada 0.965.
• Berjalan pada Apple silicon, macOS 15+, 24GB memori unified, untuk Pro, Max, dan Enterprise.

Untuk lebih lanjut tentang gelombang local agent semasa di blog ini, lihat liputan kami tentang Perplexity Portable Computer pada DGX Spark. Baca pengumuman Perplexity dan post penyelidikan PII-TRACE untuk butiran penuh.

Sumber

• Perplexity: Introducing Hybrid Compute on Mac
• Perplexity: PII-TRACE: Detecting personal data before it leaves the device