Perplexity Portable Computer: Agent AI Tempatan di DGX Spark

Perplexity Portable Computer: Agent AI Tempatan di DGX Spark

Perplexity baru-baru ini melancarkan sesuatu yang menarik — versi tempatan sepenuhnya untuk platform agentic Computer mereka. Keseluruhan stack berjalan atas hardware sendiri: orchestrator, subagent, inference engine, tools, dan sandbox. Tiada kaitan dengan cloud secara lalai. Tiada bil per-token untuk kerja tempatan. Produk ini dipanggil Portable Computer, berjalan di atas NVIDIA DGX Spark dan mesin Linux dengan GPU RTX. Kalau anda sedang bina sistem agentic, ini serasi dengan tulisan awal kami tentang framework agent open-source DeepSeek Harness.

Model, fail, semuanya kekal dalam peranti. Kalau satu langkah perlukan reasoning tahap frontier atau akses web langsung, sistem berhenti dan tanya — kemudian hantar langkah itu sahaja kepada salah satu daripada 15+ model cloud. Data sensitif tidak keluar tanpa kebenaran anda.

Apa Yang Ada Dalam Paket

Portable Computer bukan sekadar aplikasi chat tempatan dengan file picker. Ia datang lengkap:

• Model tempatan — Qwen 3.8 27B atau PPLX 27B (varian post-trained daripada base yang sama untuk Perplexity)
• Inference engine — vLLM di bawahnya, dioptimumkan untuk DGX Spark
• Agent harness — orchestrator, planner, tool router
• Tool sandbox — ditadbir oleh OS, hadkan akses filesystem, proses, dan rangkaian
• App connectors — Google Drive, Gmail, Slack, GitHub, plus Outlook

NVIDIA Nemotron 3.5 Lightning (model terbuka 30B) akan datang tidak lama lagi. Mod canggih untuk inference endpoint custom juga disokong.

# Pemasangan pada DGX Spark — persediaan repository apt yang didokumenkan
sudo curl -fsSL https://packages.perplexity.ai/perplexity.gpg -o /usr/share/keyrings/perplexity.gpg
echo "deb [signed-by=/usr/share/keyrings/perplexity.gpg] https://packages.perplexity.ai/deb stable main" | sudo tee /etc/apt/sources.list.d/perplexity.list
sudo apt-get update
sudo apt-get install perplexity

Persediaan memasang harness, orchestrator, model, dan sandboxed execution mengikut aliran pemasangan yang didokumenkan; model orchestrator Qwen 3.8 27B dimuat turun berasingan. Model Qwen 3.8 27B dihantar dengan quantization 4-bit — muat turun 27.6 GB, perlu 24 GB RAM. Varian PPLX 27B gunakan base yang sama tetapi telah dilatih khusus untuk harness Perplexity.

Seni Bina Tempatan-Dahulu

Keputusan rekaan terpenting: setiap tugas bermula pada peranti. Orchestrator LLM atur kerja, subagent LLM laksanakan, semua panggilan tool berjalan dalam sandbox yang dikawal OS. Kalau sandbox tak ada, tool execution terus ditutup — bukan diturunkan secara senyap.

Kalau satu langkah perlukan sesuatu yang melebihi keupayaan model tempatan — reasoning kompleks, carian web langsung, atau tugas yang perlu model frontier — orchestrator berhenti. Ia pilih konteks yang relevan, jalankan PII classifier, dan tunjukkan kepada pengguna tepat-apa yang akan keluar dari peranti. Hanya lepas pengguna approve barulah langkah itu dihantar ke model cloud. Model cloud itu cuma pulangkan panduan teks — tak pernah akses fail tempatan, tools, atau sejarah perbualan secara langsung.

# Aliran konsep — orchestrator tempatan-dahulu Portable Computer
from portable_computer import Orchestrator, Sandbox

orchestrator = Orchestrator(
    local_model="qwen-3.8-27b",
    sandbox=Sandbox(
        filesystem="/home/user/projects",
        network=False,           # tiada outbound secara lalai
        process_limit=16,
    ),
    escalation="ask_first",     # tanya pengguna sebelum cloud routing
    pii_check=True,             # imbas konteks sebelum hantar keluar
)

# Semua kerja berjalan tempatan kecuali eskalasi diluluskan
result = orchestrator.run("Analyze the financial docs in ~/Documents/1099/")
# Kalau tugas melebihi keupayaan lokal:
#   -> imbas PII -> kelulusan pengguna -> routing ke model frontier -> respons teks sahaja

Nombor Benchmark

Perplexity jalankan ujian sendiri atas 53-tugasan Local Knowledge Work Bench — merangkumi deep research, analisis kewangan, dan penciptaan dokumen. Syarikat itu beritahu mereka merancang untuk open-source benchmark ini.

Portable Computer capai ketepatan paling tinggi dengan token paling sedikit. Pi siapkan tugasan paling cepat — tapi ketepatan lebih rendah dan penggunaan token lebih banyak.

Untuk Terminal Bench 2.1 (tugas berat kod), larian tempatan sepenuhnya capai 59.6% dengan kos marginal hampir sifar. Dengan eskalasi cloud, ia naik ke 73.0% pada kira-kira $0.415 per rollout — berbanding 82.4% pada kira-kira $0.65 untuk Claude Opus 5 sahaja.

Keperluan Hardware

Spesifikasi minimum: GPU RTX dengan 24 GB VRAM — lebih kurang GeForce RTX 3090 atau lebih baru. DGX Spark ialah platform utama, dengan superchip GB10 Grace Blackwell, 128 GB unified memory, dan TDP 140 W pada chip GB10.

Nader Khalil dari Nvidia tunjukkan dua Spark yang disambung boleh jalankan model frontier terbuka seperti DeepSeek terkini, dan empat boleh kendalikan GLM 5.2 atau Nemotron Ultra — pernah tengok lapan Spark disambung. Ini penskalaan hardware Nvidia, bukan ciri Portable Computer: Perplexity tidak sedang usahakan pengklusteran multi-Spark.

Linux sahaja OS yang disokong pada pelancaran. Windows menyusul September ini. Apple Silicon tiada dalam perancangan — Perplexity kata mereka fokus kepada hardware Nvidia.

Kenapa Ini Penting

Dari segi ekonomi, jelas. Inference tempatan zero kos per-token. Untuk tugas yang loops banyak token — migrasi kod berskala repo, gelung verifikasi panjang, analisis dokumen beratus fail — jalan atas hardware sendiri hilangkan masalah billing terus.

Privasi pun sama jelas. Dokumen kewangan, fail undang-undang, rekod perubatan — jenis data yang orang segan nak upload ke cloud — semua kekal dalam peranti. PII classifier dan gate eskalasi eksplisit bermakna konteks sensitif hanya keluar bila pengguna cakap ya.

Nate, VP kejuruteraan infrastruktur dan enterprise Perplexity, describe produk ini sebagai membawa "UI yang tepat sama kepada aplikasi tempatan sepenuhnya." Unjuran antara muka yang selalunya tunjukkan penggunaan kredit cloud "cuma terparkir di sifar, sebab semua ini berlaku dalam peranti."

Had Yang Sebenar

Benchmark ini datang daripada ujian Perplexity sendiri. Mereka akui model kompak 27B masih ketinggalan dengan jelas berbanding model frontier untuk tugas reasoning yang sukar. Eskalasi cloud "perkecilkan jurang tetapi tidak tutup sepenuhnya."

Batas VRAM 24 GB tolak keluar majoriti PC pengguna. Pengklusteran multi-Spark belum disokong — Perplexity tidak sedang usahakannya, walaupun tidak menolak kemungkinan itu. Jurang antara 59.6% tempatan dan 82.4% cloud pada Terminal Bench 2.1 memang nyata.

Tapi hala tuju jelas. Model open-source semakin kuat dengan cepat — NVIDIA Nemotron 3.5 Lightning (30B), Qwen 3.6 (35B), Qwen 3.8 (27B) semua melebihi jangkaan untuk tugas agentic. DGX Spark beri mereka rumah. Portable Computer beri mereka harness yang benar-benar berfungsi.

Bagi developer yang nak jalan agentic workflow tanpa bil setiap token — ini stack tempatan paling lengkap yang ada hari ini. Bukan binary preview. Software yang benar-benar available, atas hardware yang benar-benar available, dengan laluan jelas kepada model lebih besar apabila ia muat dalam kapasiti memori.

Sumber

• Perplexity Research: A Local-First Agent for Private and Cost-Effective Knowledge Work
• Perplexity: Portable Computer: Local-First AI
• VentureBeat via aVenture: Perplexity partners with Nvidia to launch Portable Computer, a fully local AI agent with zero token costs
• Jon Peddie Research: Nvidia and Perplexity partner to bring AI to local hardware
• HotHardware: Perplexity Portable Computer Turns NVIDIA DGX Spark Into An Out-Of-The-Box Local AI Agent
• NVIDIA: NVIDIA DGX Spark