Needle 2: Model 14MB yang Panggil Tool pada Mana-mana Peranti

Needle 2: Model 14MB yang Panggil Tool pada Mana-mana Peranti

Kebanyakan model tool-calling memerlukan API cloud atau sekurang-kurangnya GPU yang agak berkuasa. Needle 2, projek open-source daripada Cactus Compute yang dilancarkan di GitHub, mengambil pendekatan berbeza: model 45M parameter yang muat dalam binari 14MB, jalankan sesi penuh dalam 28MB RAM, dan serah ke macOS, Linux, Windows, Android, iOS, serta WebAssembly. Tanpa GPU. Tanpa cloud. Tanpa masalah.

Apa Sebenarnya Needle 2?

Ini bukan model sembang umum yang dikecilkan untuk muat dalam peranti kecil. Needle 2 direka khusus untuk tool-calling. Cactus Compute guna apa yang mereka panggil Simple Attention Network — Hadamard MLP gantikan rangkaian feed-forward biasa, dimampatkan kepada CQ2-bit (repo; reka bentuk dan ablasi: kertas).

Perbezaan ini penting. Quantization selepas rawatan biasanya merosakkan kualiti model dan menelan belanja usaha engineering untuk pulihkan ketepatan yang hilang; resipi Cactus memampatkan kepada CQ2-bit sebagai sebahagian reka bentuknya.

Hasilnya? Pakej yang boleh install dengan pip dan terus panggil tool (lihat quickstart repo):

pip install cactus-needle

import needle

@needle.tool
def set_lights(room: str):
    "Turn off the lights in a room."
    return {"room": room, "state": "off"}

agent = needle.Needle(tools=[set_lights])
print(agent.run("Turn off the living room lights")["results"])

Angka Benchmark

Cactus melaporkan Needle 2 bertukar kemenangan dengan model kecil yang lebih besar (FunctionGemma 270M, LFM2.5 230M, Apple FM) pada pecahan saiznya (repo). Skor per-tugasan bergerak mengikut harness dan checkpoint, jadi semak kertas dan repo untuk jadual semasa dan bukannya anggap mana-mana nombor vendor sebagai tetap. Kisah kecekapannya berbentuk architecture: puluhan juta parameter buat kerja yang pesaing perlukan ratusan juta parameter.

Bagaimana Ia Kekal Kecil?

Beberapa keputusan reka bentuk membantu mengekalkan jejak kecil ini. Hadamard MLP ialah yang paling ketara — menggantikan lapisan feed-forward biasa dengan transformasi linear berstruktur memotong bilangan parameter tanpa cliff ketepatan yang biasa datang dengan naive pruning.

Kemudian ada pengurusan konteks. Needle 2 guna sliding window 256 token dengan tools dipinkan sebagai KV sinks. Tools kekal terpaku dalam KV cache walau perbualan bergerak ke mana, sementara sliding window pastikan memori kekal terkawal sepanjang sesi berbilang giliran. Ini keputusan engineering yang praktikal: definisi tool kekal resident tanpa perlu bayar kos quadratic attention pada keseluruhan sejarah perbualan.

Output pula dikekang kepada JSON schema melalui byte-level grammar. Bukan sesuatu yang ditambah lepas — ia dibakar terus ke dalam decoder supaya setiap token yang model hasilkan dijamin sah sebagai JSON. Kalau pernah debug model tool-calling yang hasilkan JSON rosak — kurang bracket atau quote tidak escape — pasti faham kenapa ini penting.

Kelajuan pada Peranti Sebenar

Kecekapan teori satu hal. Throughput sebenar pada device yang anda benar-benar nak deploy? Itu cerita lain. Cactus mensasarkan telefon, peranti boleh pakai, perkakasan rumah pintar, dan robot (repo) — jenis peranti yang anda memang mahu ada on-device tool calling: pembesar suara pintar tanpa skrin, headset VR yang perlu laras tetapan tanpa latency, atau telefon yang berjalan sepenuhnya offline di kawasan luar bandar. Angka throughput per-peranti yang diterbitkan tidak disahkan secara bebas untuk artikel ini, jadi anggap dakwaan kelajuan vendor sebagai dakwaan vendor dan ukur pada perkakasan sendiri.

Sebagai konteks tentang tokenization pantas di edge, artikel awal kami tentang Gigatoken dan gelombang pemodenan Rust merangkumi bagaimana tokenizer sendiri menjadi bottleneck dalam pipeline LLM. Needle 2 mengelak kebanyakan masalah ini dengan menghantar pemberat yang dibakar ke dalam satu enjin 14MB tanpa fail model berasingan untuk diurus (repo).

Apabila Model Tidak Pasti

Salah satu ciri paling praktikal ialah sistem confidence scoring. Needle 2 menghasilkan skor confidence bersama setiap tool call. Apabila skor jatuh bawah ambang tertentu, sistem boleh naikkan kepada model cloud — pendekatan hibrid yang beri anda kelebihan latency inference on-device dengan jaringan keselamatan model yang lebih besar apabila keadaan menjadi kabular.

Ini jenis architecture yang penting dalam produksi. Anda tak mahu pengawal rumah pintar anda yakin panggil fungsi yang salah kerana model 45M parameter hallucinate nama tool. Skor confidence beri anda laluan eskalasi yang bersih — satu sebab jadual benchmark vendor wajar dibaca dengan curiga sebelum anda merancang berdasarkannya.

Corak Yang Berbaloi Disalin: Eskalasi Berpagar Confidence

Generalisasikan mekanisme di atas menjadi peraturan penghalaan tiga peringkat. On-device kendalikan yang rutin: panggilan keyakinan tinggi dilaksanakan setempat, pantas dan percuma. Cloud ambil yang kabur: skor bawah ambang dinaikkan kepada model lebih besar, tepat hibrid yang dihuraikan artikel ini. Manusia ambil yang kritikal-keselamatan: tindakan tidak boleh undur menunggu pengesahan walau apa pun skor. Bezakan dengan "satu model besar buat semua," di mana setiap peringkat membayar latency dan kos cloud. Peringkat itu tidak guna apa-apa selain contoh pengawal rumah pintar dan rangka artikel sendiri — tetapi dinyatakan sebagai peraturan, corak itu boleh dibawa ke mana-mana deployment edge, bukan sekadar model ini.

Ia juga sejajar dengan pola yang lebih luas yang kami bincangkan dalam agentic AI dan scientific computing — peralihan daripada "model buat semua" kepada "model buat apa yang ia mampu, dan sistem tentukan bila nak bawa masuk sesuatu yang lebih besar." Verification dan orchestration kekal di hulu. Model kecil kendalikan kes rutin dengan pantas, murah, dan secara tempatan.

Mod Kegagalan yang Dibawa Tool-Caller 45M

Kecil ada bentuk kegagalan tersendiri, semuanya terbit daripada reka bentuk di atas. Tetingkap 256 token bermakna definisi tool menyesakkan sejarah perbualan — tambah terlalu banyak tool dan model lupa apa yang anda tanya. Tatabahasa JSON menjamin sintaks, bukan semantik: panggilan tool yang salah tetapi sah melepasi setiap semakan yang dibuat decoder. Dan ambang confidence memotong dua arah — tetapkan tinggi dan semuanya naik ke cloud (menewaskan tujuan); tetapkan rendah dan keyakinan yang tersalahentukur melaksanakan panggilan buruk setempat. Tiada satu pun alasan untuk menolak model ini. Semuanya ujian penerimaan untuk menggunakannya.

Kes Penggunaan yang Masuk Akal

Gabungan saiz kecil, output terkawal JSON, dan eskalasi berasaskan confidence membuka beberapa sasaran deployment yang menarik:

Voice-to-action pada peranti tanpa skrin. Pembesar suara pintar yang dengar "matikan lampu dapur pukul 10 malam" dan terus panggil tool yang betul tanpa perlu pusing ke cloud. Jejak memori 28MB bermakna ia berjalan pada hardware pembesar suara itu sendiri.

Kawalan peralatan luar talian. Persekitaran industri atau pertanian di mana sambungan cloud tidak boleh diharap. Binari 14MB yang berjalan pada papan kos rendah boleh menghantar arahan bahasa semula jadi dan panggil API peranti secara tempatan — tetapi perhatikan ketegangan dalam spesifikasi: jejak sesi 28MB penuh muat pada telefon dan komputer papan tunggal, bukan mikropengawal terkecil.

Ekstrak resit dan dokumen. Kekangan grammar JSON menjadikannya pilihan semula jadi untuk tugas ekstrak berstruktur. Hantar teks OCR daripada resit, terima JSON bersih dengan bar item, jumlah, dan maklumat vendor — tanpa perlu regex pasca-pemprosesan.

Apa Maknanya?

Needle 2 tidak akan gantikan GPT atau Claude untuk complex reasoning. Itu bukan titiknya. Titiknya ialah model yang cukup kecil untuk muat dalam mikropengawal kini boleh panggil tool secara boleh dipercayai, hasilkan output berstruktur, dan kendalikan perbualan berbilang giliran — dengan latency on-device yang tidak dapat dipadankan oleh pusingan cloud apabila rangkaian menjadi bottleneck.

Projek ini open-source di bawah Cactus Compute (lihat repo untuk terma lesen). Saiz binari, keputusan benchmark, pilihan architecture — semuanya telus. Kalau anda bina sesuatu yang perlukan on-device intelligence tanpa bergantung pada cloud, Needle 2 memang berbaloi untuk dicuba. Dengan 14MB, kos percubaan diukur dalam masa muat turun, bukan bajet engineering.

Sumber

• Cactus Compute: cactus-compute/needle — repositori Needle 2
• arXiv: Needle 2 design and ablations