Apriel-H1: Suling Model Reasoning, Bukan Pretraining

Apriel-H1: Suling Model Reasoning, Bukan Pretraining

Kebelakangan ini banyak perbincangan tentang satu soalan yang agak mudah bunyinya: sejauh mana architecture seperti Mamba benar-benar boleh menggantikan attention untuk model besar?

Post-mortem MiniMax M2 antara yang paling banyak mencetuskan perbincangan. Pada skala 230B parameter, mereka akhirnya memilih untuk kembali kepada full attention. Terus muncul kesimpulan mudah dalam komuniti: efficient attention tak menjadi.

Kemudian datang pula Kimi Linear.

Jadi nampaknya ceritanya bukan semudah "attention menang" atau "Mamba menang". Architecture yang sesuai banyak bergantung pada apa yang sebenarnya kita cuba optimize.

ServiceNow berdepan masalah yang lebih praktikal.

Mereka sudah mempunyai model reasoning 15B yang agak kuat, Apriel-Nemotron-15B-Thinker. Daripada melatih model baru dari kosong, mereka cuba ubah model yang sudah ada supaya lebih murah dan pantas untuk inference.

Soalan mereka lebih kurang begini:

Kalau kita sudah ada model yang bagus, boleh tak kita tukar sebahagian attention layer kepada Mamba dan kemudian gunakan distillation untuk mendapatkan semula kemampuan reasoning yang hilang?

Jawapannya ialah Apriel-H1.

Dan bagi saya, bahagian paling menarik bukan sekadar angka throughput 2.1x itu.

Ia adalah data yang mereka pilih untuk distillation.

Apa sebenarnya yang mereka bina?

Apriel-H1 bukan satu checkpoint sahaja.

ServiceNow menghasilkan tujuh checkpoint dengan jumlah Mamba layer yang berbeza. Model asal mempunyai 50 layer, dan antara 25 hingga 40 daripadanya digantikan dengan Mamba state-space mixer.

Ini menghasilkan beberapa titik pada trade-off antara performance dan quality.

Checkpoint utama, H-30, menggunakan 30 Mamba layer dan mencapai sekitar 1.89 hingga 2.09x throughput, bergantung kepada panjang context.

Untuk latihan, jumlahnya ialah 76.8B token:

• 55.9B token untuk distillation
• 20.9B token untuk supervised fine-tuning

Keputusan benchmark pula tidak menunjukkan model yang sekadar "lebih laju tetapi jauh lebih bodoh".

Ada benchmark yang meningkat dan ada yang turun sedikit.

Itulah trade-off yang mereka cuba capai: kehilangan quality yang kecil sebagai pertukaran kepada peningkatan throughput yang besar.

Untuk model yang digunakan dalam production, trade-off macam ini jauh lebih menarik daripada sekadar mengejar satu lagi point di leaderboard. Obsesi throughput production yang sama memacu tier inference ultralaju — tuil berbeza, bajet sama.

Bahagian yang paling menarik: data apa yang patut digunakan?

Pada mulanya, logiknya nampak jelas.

Kalau kita baru memasukkan Mamba layer ke dalam model, Mamba itu belum pernah belajar apa-apa. Jadi kenapa tidak gunakan data pretraining asal?

Model perlu belajar general token mixing, bukan? Token juga tempat duit pergi — pilihan markup sahaja boleh menggandakan kos token.

Masalahnya, pendekatan itu tidak memberikan hasil yang diharapkan.

Model hybrid yang didistill menggunakan data pretraining kehilangan sebahagian daripada kemampuan reasoning.

Sebaliknya, hasil yang lebih baik datang daripada reasoning traces berkualiti tinggi daripada dataset SFT teacher.

Ini sebenarnya masuk akal apabila dilihat dari sudut lain.

Kalau tujuan kita adalah mengekalkan kemampuan reasoning, kita bukan cuba mengajar model itu semula seluruh dunia yang pernah dipelajarinya.

Kita cuba memastikan ia masih tahu cara menyelesaikan masalah.

Ambil contoh masalah matematik yang panjang.

Ada premise, kemudian beberapa langkah pengiraan, diikuti inference dan akhirnya jawapan. Hubungan antara langkah-langkah itulah yang penting.

Model perlu belajar corak itu.

Pretraining data pula sangat besar dan pelbagai. Ia memang bagus untuk membina model asas, tetapi kebanyakan data itu tidak memberikan signal reasoning yang cukup jelas untuk tugas distillation ini.

Reasoning trace lebih targeted.

Contohnya:

• Penyelesaian matematik yang mempunyai beberapa langkah dan hubungan yang jelas antara setiap langkah
• Tugasan coding yang memerlukan beberapa keputusan logik sebelum sampai kepada implementation akhir
• Analisis saintifik yang menunjukkan bagaimana satu kesimpulan dibina daripada fakta dan pemerhatian

Jadi daripada kajian ini muncul satu prinsip yang cukup berguna:

Kalau anda mahu mengekalkan sesuatu capability, distill menggunakan data yang benar-benar menunjukkan capability itu.

Bukan semestinya data yang digunakan untuk pretraining model asal.

Reverse KL pula memainkan peranan

Selepas menentukan jenis data, mereka perlu memilih objective untuk distillation.

ServiceNow membandingkan forward KL dengan reverse KL dan mendapati reverse KL dengan temperature 1 memberikan hasil yang lebih konsisten.

Secara ringkas, reverse KL lebih cenderung kepada behaviour yang jelas daripada teacher.

Kalau teacher sangat yakin terhadap satu jawapan atau satu langkah reasoning, student digalakkan untuk ikut keputusan tersebut daripada cuba menyebarkan probability kepada banyak kemungkinan lain.

Dalam konteks reasoning trace yang berkualiti, ini berguna.

Student bukan sekadar cuba meniru distribution teacher. Ia cuba mendapatkan semula behaviour yang menghasilkan reasoning tersebut.

Tak boleh main tukar semua layer sekali gus

Ini bahagian yang mungkin nampak paling straightforward tetapi sebenarnya agak susah.

Kalau 40 attention layer terus digantikan dengan Mamba dalam satu langkah, model akan mengalami masalah besar.

Jadi ServiceNow menggunakan proses secara berperingkat.

Peringkat 1: Cari layer yang paling mudah digantikan

Mereka bermula dengan Leave-One-Out (LOO) analysis menggunakan MMLU.

Setiap layer diuji dengan membuangnya dan melihat berapa banyak performance berubah.

Daripada situ, mereka boleh susun layer berdasarkan kepentingannya.

25 layer yang dianggap paling kurang kritikal digantikan dengan mixer daripada Mamba-in-Llama, kemudian model didistill secara end-to-end.

Hasilnya ialah checkpoint H-25.

Tetapi pendekatan ini mula menghadapi masalah apabila jumlah layer yang diganti semakin banyak.

Peringkat 2: Tengok bagaimana layer itu belajar

Masalah dengan LOO ialah sesuatu layer mungkin nampak tidak penting apabila diuji seorang diri.

Selepas beberapa layer lain ditukar kepada Mamba, layer yang sama mungkin menjadi sangat penting.

Jadi ranking statik tidak lagi cukup.

ServiceNow memperkenalkan heuristik yang dipanggil MIL-Mamba-Replacement (MMR).

Konsepnya lebih praktikal: ambil satu layer calon, initialize Mamba mixer dan jalankan kira-kira 100 training steps. Kemudian lihat distillation loss.

Layer yang lebih mudah mencapai loss rendah akan ditukar terlebih dahulu.

Maksudnya mereka bukan hanya bertanya:

"Layer mana yang paling tidak penting?"

Tetapi juga:

"Layer mana yang paling mudah dipindahkan kepada Mamba?"

Proses ini menghasilkan progression:

25 → 27 → 30 → 34 → 37 → 40 Mamba layer

Peringkat 3: SFT

Selepas jumlah Mamba layer yang diperlukan dicapai, model melalui supervised fine-tuning.

Ini membantu menstabilkan semula kemampuan reasoning selepas proses architecture conversion dan distillation.

H-40 memang lebih laju, tetapi kosnya pun naik

H-40 ialah versi yang lebih agresif.

Dengan 40 Mamba layer, model mencapai sekitar 3.4x throughput.

Tetapi untuk sampai ke situ, ia menggunakan sekitar 136.5B token untuk latihan.

Jadi saya tak akan kata H-40 ialah "model yang lebih baik".

Ia cuma berada pada titik trade-off yang berbeza.

Kalau latency dan inference cost ialah masalah utama anda, 3.4x throughput mungkin jauh lebih bernilai daripada sedikit penurunan benchmark.

Kalau quality lebih penting, H-30 mungkin pilihan yang lebih masuk akal.

Sebagai perbandingan, Nemotron-Nano-9B-v2 NVIDIA dilaporkan mencapai sekitar 4.6x throughput pada skor yang setanding.

Tetapi ada satu perbezaan besar.

Nemotron-Nano dilatih dari awal dan menggunakan compute yang jauh lebih besar.

Apriel-H1 cuba menyelesaikan masalah yang berbeza: ambil model yang sudah bagus dan jadikan ia lebih murah untuk digunakan.

Fast-LLM buat pendekatan ini lebih terbuka

Satu lagi perkara yang menarik ialah proses ini bukan bergantung sepenuhnya kepada training infrastructure proprietari ServiceNow. Keterbukaan itu sebahagian daripada perubahan yang lebih besar — model tempatan baru sahaja mendapat rumah sendiri.

Mereka menggunakan Fast-LLM, framework open-source berlesen Apache 2.0.

Idea asasnya mudah: attention dan Mamba boleh dianggap sebagai implementation yang berbeza untuk komponen mixing dalam architecture.

Jadi hybrid model boleh diterangkan sebagai susunan layer.

Contohnya:

decoder:
  type: "pattern"
  blocks:
    attention_block:
      mixer:
        type: "attention"
        heads: 32
        head_groups: 8
        head_size: 128
      mlp:
        type: "gated"
        activation: "silu"

    mamba_block:
      mixer:
        type: "mamba"
        d_inner: 4096
        state_size: 16
        dt_rank: 16
      mlp:
        type: "gated"
        activation: "silu"

  num_blocks: 50
  pattern:
    - "attention_block"
    - "attention_block"
    - "mamba_block"
    # ...

Distillation juga boleh dikonfigurasikan dalam training stack tersebut.

Teacher menggunakan loss reverse_kl, manakala Fast-LLM menguruskan perkara seperti gradient accumulation, distributed training dan tensor parallelism.

Konfigurasi Mamba yang digunakan termasuk state size 16, DT rank 16 dan inner dimension 4096.

Tapi production deployment masih belum semudah itu

Di atas kertas semuanya nampak agak kemas.

Dalam production, ceritanya sedikit berbeza.

Hugging Face Transformers dan vLLM sudah mempunyai sokongan untuk Mamba. vLLM juga mempunyai operasi cache khusus untuk Mamba yang berkaitan dengan continuous batching, prefix caching dan chunked prefill.

Jadi infrastructure asas memang semakin tersedia.

Cuma jangan anggap hybrid model ini sudah sama mudah dengan deploy model Transformer biasa.

Masih ada kerja yang perlu dibuat.

Anda mungkin perlu menulis integration code sendiri, menguji numerical behaviour dengan teliti dan berdepan dengan limitation tertentu dalam framework yang digunakan.

Kalau anda memang sudah mengurus inference infrastructure sendiri, kos tambahan itu mungkin berbaloi.

Kalau anda mahukan sesuatu yang terus jalan tanpa banyak tuning, mungkin belum masa terbaik untuk berpindah.

Ekosistemnya sedang bergerak laju, tetapi belum sepenuhnya matang.

Mereka juga sengaja tidak masukkan RL

Ada satu lagi keputusan dalam kajian ini yang mudah terlepas pandang.

Daripada tujuh checkpoint yang dihasilkan, hanya H-30 menjalani SFT dalam eksperimen utama.

Checkpoint lain kekal sebagai distilled models yang boleh digunakan untuk fine-tuning kemudian.

Reinforcement learning pula tidak dimasukkan.

Ini bukan semestinya kerana RL tidak berguna.

Sebaliknya, mereka mahu menjawab satu soalan dengan lebih bersih:

Bolehkah reasoning dipindahkan daripada model asal kepada architecture hybrid hanya melalui distillation?

Dengan tidak memasukkan RL, mereka boleh mengasingkan kesan architecture conversion dan distillation dengan lebih jelas.

Dan hasilnya menunjukkan bahawa pendekatan tersebut memang boleh berfungsi.

Mereka juga menyatakan bahawa RL berpotensi membantu menutup lagi jurang quality yang masih ada.

Apa yang saya rasa menarik tentang Apriel-H1

Bagi saya, nilai sebenar Apriel-H1 bukan pada tajuk "Mamba 2x lebih laju".

Kita sudah biasa melihat model baru yang cuba mendapatkan inference throughput lebih tinggi.

Yang lebih menarik ialah pendekatan retrofit ini.

Daripada:

"Kita perlukan architecture baru, jadi kita train model baru."

mereka cuba:

"Model yang kita ada sudah cukup bagus. Boleh tak kita ubah bahagian yang mahal dan kemudian recover capability yang hilang?"

Itu perbezaan yang besar dari sudut kos.

Syarikat tidak semestinya perlu membuang model yang sudah dilatih hanya kerana architecture asalnya tidak ideal untuk serving.

Sebahagian attention layer boleh digantikan, kemudian distillation digunakan untuk mengajar architecture baru supaya mengekalkan behaviour model asal.

Dan pada masa yang sama, kajian ini menunjukkan satu perkara yang agak penting tentang distillation:

Jangan pilih data hanya kerana data itu digunakan untuk pretraining. Pilih data berdasarkan capability yang anda cuba kekalkan.

Untuk Apriel-H1, capability tersebut ialah reasoning.

Sebab itu reasoning traces lebih berguna daripada sekadar mencurahkan data pretraining kepada student.

Paper dan koleksi model Apriel-H1 sudah tersedia secara terbuka.

Dan saya rasa tujuh checkpoint itu memang lebih baik dilihat sebagai satu spectrum, bukan pertandingan mencari satu model yang "paling bagus".

Ada yang lebih menjimatkan quality.

Ada yang lebih mengejar throughput.

Ada yang memerlukan lebih banyak compute untuk latihan.

Model mana yang masuk akal akhirnya bergantung kepada satu benda yang selalu dilupakan dalam benchmark:

berapa mahal sebenarnya model itu untuk anda jalankan.

Sumber

• Hugging Face Blog (MiniMax AI): Why did M2 end up as a full-attention model
• GitHub (Moonshot AI): Kimi Linear
• Hugging Face (ServiceNow AI): Apriel-Nemotron-15B-Thinker
• arXiv: Mamba-in-Llama: Distilling Selective State-Space Models into Transformers
• arXiv: Apriel-H1 technical paper
• Hugging Face (ServiceNow AI): Apriel-H1 model collection