Vaani kini merangkumi 105 bahasa. Banyak model abaikan.

Vaani kini merangkumi 105 bahasa. Banyak model abaikan.

Bila Hugging Face dan Indian Institute of Science mengumumkan kerjasama Vaani pada Februari 2025, angka yang ditonjolkan agak sederhana: subset transkripsi kira-kira 790 jam merangkumi lebih kurang 54 bahasa. Kurang dua tahun kemudian, kad dataset menunjukkan cerita yang jauh berbeza. Vaani kini menyenaraikan kira-kira 31,278 jam pertuturan spontan berpandukan imej daripada 156,000 penutur di 165 daerah, merangkumi 105 bahasa, dengan 2,122 jam sudah ditranskripsikan.

Pertumbuhan itulah bahagian yang menarik. Ia juga bahagian yang belum dijejaki oleh kebanyakan pasukan model pertuturan. Bagi sesiapa yang membina ASR, TTS atau agen suara berbilang bahasa, Vaani kini antara korpus pertuturan berlesen terbuka yang terbesar di dunia, dan ia terletak dalam repositori yang ramai developer tidak pernah buka.

Apa sebenarnya Vaani

Projek Vaani dilancarkan pada 2022 oleh IISc dan ARTPARK bersama Google, dengan matlamat yang cukup jelas: merakam bahasa dan dialek yang ditinggalkan oleh dataset arus perdana. Daripada merakam beberapa bahasa besar di studio, projek ini menghantar pengumpul ke daerah dan merakam pertuturan spontan yang dipandu oleh imej. Sasaran jangka panjangnya ialah 150,000 jam pertuturan dan 15,000 jam teks transkripsi daripada kira-kira sejuta orang di kesemua 773 daerah India.

Dataset ini dikeluarkan secara berfasa. Fasa 1 meliputi 80 daerah dan telah dibuka. Fasa 2 menambah 85 lagi, menjadikan jumlah semasa 165 daerah. Data ini dibiayai Google dan turut diedarkan melalui Bhashini, platform National Language Translation Mission kerajaan India di bawah MeitY.

Angkanya membesar dengan pantas

Jurang antara pengumuman 2025 dan kad semasa patut diperhatikan. Pada Februari 2025, bahagian yang dibuka merangkumi kira-kira 54 bahasa dengan subset transkripsi 790 jam. Hari ini kad itu melaporkan 105 bahasa, 288,000 imej, dan 2,122 jam transkripsi yang tersebar hampir sekata merentasi 165 daerah.

Taburan yang hampir sekata ini memang disengajakan. Kebanyakan dataset pertuturan berekor panjang: segelintir bahasa mendapat ratusan jam dan selebihnya hanya beberapa minit. Taburan peringkat daerah Vaani menunjukkan bentuk yang bertentangan. Daerah Bengali membawa 180 hingga 200 jam, sementara rakaman Chakma, Garo atau Wancho berada dalam jadual yang sama dengan tempoh audio yang setanding. Jam transkripsinya lebih kecil, tetapi ia tersebar merentasi senarai bahasa daerah yang panjang, dan inilah yang menjadikan set ini berguna untuk model yang benar-benar berbilang bahasa dan bukan sekadar benchmark jenis "Hindi dan yang lain-lain".

Mengapa 105 bahasa lebih sukar daripada 105 muat naik

Jadual daerah itu sendiri satu pengajaran tentang mengapa pertuturan berbilang bahasa sukar. Satu entri daerah kerap menyenaraikan lima hingga lima belas label bahasa untuk audio yang dikumpul: Hindi bersama Bhojpuri, Magahi, Maithili, Angika dan Urdu dalam satu daerah Bihar; Telugu, Inggeris dan Hindi bertindan dalam daerah majoriti Telugu. Ini bukan dataset berasingan. Ia komuniti code-switching, dan dataset melabelkannya sedemikian.

Itu penting kerana model yang dilatih secara naif pada data satu-label-sefail akan belajar perkara yang salah. Jika satu fail dilabel "Hindi" tetapi mengandungi 30 saat Bhojpuri dengan lapisan Hindi, model ekabahasa menyerap bunyi bising, dan model pengenalpastian bahasa belajar sempadan yang tidak wujud dalam pertuturan sebenar. Pelabelan transkripsi Vaani memang direka untuk menyokong ASR code-switching bagi Indic-tambah-Inggeris, iaitu corak penggunaan sebenar di lapangan.

Memuatkannya dalam kod

Halangan praktikalnya ialah Vaani bergerbang. Repositori itu boleh dilihat secara umum, tetapi anda perlu menerima syarat dataset dan berkongsi maklumat hubungan sebelum boleh menarik fail. Ia bukan penghalang besar, tetapi ia bermakna skrip yang hanya memanggil loader akan gagal pada mesin baharu sehingga akaun itu menerima syarat berkenaan.

Cara jujur untuk memuatkannya ialah bertanya kepada Hub konfigurasi apa yang wujud, bukannya meneka:

from datasets import get_dataset_config_names, get_dataset_split_names, load_dataset

repo = "ARTPARK-IISc/Vaani"

# Inspect what the maintainers actually published instead of assuming names.
configs = get_dataset_config_names(repo)
print("configs:", configs)

for cfg in configs[:3]:
    print(cfg, get_dataset_split_names(repo, cfg))

# Requires the account to have accepted the dataset terms first.
ds = load_dataset(repo, configs[0], split="train", streaming=True)
for row in ds.take(2):
    print({k: (type(v).__name__) for k, v in row.items()})

Streaming penting di sini. Korpus 31,000 jam tidak akan muat dengan selesa dalam komputer riba, dan anda jarang perlukan keseluruhannya untuk fine-tune tokenizer atau menjalankan eksperimen ASR awal. Tarik satu shard, lihat lajur, dan barulah putuskan sama ada mahu memuat turun semuanya.

Apa yang patut diambil oleh developer

Tiga perkara patut dibawa ke dalam mana-mana projek pertuturan berbilang bahasa.

Pertama, sahkan versinya. Dataset ini berubah dengan ketara antara pengumuman 2025 dan kad semasa, jadi keputusan benchmark dari awal 2025 tidak setara dengan yang diukur hari ini. Rujuk kad itu, bukan catatan blog.

Kedua, anggap code-switching sebagai lalai, bukan kes terpencil. Jika pipeline anda menganggap satu bahasa bagi setiap fail audio, ia sudah pun salah bagi kebanyakan penutur di dunia.

Ketiga, rapatkan jurang antara ketersediaan dan penggunaan. Vaani ialah salah satu korpus pertuturan terbuka terbesar di mana-mana, dan ia kurang dipautkan kerana ia bergerbang dan campuran bahasanya tidak biasa bagi pasukan yang biasa dengan data gaya LibriSpeech. Menghasilkan semula benchmark ke atasnya, walau kecil, ialah sumbangan yang lebih berguna kepada ekosistem pertuturan Indic berbanding satu lagi fine-tune bahasa Inggeris.

Bagi pasukan yang bekerja pada tokenizer dan pipeline model, geseran yang sama muncul dalam keluaran terbuka yang lain, sebab itu cara sesebuah korpus dibungkus sama pentingnya dengan saiznya. Jika anda mahu gambaran tentang cara fine-tune gaya Conformer dibina atas data seperti ini, catatan awal kami tentang ggml dan llama.cpp menyertai Hugging Face sesuai sebagai bacaan iring, dan pertimbangan tokenizer dibincangkan dalam tinjauan mendalam GigaToken.

Sumber

• Hugging Face: HuggingFace, IISc partner to supercharge model building on India's diverse languages
• Hugging Face: ARTPARK-IISc/Vaani dataset card
• IISc / ARTPARK: Project Vaani