ENERGINEWS.ID — PrismML merilis Bonsai 2 27B, model penalaran yang dikompresi dari Qwen3.8 27B milik Alibaba menjadi hanya 5,9 GB. Ukuran itu cukup untuk berjalan di PC hingga smartphone kelas atas, dengan pemangkasan memori 9x hingga 10x dibanding model aslinya. Langkah ini membuka jalan bagi AI canggih yang berjalan langsung di perangkat pengguna, tanpa perlu koneksi ke cloud.
Ukuran tersebut memungkinkan model berjalan di komputer pribadi dan kemungkinan di smartphone kelas atas. Dibanding model aslinya, terjadi pengurangan kebutuhan memori hingga 9x sampai 10x.
Mengapa Ukuran Model Jadi Persoalan
Model bahasa besar umumnya menuntut ruang penyimpanan dan memori besar sehingga harus dijalankan di server cloud. Pendekatan itu membuat pengguna bergantung pada koneksi internet dan menimbulkan kekhawatiran privasi karena data dikirim ke luar perangkat.
PrismML bertaruh bahwa model penalaran berperforma tinggi tidak harus berukuran raksasa. Perusahaan ini menekan ukuran model agar bisa berjalan langsung di perangkat pengguna.
Teknik Kompresi Bobot Ternary
PrismML mengecilkan "weights" atau bobot yang membentuk sebuah model, yakni informasi yang dipelajari dan disimpan selama pelatihan. Normalnya setiap bobot membutuhkan 16 bit.
Pendekatan perusahaan yang disebut bobot "ternary" menyederhanakan nilai itu menjadi tiga kemungkinan: +1, ?1, atau 0. Dengan nilai yang jauh lebih kecil untuk disimpan, ruang yang dibutuhkan model menyusut drastis.
Akurasi Hampir Setara Model Asli
Bonsai 2 mencocokkan 98% skor benchmark agregat Qwen. Capaian itu naik dari Bonsai pertama yang dirilis Maret dan mencocokkan 95%.
Model pertama tersebut telah diunduh lebih dari 11 juta kali. Model PrismML yang lebih kecil lagi tercatat diunduh 2,6 juta kali menurut perusahaan.
CEO PrismML Babak Hassibi menyebut kompresi kemungkinan selalu menyisakan sedikit dampak. Meski begitu, selisih 2% dinilai tidak signifikan karena benchmark tidak sepenuhnya mencerminkan performa model pada tugas nyata.
Siapa di Balik PrismML
PrismML didirikan oleh sekelompok peneliti Caltech dan dipimpin Hassibi, seorang profesor Caltech yang ahli di bidang teknologi kompresi. Perusahaan ini juga menempatkan Ion Stoica sebagai advisor.
Stoica merupakan co-founder Databricks dan direktur Sky Computing Lab di Berkeley. PrismML didukung investor Khosla Ventures, Cerberus Capital, dan Caltech, dengan pendanaan seed USD 22,25 juta.
Pesaing di Teknologi Kompresi
PrismML bukan satu-satunya pemain di bidang kompresi LLM. Multiverse Computing, yang didirikan profesor dari Donostia International Physics Center Spanyol, juga menggarap teknologi serupa dengan pendanaan besar.
Hassibi menilai teknologi PrismML unik karena modelnya nyaris tidak kehilangan performa dibanding versi asli. Perusahaan dikabarkan tengah menjajaki pembicaraan dengan Apple, meski Hassibi menolak berkomentar soal itu.
Target Model Ratusan Miliar Parameter
PrismML berencana menerapkan teknik kompresi ini pada model yang lebih besar. Hassibi menyebut model berikutnya akan berada di kisaran ratusan miliar parameter dan diharapkan lebih mudah mempertahankan kecerdasannya.
Menurutnya, semakin besar ukuran model, semakin banyak ruang untuk mengompresi tanpa kehilangan kemampuan. Model besar dinilai lebih mudah mencapai paritas performa penuh.
Stoica menyebut teknologi ini membuka peluang model canggih berjalan di perangkat pengguna. "You are going to have intelligence at your fingertips, and it's going to be free because it's going to run on the device you already bought. It's also going to be private, because you're not going to send it to the cloud," ujarnya.
Bagi pengguna di Indonesia, tren kompresi model ini berpotensi memperluas akses AI canggih tanpa bergantung pada koneksi internet cepat. Pelaku bisnis digital dan pengembang aplikasi lokal bisa memanfaatkannya untuk membangun layanan AI yang berjalan langsung di perangkat.