Berapa banyak memori yang dibutuhkan LLM lokal?
Sebelum mengunduh model untuk dijalankan secara lokal, pertanyaannya adalah apakah model itu muat di memori. Perkiraannya adalah penjumlahan tiga suku, lalu dibandingkan dengan memori yang benar-benar bisa diberikan mesin kepada model: need = weights + KV cache + overhead fits if need <= 0.8 × usable memory Angka-angka di bawah mengikuti perkiraan yang dipakai peramban model lokal di aplikasi…
Untuk menjawab pertanyaan mengenai ukuran memori yang dibutuhkan oleh model LLM lokal, perlu mempertimbangkan tiga komponen utama: weights, KV cache, dan overhead. Dalam aplikasi desktop osFoundry, perkiraan memori yang diperlukan ditentukan dengan mengalikan jumlah parameter dengan byte per weight, yang bergantung pada kuantisasi. Untuk model 14B di kuantisasi Q4_K_M, ukuran memori mencapai sekitar 8-9 GB.
Penting untuk diingat bahwa memori yang bisa dipakai seringkali diabaikan atau dihitung salah, khususnya pada mesin dengan memori shared seperti Apple Silicon. Dalam kasus Mac 16GB, model 14B di Q4_K_M mampu dijalankan dengan 70% of the usable memory, yang sekitar 8.4 GB.
Dengan membandingkan kebutuhan memori dengan yang yang bisa diakses, model dapat dijalankan dengan sisa memori untuk sistem operasi dan aplikasi lainnya. Namun, jika kebutuhan memori melebihi 100% yang bisa diakses, model akan dimuat ke hard disk dan mungkin mengganggu performa sistem.
Written by urgent.news from Dev.to's reporting — not their text. Machine-written — may contain errors; check the original before relying on it.
