Cara kerja Local Model di osFoundry, dari memilih model open sampai melatihnya di komputer sendiri
Kamis pukul 16.40, draf kontrak terbuka di satu jendela. Kamu ingin AI merapikan kalimatnya, tapi dokumen itu tidak boleh keluar dari laptop, dan kamu tidak yakin model open mana dari ratusan model di Hugging Face yang bahkan bisa jalan dengan memori 16 GB. Menghabiskan malam di terminal untuk mencari tahu juga bukan pilihan yang menarik. Satu grup di sidebar untuk semua urusan model open Local…
Di osFoundry, model open-weight dapat berjalan secara lokal di perangkat pengguna. Aplikasi desktop memungkinkan pengguna untuk memilih, mendownload, dan berinteraksi dengan model tersebut. Tiga subjudul dalam kategori Run mencakup Run, Build, dan Measure. Bagian Run memungkinkan pengguna untuk menjalankan model, Build memungkinkan pengguna untuk mengembangkan model sendiri, dan Measure memungkinkan pengguna untuk menguji kinerja model.
Inferensi dilakukan menggunakan server llama.cpp bawaan, jadi tidak diperlukan instalasi terpisah. Panduan ini membahas sembilan layar yang paling sering digunakan, termasuk Explore, Servers, Playground, My Models, Datasets, Training, Quantize, Eval, dan Benchmarks. Pengguna dapat memilih model, menguranginya, melakukan training sendiri, dan menguji model mereka sendiri.
Tim kecil dengan satu desktop besar dan beberapa laptop kecil punya satu model besar yang hanya dapat dijalankan di desktop. Kepala operasional membuat dua pertanyaan: model mana yang dapat membaca total invoice dengan benar, dan model apakah dapat belajar membalas dengan gaya bahasa toko pada jawaban?
Written by urgent.news from Dev.to's reporting — not their text. Machine-written — may contain errors; check the original before relying on it.
