Apakah pencarian kode semantik benar-benar mengalahkan grep di repositori sungguhan?
Demo untuk menjual ide meng-embed sebuah codebase selalu sama: kita bertanya "di mana kita mengunci pengguna?", grep tidak menemukan apa-apa karena kodenya menyebutnya cooldown, dan pencarian vektor langsung mendarat di fungsi yang benar. Demo yang bagus. Pertanyaannya, seberapa sering itu berhasil pada kode yang tidak dipilih untuk demo. Berikut pengukurannya pada repositori yang pernah dibaca…
Hasil pencarian kode semantik memberikan hasil yang lebih baik daripada grep di repositori psf/requests, yang adalah repositori yang paling diakses oleh developer Python. Selama pengujian, embedding berhasil mencocokkan chunk yang benar pada 5 dari 10 pertanyaan, dibandingkan dengan grep yang tidak menemukan apa-apa. Chunking dengan nomor baris digunakan untuk memotong file menjadi bagian sekitar 700 token, dengan pampasan 80 token.
Aplikasi mempertahankan baris pertama dan terakhir dari setiap chunk, sehingga hasilnya dapat dilaporkan sebagai path:start-end.
Model bge-m3 digunakan untuk membuat embedding lokal, dengan median ukuran chunk 771 token, tidak dijalankan secara kompleks pada bagian tengah baris. Vektor di penyimpan dalam bentuk float32, dengan ukuran 1,3 MB untuk 318 chunk. Pembanding kata kunci biasa mencocokkan 6 dari 10 teratas, sedangkan keduanya digabung untuk mencocokan 7 dari 10 teratas.
Chunking dengan nomor baris memastikan pemotongan pada batas baris, dan pengaman terakhir penting untuk menghindari kesalahan. Model kecil ini mempengaruhi kinerja secara signifikan, dengan waktu pengujian 2 detik per chunk pada mesin ini.
Written by urgent.news from Dev.to's reporting — not their text. Machine-written — may contain errors; check the original before relying on it.
