Kuantizasyon
English: Quantization
Model ağırlıklarını daha az bitle (ör. 16 yerine 8 ya da 4 bit) saklayarak bellek ve hız maliyetini düşürme tekniği.
// AÇIKLAMA
Ağırlıklar 4 bite indirildiğinde model belleği yaklaşık dörtte birine düşer ve daha küçük VRAM'e sığar. Hassasiyet kaybı genellikle küçüktür ama çok düşük bitlerde cevap kalitesi bozulabilir.
// DİĞER ADLARI / YAZILIŞLARI
kuantizasyonnicemleme
// İLGİLİ TERİMLER
VRAMEkran kartının kendi üzerindeki yüksek bant genişlikli bellek; yapay zekâ modelinin ağırlıkları buraya sığmak zorundadır.
LLM (büyük dil modeli)Çok büyük metin verisiyle eğitilmiş, bir dizinin sonraki parçasını (token) olasılıksal olarak tahmin ederek metin üreten sinir ağı.
Çıkarım (inference)Eğitilmiş bir modelin yeni girdi için çıktı ürettiği aşama; eğitimden sonra kullanıcıya hizmet verilen evre.
