Çıkarım (inference)
English: Inference
Eğitilmiş bir modelin yeni girdi için çıktı ürettiği aşama; eğitimden sonra kullanıcıya hizmet verilen evre.
// AÇIKLAMA
Eğitim çok pahalı ve bir kerelik, çıkarım ise sürekli yapılan işlemdir. Çıkarımın hızı bellek bant genişliğine, modelin hassasiyetine ve donanıma (GPU/NPU) bağlıdır; yerel çalıştırma bu aşamanın kendi cihazda yapılması demektir.
// DİĞER ADLARI / YAZILIŞLARI
çıkarıminference
// İLGİLİ TERİMLER
LLM (büyük dil modeli)Çok büyük metin verisiyle eğitilmiş, bir dizinin sonraki parçasını (token) olasılıksal olarak tahmin ederek metin üreten sinir ağı.
VRAMEkran kartının kendi üzerindeki yüksek bant genişlikli bellek; yapay zekâ modelinin ağırlıkları buraya sığmak zorundadır.
KuantizasyonModel ağırlıklarını daha az bitle (ör. 16 yerine 8 ya da 4 bit) saklayarak bellek ve hız maliyetini düşürme tekniği.
NPU (sinirsel işlem birimi)Yapay sinir ağı hesaplarını (matris/tensör işlemleri) çok düşük enerjiyle hızlandırmak için tasarlanmış özel işlemci birimi.
