VRAM
Ekran kartının kendi üzerindeki yüksek bant genişlikli bellek; yapay zekâ modelinin ağırlıkları buraya sığmak zorundadır.
// AÇIKLAMA
Yerel bir dil modeli çalıştırırken en sıkı sınır VRAM'dir: kabaca parametre sayısı × bayt cinsinden hassasiyet kadar bellek gerekir (ör. 8 milyar parametre, 4-bit ile yaklaşık 4-5 GB, 16-bit ile yaklaşık 16 GB). Sığmayan kısım sistem belleğine taşınırsa hız ciddi biçimde düşer.
// DİĞER ADLARI / YAZILIŞLARI
VRAMvideo belleği
// İLGİLİ TERİMLER
GPU (grafik işlemcisi)Binlerce küçük çekirdekle aynı işlemi çok veri üzerinde paralel yapan, grafik ve yapay zekâ hesaplarında kullanılan işlemci.
KuantizasyonModel ağırlıklarını daha az bitle (ör. 16 yerine 8 ya da 4 bit) saklayarak bellek ve hız maliyetini düşürme tekniği.
LLM (büyük dil modeli)Çok büyük metin verisiyle eğitilmiş, bir dizinin sonraki parçasını (token) olasılıksal olarak tahmin ederek metin üreten sinir ağı.
DirectStorageOyun varlıklarının NVMe SSD'den doğrudan ekran kartının belleğine, CPU'yu en aza indirerek aktarılmasını sağlayan Microsoft arayüzü.
