Bant genişliği
English: Bandwidth
Bir veri yolunun veya belleğin saniyede aktarabildiği en yüksek veri miktarı (GB/s).
// AÇIKLAMA
Yapay zekâ çıkarımında çoğu zaman sınırlayıcı olan hesap gücü değil bellek bant genişliğidir, çünkü her token için model ağırlıklarının büyük kısmı bellekten okunur. Bu yüzden ekran kartlarında HBM ve geniş bellek yolu önemlidir.
// DİĞER ADLARI / YAZILIŞLARI
bant genişliği
// İLGİLİ TERİMLER
VRAMEkran kartının kendi üzerindeki yüksek bant genişlikli bellek; yapay zekâ modelinin ağırlıkları buraya sığmak zorundadır.
PCIeEkran kartı, SSD ve diğer bileşenleri anakarta bağlayan, şerit (lane) tabanlı seri veri yolu standardı.
Gecikme (latency)Bir işlemin başlatılmasından sonucun alınmasına kadar geçen süre; verinin ne kadar çabuk tepki verdiğini ölçer.
LLM (büyük dil modeli)Çok büyük metin verisiyle eğitilmiş, bir dizinin sonraki parçasını (token) olasılıksal olarak tahmin ederek metin üreten sinir ağı.
