MoE (uzman karışımı)
English: MoE (mixture of experts)
Modelin birçok "uzman" alt ağdan oluştuğu ve her token için yalnızca birkaçının çalıştırıldığı mimari.
// AÇIKLAMA
Toplam parametre sayısı çok büyük olsa da her adımda yalnız seçilen uzmanlar hesaplandığı için işlem maliyeti düşer. Telefon gibi sınırlı enerjili cihazlarda büyük modelleri çalıştırmanın yollarından biri olarak görülür.
// DİĞER ADLARI / YAZILIŞLARI
MoEuzman karışımı
// İLGİLİ TERİMLER
Transformer mimarisi2017'de tanıtılan, dikkat (attention) mekanizmasıyla metindeki tüm kelimeler arasındaki ilişkiyi paralel hesaplayan sinir ağı mimarisi.
LLM (büyük dil modeli)Çok büyük metin verisiyle eğitilmiş, bir dizinin sonraki parçasını (token) olasılıksal olarak tahmin ederek metin üreten sinir ağı.
NPU (sinirsel işlem birimi)Yapay sinir ağı hesaplarını (matris/tensör işlemleri) çok düşük enerjiyle hızlandırmak için tasarlanmış özel işlemci birimi.
