Transformer mimarisi
English: Transformer architecture
2017'de tanıtılan, dikkat (attention) mekanizmasıyla metindeki tüm kelimeler arasındaki ilişkiyi paralel hesaplayan sinir ağı mimarisi.
// AÇIKLAMA
Dikkat mekanizması her token'ın diğerlerine ne kadar önem vermesi gerektiğini öğrenir. Paralel hesaplamaya uygun olduğu için GPU'larda verimli ölçeklenir; bugünün LLM'lerinin neredeyse tamamı bu mimariye dayanır.
// DİĞER ADLARI / YAZILIŞLARI
Transformer mimarisitransformer modeliTransformer
// İLGİLİ TERİMLER
LLM (büyük dil modeli)Çok büyük metin verisiyle eğitilmiş, bir dizinin sonraki parçasını (token) olasılıksal olarak tahmin ederek metin üreten sinir ağı.
MoE (uzman karışımı)Modelin birçok "uzman" alt ağdan oluştuğu ve her token için yalnızca birkaçının çalıştırıldığı mimari.
GPU (grafik işlemcisi)Binlerce küçük çekirdekle aynı işlemi çok veri üzerinde paralel yapan, grafik ve yapay zekâ hesaplarında kullanılan işlemci.
