Token
Bir dil modelinin metni böldüğü en küçük birim; bir kelime, kelime parçası ya da noktalama işareti olabilir.
// AÇIKLAMA
Türkçe gibi eklemeli dillerde bir kelime çoğu zaman birden çok token olur. Model her adımda bir sonraki token'ı üretir; bağlam penceresi, hız ve ücretlendirme token sayısıyla ölçülür.
// DİĞER ADLARI / YAZILIŞLARI
tokentokenlartoken'lar
// İLGİLİ TERİMLER
LLM (büyük dil modeli)Çok büyük metin verisiyle eğitilmiş, bir dizinin sonraki parçasını (token) olasılıksal olarak tahmin ederek metin üreten sinir ağı.
Çıkarım (inference)Eğitilmiş bir modelin yeni girdi için çıktı ürettiği aşama; eğitimden sonra kullanıcıya hizmet verilen evre.
Transformer mimarisi2017'de tanıtılan, dikkat (attention) mekanizmasıyla metindeki tüm kelimeler arasındaki ilişkiyi paralel hesaplayan sinir ağı mimarisi.
