Dikkat mekanizmasında iki eksik parça bulundu.
Orijinal başlık: Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention
KISACA
- Tek cümlede
- Araştırmacılar, softmax dikkatine çekimserlik ve gürültü filtreleme ekledi.
- Bulgu
- 10M modelde kazancın neredeyse tamamı çekimserlikten, 350M'de çoğu gürültü filtrelemeden geliyor.
- Neden önemli?
- Model büyüdükçe işe yarayan mekanizma değişiyor; her ölçekte en iyi model ikisini birden içeriyor.
Ne oldu?
Bu makale, softmax dikkat mekanizmasında eksik iki ilke olduğunu savunuyor: çekimserlik, yani bir dikkat başının hiçbir şey çıkarmaması, ve gürültü filtreleme. 10 milyon ile 350 milyon parametre arasındaki eşleştirilmiş modellerde çekimserliğin faydası model büyüdükçe azalıyor, gürültü filtrelemenin faydası artıyor. 10M'de kazancın neredeyse tamamı çekimserlikten, 350M'de çoğu filtrelemeden geliyor. Her ölçekte en iyi model ikisini birden içeren model. İkisini eklemek ihmal edilebilir sayıda parametre ekliyor ve anahtar-değer önbelleğiyle uyumlu kalıyor.
İkisini eklemek ihmal edilebilir parametre gerektiriyor ve anahtar-değer önbelleğiyle uyumlu.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Dikkat mekanizmasında iki eksik parça bulundu.”, Notes for Data Science, 21 Eylül 2026.