Daha güçlü attention, ama hesaplama maliyeti düşüyor.
Orijinal başlık: Subquadratic Attention with a Hierarchical Tree-Structured Indexer
KISACA
- Tek cümlede
- Araştırmacılar, hiyerarşik ağaç indeksleyici geliştirdi.
- Bulgu
- Bu yöntem, attention'ın ifade gücünü korurken hesaplama maliyetini kareselin altına indiriyor.
Ne oldu?
Büyük dil modellerinin uzun metinleri işleme kapasitesini sınırlayan temel darboğaz, attention mekanizmasının karesel (quadratic) hesaplama maliyeti. Şimdiye kadarki çözümler ya attention'ın ifade gücünden ödün veriyor (sabit boyutlu durum kullanan kaydırmalı pencere veya doğrusal attention gibi) ya da sadece sabit bir çarpanla hızlanma sağlıyor (seyrek attention yöntemleri gibi). Araştırmacılar, hiyerarşik ağaç yapılı bir indeksleyici kullanarak attention'ın gücünü korurken karesel olmayan bir hesaplama maliyeti sunan yeni bir yöntem öneriyor.
Metin uzadıkça maliyet daha yavaş artıyor; büyük belgeler ve uzun sohbetler daha hızlı işlenebilir.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Daha güçlü attention, ama hesaplama maliyeti düşüyor.”, Notes for Data Science, 2 Kasım 2026.