Yapay zeka modelleri artık farklı çalıştırılıyor.
Orijinal başlık: Rethinking Heterogeneous System Disaggregation for Subquadratic Attention
KISACA
- Neden önemli?
- Büyük dil modellerinin hafıza ve hız sorunu var.
- Bulgu
- Araştırmacılar 'subquadratic attention' için özel bir sunucu mimarisi önerdi.
Ne oldu?
Araştırmacılar, büyük dil modellerinin çıkarım (inference) sırasında bellek ve hesaplama yükünü azaltmak için giderek daha çok kullandığı 'subquadratic attention' (karesel-altı dikkat) mekanizmasına özel yeni bir sistem mimarisi öneriyor. Mevcut sunucu sistemleri, kaynakları klasik yoğun (dense) dikkat mekanizmasına göre ayrıştırıyor; bu çalışma, subquadratic attention'ın kendine özgü aritmetik yoğunluğu ve bellek ayak izine göre kaynakları farklı şekilde ayrıştırmanın (disaggregation) daha uygun olabileceğini gösteriyor.
Doğru altyapı, yapay zekayı hem daha hızlı hem daha ucuz hale getirebilir.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Yapay zeka modelleri artık farklı çalıştırılıyor.”, Notes for Data Science, 14 Eylül 2026.