Yapay zeka modelini küçültmek nereye zarar veriyor?
Orijinal başlık: The Structure of Quantization Damage in LLMs: Why the Next Bit Should Be Spent Globally
KISACA
- Bulgu
- Nicemleme (quantization) hasarı modelin her yerine eşit dağılmıyor, belirli bölgelerde yoğunlaşıyor.
- Farkı yaratan
- ek hassasiyet bütçesi tek bir katmana değil, modele global olarak dağıtılmalı.
Ne oldu?
Eğitim-sonrası nicemleme (post-training quantization), büyük dil modellerini daha ucuza sunmak için yaygın kullanılıyor, ancak doğruluk kaybı modelin her yerinde eşit dağılmıyor ve genelde model başına elle ayarlanıyor. Araştırmacılar, nicemleme hasarının modelin hangi bölgelerinde yoğunlaştığını ve ek bir hassasiyet bütçesinin nereye harcanması gerektiğini nedensel karışık-hassasiyet analiziyle inceliyor - bulgular, bir sonraki ekstra 'bit'in modelin belirli bir katmanına değil, global olarak dağıtılması gerektiğini öne sürüyor.
Modeli küçültürken nereyi koruyacağınızı bilmek, ne kadar küçülteceğinizden daha önemli.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Yapay zeka modelini küçültmek nereye zarar veriyor?”, Notes for Data Science, 2 Eylül 2026.