Ternary LLM'lerde ağırlıkların yarısı neden sıfır?
Orijinal başlık: Breaking the 1.58-bit Barrier for Ternary LLMs
KISACA
- Tek cümlede
- Araştırmacılar BITCOS adlı yeni formatı geliştirdi, ağırlıkları yeniden paketledi.
- Bulgu
- En seyrek modellere göre ağırlık başına sadece 1,485 bit gerekiyor.
- Neden önemli?
- Bu, matris‑vektör işlemlerinde %28, CPU’da %18, GPU’da %27 daha hızlı çalışıyor.
Ne oldu?
Ternary (üç değerli: -1, 0, 1) ağırlıklara sahip dil modellerinde, ağırlıkların yarısına kadarının (bazı modellerde yüzde 51,5'e varan oranda) sıfır olduğu ortaya çıktı - mevcut standart sıkıştırma yöntemleri bu dengesizliği hesaba katmıyor. Araştırmacılar BITCOS adlı, sıfır yoğunluğuna uyum sağlayan yeni bir depolama formatı geliştirdi; en seyrek modellerde ağırlık başına 1,485 bit'e kadar iniyor ve test edilen 29 modelin 26'sında geleneksel five-trit packing yönteminden daha kompakt. Pratikte matris-vektör işlemlerinde 1,28 kat, CPU'da 1,18 kat, GPU'da 1,27 kat hızlanma sağlıyor.
BITCOS, ternary LLM'leri daha verimli hâle getirerek sınırları yeniden çiziyor.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Ternary LLM'lerde ağırlıkların yarısı neden sıfır?”, Notes for Data Science, 17 Eylül 2026.