Bir yapay zeka modeli yalnızca 8-29 MB olabilir mi?
Orijinal başlık: cactus-compute /needle
KISACA
- Tek cümlede
- Cactus Compute, Needle'ı küçük cihazlar için geliştirdi; ağırlıklar 2 bit.
- Bulgu
- Model 121 milyon parametreli ama aritmetik olarak 50 milyonluk bir modele denk.
- Neden önemli?
- Araç çağırma, yapılandırılmış veri çıkarımı ve embedding üretebiliyor.
Ne oldu?
Cactus Compute'un Needle projesi, telefon, giyilebilir cihaz, akıllı ev, robot, araç ve mikrodenetleyici gibi küçük cihazlar için tasarlanmış bir otomasyon temel modeli. Ağırlıklar 2 bit ile sıkıştırılmış ve model dosyası yalnızca 8-29 MB boyutunda. Model 121 milyon parametreli, ancak aritmetik olarak 50 milyonluk bir modele denk. Araç çağırma, yapılandırılmış veri çıkarımı ve metin embedding'i üretebiliyor; kapsam dışı isteklerde tahmin yürütmek yerine boş liste döndürüyor.
NOTUM
Yapay zeka, buluta bağlanmadan telefondan mikrodenetleyiciye kadar inmeye çalışıyor.
BU NOTUN VİDEOSU
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Bir yapay zeka modeli yalnızca 8-29 MB olabilir mi?”, Notes for Data Science, 20 Eylül 2026.