Büyük AI modeli, evdeki sıradan bilgisayarda çalışıyor mu?
Orijinal başlık: FlashML-org /FreeToken
KISACA
- Tek cümlede
- FreeToken, kenar‑öncelikli MoE motoru ile GPU ve CPU’yu tek havuzda birleştiriyor.
- Bulgu
- Proje, 290 milyar parametreden büyük sınır modellerinin bir oyuncu PC'sinde çalıştırılabildiğini iddia ediyor.
Ne oldu?
FreeToken, veri merkezi ölçeğindeki büyük yapay zeka modellerini normal bir masaüstü bilgisayarda çalıştırmayı hedefleyen, kenar-öncelikli bir Mixture-of-Experts (MoE) sunum motoru. Proje, 290 milyar parametreden büyük sınır MoE modellerinin bir oyuncu bilgisayarında çalıştırılabildiğini iddia ediyor. Bunu, makinedeki GPU, CPU, bellek ve bağlantı birimlerini tek bir havuz gibi kullanarak, işi CPU ve GPU arasında bant genişliğine göre bölerek ve uzman önbelleği ile akan prefill teknikleriyle bellek yükünü azaltarak sağlıyor. DeepSeek-V4-Flash, Qwen3.6-35B-A3B ve GLM-5.2 gibi modelleri destekliyor; Anthropic ve OpenAI uyumlu API'ler sunarak kodlama ajanlarıyla entegre olabiliyor. NVIDIA RTX 30/40/50 serisi GPU'ları hedefliyor, Windows/Linux için masaüstü uygulaması mevcut.
Evdeki bilgisayarlar AI araştırmalarına ve kodlama ajanlarına erişim sağlayabilir, donanım maliyetini düşürür.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Büyük AI modeli, evdeki sıradan bilgisayarda çalışıyor mu?”, Notes for Data Science, 2 Kasım 2026.