Bu modelleri çalıştırmak için güçlü bir sunucuya değil, sadece tarayıcınıza ihtiyacınız var.
Orijinal başlık: MicroLLM Lab – Try 7 tiny LLM's in the browser
KISACA
- Tek cümlede
- MicroLLM Lab, 7 farklı 25‑360 M parametreli LLM'i WebGPU ile tarayıcıda çalıştırıyor.
- Bulgu
- Kullanıcılar, cihazın GPU gücüne göre token hızı ölçümü yapıp, paylaşılabilir bir performans sertifikası alıyor.
- Neden önemli?
- Sunucu maliyeti olmadan AI deneyimi, gizliliği korur ve herkesin yüksek performanslı LLM'leri denemesini sağlar.
Ne oldu?
MicroLLM Lab, 25 milyon ile 360 milyon parametre arasındaki küçük dil modellerini tamamen tarayıcı içinde, WebGPU hızlandırmasıyla çalıştıran bir deney sitesi. Sunucu maliyeti olmadan, tüm işlem kullanıcının kendi cihazında yürütülüyor ve hiçbir prompt ya da kullanıcı verisi cihazdan dışarı çıkmıyor. Kullanıcılar modelleri tarayıcıya indirip sohbet arayüzünden deneyebiliyor, saniyedeki token hızını ölçen performans testleri çalıştırabiliyor ve cihaz donanımına göre sonuçlarını gösteren paylaşılabilir bir performans sertifikası oluşturabiliyor.
Gelecek, AI'yi bulut yerine tarayıcıda çalıştırmakla şekillenecek.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Bu modelleri çalıştırmak için güçlü bir sunucuya değil, sadece tarayıcınıza ihtiyacınız var.”, Notes for Data Science, 29 Eylül 2026.