Yapay zeka şirketlerinin en sevdiği grafik ne kadar güvenilir?
Orijinal başlık: On the estimation and validity of AI time horizons---a statistical look at the METR plot
KISACA
- Tek cümlede
- METR grafiği, modelin %50 olasılıkla bitirdiği görevin insana kaç saat süreceğini ölçüyor.
- Bulgu
- Araştırmacılar 228 görev ve 26 modeli istatistiksel yöntemlerle yeniden analiz etti.
- Neden önemli?
- Orijinal varsayımları gevşeterek sonuçların ne kadar sağlam olduğunu sorguluyorlar.
Ne oldu?
Yapay zeka şirketlerinin yeteneklerini övünürken sıkça gösterdiği METR grafiği, bir modelin %50 olasılıkla tamamlayabildiği görevlerin insanlara kaç saat/gün süreceğini ölçüyor. Bu çalışma, 228 görev ve 26 farklı yapay zeka modeli üzerinde bu 'zaman ufku' hesaplamasını istatistiksel spline ve madde tepki teorisi yöntemleriyle yeniden yapıyor. Araştırmacılar, orijinal METR metodolojisinin bazı varsayımlarını gevşeterek sonuçların ne kadar güvenilir olduğunu sorguluyor. Çalışma, yapay zeka ilerlemesini tek bir eğriye indirgeyen popüler grafiklere karşı istatistiksel bir uyarı niteliğinde.
Asıl mesele hız değil, bu hızı ölçtüğümüz cetvelin güvenilirliği.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Yapay zeka şirketlerinin en sevdiği grafik ne kadar güvenilir?”, Notes for Data Science, 9 Ekim 2026.