OpenAI, düşük maliyetli Luna’yı tanıttı; ama en zor sorularda insan şansından bile düşük performans gösterdi.
Orijinal başlık: OpenAI has a LOT of work to do if they think Luna can compete with Jev
KISACA
- Tek cümlede
- Bağımsız bir test, OpenAI'nin düşük maliyetli modeli Luna'yı rakip model Jev'e karşı 3.600 problemde denedi.
- Bulgu
- Basit görevlerde Luna %93‑98 doğru çıktı, ancak beş adımlı karmaşık görevlerde doğruluk %45‑46'ya geriledi.
- Neden önemli?
- Bu, modelin yüksek güven skorlarının yanıltıcı olabileceğini gösteriyor; hatalı kararlar üretim ortamında risk yaratabilir.
Ne oldu?
Bir teknik değerlendirme, OpenAI'nin yeni Decisions API'sini güçlendiren düşük maliyetli akıl yürütme modeli Luna'yı, rakip bir karar modeli olan Jev'e karşı 3.600 mantıksal çıkarım problemi üzerinde test etti. Basit görevlerde Luna yüzde 93-98 doğruluğa ulaşarak Jev'e yakın performans gösterdi, ancak beş çıkarım adımlı karmaşık görevlerde doğruluğu yazı-tura seviyesi olan yüzde 45-46'ya düşerken Jev yüzde 81-89 aralığında kaldı. Daha da dikkat çekici olan, Luna yüzde 99 kesinlik iddia ettiğinde gerçekte sadece yüzde 68 oranında doğru çıkması; Jev aynı güven seviyesinde yüzde 98,9 doğruluk sağlıyor. Araştırmacılar, Luna'nın güven skorlarının zor problemlerde anlamsızlaştığını ve bu modellerin üretime alınmadan önce dikkatli test edilmesi gerektiğini vurguluyor.
Luna maliyet avantajı sunuyor, ama karmaşık kararlar hâlâ Jev'in elinde kalıyor.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “OpenAI, düşük maliyetli Luna’yı tanıttı; ama en zor sorularda insan şansından bile düşük performans gösterdi.”, Notes for Data Science, 2 Ekim 2026.