Bir LLM size 'güvenle' yanıt verdiğinde, bu sayı aslında neyi ölçüyor?
Orijinal başlık: Using LLM for confidence scoring is a bad idea
KISACA
- Tek cümlede
- Yazılımcı, LLM'ye ‘güven skoru’ sorup sonuçların değiştiğini gösterdi.
- Bulgu
- Aynı soru tekrar sorulduğunda ya da kelimeler değişince skor da değişiyor; yani sabit bir ölçüm değil.
- Neden önemli?
- Bu, skoru dışsal doğrulamalara dayandırmazsa yanılma riskini artırır.
Ne oldu?
Bir yazılımcının yeni blog yazısı, büyük dil modellerinden kendi yanıtına 'güven skoru' istemenin güvenilir olmadığını savunuyor. Yazara göre bir LLM metni token token ürettiği için '0.85 güvenliyim' gibi bir sayı, gerçek bir ölçüm değil; sadece metnin akışına uygun görünen bir tahmin. Yazar bunu, aynı soru tekrar sorulduğunda skorun değişmesi, soru farklı kelimelerle sorulduğunda skorun değişmesi gibi örneklerle gösteriyor. Çözüm olarak, güven skorunun modelin kendisinden değil; ilgili bir yardım makalesi bulunup bulunmadığı veya tekrarlanan yanıtların birbiriyle uyuşup uyuşmadığı gibi dışarıdan gözlenebilir sinyallere dayanan, zamanla kalibre edilen ayrı bir kural setinden gelmesini öneriyor.
Güven skoru yerine, yanıt tutarlılığı ve dokümantasyon kontrolü kullanılmalı.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Bir LLM size 'güvenle' yanıt verdiğinde, bu sayı aslında neyi ölçüyor?”, Notes for Data Science, 22 Ekim 2026.