Küçük bir model, soruya cevap veremediğinde nasıl özgüvenli bir yalan söyleyebiliyor?
Orijinal başlık: Geometry of Confabulation and Refusal in Small Language Models
KISACA
- Tek cümlede
- Araştırmacılar, modelin ilk token öncesi gizli durumunu inceleyerek bu iki davranışı ayırt etmeye çalıştı.
- Bulgu
- 784 soruluk ConfabQA setiyle, uydurma ve reddetme arasındaki iç temsil geometrisini haritaladılar.
Ne oldu?
Küçük dil modelleri, cevaplayamadığı bir soruyla karşılaşınca ya reddediyor ya da "confabulation" denilen şekilde özgüvenle yanlış bir cevap üretiyor. Araştırmacı, ilk üretilen token'dan önceki gizli durumun (hidden state) bu ikisini ayırt edip edemeyeceğini ve confabulation'ları reddetmeye çevirip çevirememeyi test ediyor; bunun için bilgi kesim tarihinden önceki belirsiz sorulardan oluşan 784 maddelik ConfabQA adlı yeni bir karşılaştırma seti geliştiriyor ve modelin iç temsilindeki bu "uydurma" ile "reddetme" geometrisini haritalıyor.
VERİ BİLİMCİ GÖZÜYLE
- Yöntem ve veri
- Araştırmacı, Qwen3-1.7B, Gemma 2 2B ve Llama 3.2 3B modellerinde, ilk token üretilmeden önceki gizli durumu (hidden state) üç farklı şekilde inceledi: doğrusal probe'lar, bir seyrek otokodlayıcı (sparse autoencoder) özelliği ve doğrudan optimize edilmiş yön vektörleri. Bunun için bilgi kesim tarihinden önceki belirsiz sorulardan oluşan 784 maddelik ConfabQA adlı yeni bir karşılaştırma setiyle, PopQA ve TriviaQA setlerini kullandı.
- İstatistiksel not
- Qwen3-1.7B ve Gemma 2 2B'de, gizli durumdan çıkarılan sinyal sadece prompt özelliklerine kıyasla daha güçlü ayrım yapıyor (sırasıyla +7,4 ve +16,3 puan); ama Llama 3.2 3B'de bu sinyal kat-kat arası dalgalanma seviyesinde kaldı, yani bulgu tüm modellerde aynı güçte değil. Doğruluk sinyalinin modelden modele taşınabilirliği de sınırlı: sadece Llama 3.2 3B'de, test setleri arasında probun ayırt etme gücünün %81'i korundu.
- Pratikte
- Bir veri bilimci, bir modelin bilmediği bir konuda özgüvenle yanlış cevap verip vermeyeceğini, cevabı üretmeden önce gizli duruma bakan basit bir probe ile önceden tahmin etmeyi deneyebilir; ama bu yöntemin gücü modelden modele değişiyor, tek bir mimaride doğrulanan bir probu başka bir modele doğrudan taşımamak gerekiyor.
- Bankada
- Müşteriye dönük AI asistanlarının bilmediği bir konuda özgüvenle yanlış bilgi vermesi hem itibar hem uyum riski taşıyor; cevap üretilmeden önce 'bu bir uydurma olabilir' sinyalini yakalamak, model risk ekipleri için araştırılmaya değer bir yön, ama bulgunun model-bağımlı olduğu unutulmamalı.
Bu bulgu, yanlış cevabı üretmeden önce fark edip reddetmeye çevirmenin yolunu açabilir.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Dr. Hasan Amanet, “Küçük bir model, soruya cevap veremediğinde nasıl özgüvenli bir yalan söyleyebiliyor?”, Notes for Data Science, 3 Kasım 2026.