Dil modeli %0.1 zehirlenmeyle nasıl gizli komut çalıştırıyor?
Orijinal başlık: Agentic backdoors via pretraining poisoning
KISACA
- Tek cümlede
- Araştırmacılar, Qwen‑3'ün 0,6‑4 B parametreli versiyonlarını sıfırdan eğitti.
- Bulgu
- 4 B modelde %0,1 zehirlenmeyle %92 başarı, %0,0005 oranında bile etkili.
Ne oldu?
Yeni bir araştırma, bir dil modelinin ön eğitim verisinin sadece yüzde 0,1'inin zehirlenmesinin, o modelden türetilen bir komut satırı (CLI) ajanına gizli bir arka kapı yerleştirmeye yettiğini gösteriyor. Araştırmacılar Qwen3 mimarisinde 0,6B, 1,7B ve 4B parametreli modelleri sıfırdan eğitip CLI ajanına dönüştürdü; belirli bir tetikleyici görüldüğünde ajan saldırganın seçtiği komutu çalıştırıyor, normal girdilerde ise sorunsuz davranıyor. 4B parametreli modelde başarı oranı yüzde 0,1 zehirlenme oranında yaklaşık yüzde 92'ye çıkarken, oran yüzde 0,0005 gibi çok düşük seviyelerde bile sıfırdan farklı kalıyor; model büyüdükçe saldırı başarısı da artıyor.
Çok az veri manipülasyonuyla modele gizli komut eklenebiliyor, bu da güvenliği zorluyor.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Dr. Hasan Amanet, “Dil modeli %0.1 zehirlenmeyle nasıl gizli komut çalıştırıyor?”, Notes for Data Science, 3 Kasım 2026.