vLLM araç çağrıları neden bazen yanlış isimle çalışıyor?
Orijinal başlık: Fixing Tool-Call Accuracy in vLLM
KISACA
- Tek cümlede
- Ubicloud ekibi, her adımda geçersiz çağrıları maskeleyen 'kısıtlı üretim' yöntemini zorunlu kıldı.
- Bulgu
- Bu yöntemle doğruluk %92'den %100'e yükseldi; varsayılan ayar devre dışı bırakıldığında %91'e geriledi.
- Neden önemli?
- Araç çağrılarının %100 doğru olması, AI uygulamalarının güvenilirliğini artırır ve geliştirme hatalarını önler.
Ne oldu?
Yapay zeka modelleri araç çağırırken (tool-call) ürettiği yanıt olasılıklı olduğu için bazen yanlış araç adı veya yanlış alan adıyla çağrı yapabiliyor; Kimi K2.6 modeliyle vLLM 0.28 üzerinde çağrıların yalnızca yüzde 92'si doğru şemaya uyuyordu. Ubicloud ekibi, her adımda geçersiz çağrıları üretecek token'ları maskeleyen 'kısıtlı üretim' (constrained decoding) yöntemini zorunlu kılarak bu oranı yüzde 100'e çıkardı. vLLM'in varsayılan ayarı bu özelliği bazı isteklerde devre dışı bıraktığında doğruluk yeniden yüzde 91'e düştü; bunun üzerine vLLM, bu kısıtlamayı açıkça etkinleştirmek için '--tool-strict-level' adlı bir bayrak ekledi.
Doğruluk artık bir seçenek değil, zorunlu bir özellik haline geldi.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “vLLM araç çağrıları neden bazen yanlış isimle çalışıyor?”, Notes for Data Science, 27 Ekim 2026.