Doktora Adayı: Cem Uluoğlakçı
EABD: Bilişim Sistemleri
Tarih: 31.08.2026 / 14:00
Yer: A-212
Özet: Büyük dil modellerine talimat takip etmeyi öğreten eğitim yöntemi (SFT), her soruya cevap vermeyi teşvik eder; sonuçta modeller bilgileri olmayan konularda uydurma/halüsinasyon üretirler. Çekimser kalmayı öğretmek ise cevaplayabileceği soruları reddetme riski taşır. Mevcut kıyaslama yöntemleri, halüsinasyon eğilimini modelin önceki eğitim verisinden bağımsız olarak ölçemez; mevcut azaltma yöntemleri ise bilinmeyenleri modelin doğruluğuna göre belirlediğinden çekimserliği belirli olgulara bağlar ve aktarılamaz.
Bu iki eksiklik 'varsayımsal terimler' ile aşılmaya çalışılmıştır. Model var olmayan bir terimi açıklıyorsa uyduruyordur; tespit etmeyi öğrenirse uydurmamayı da öğrenebilir. 784 terim ve 19.508 sorudan oluşan 'HypoTermQA-v1', bir dil modeliyle diğer modellerin halüsinasyon eğilimini değerlendirir. HypoTermQA-v2 ise dört kaynaktan (Google, Bing, Brave, Dolma) sorgulayarak güvenilirliği arttırmış, terimleri 676'ya indirmiştir. Ölçme soruları, 11.151 soru için 31.487 yanıttan oluşan 'HypoTermInstruct' verisine dönüştürülmüştür. Etkileri üç model (Llama3.1-8B, Gemma3-4B, Qwen3.5-9B) üzerinde eşleştirilmiş tasarımla ölçülmüş, eşit bütçeli R-Tuning ile karşılaştırılmıştır; iki eski modeldeki 800 deneylik tarama sağlamlık kontrolü olarak korunmuştur. Eğitim sonrası içsel değişimler üç mekanik analiz yöntemiyle incelenmiştir.
On beş model genelinde HypoTerm Skorları %0,32 ile %20,66 arasında kalmış; 671 milyar parametreli mantık yürütme sistemleri bile bunun dışına çıkamamıştır. HypoTermInstruct ile eğitilen modellerde HypoTerm Skoru +0,57 ile +54,59, biyografi olgusallığı (FactScore) ise +0,92 ile +2,47 yüzde puanı iyileşmiştir; bu kazanımlar eşit bütçeli R-Tuning ile elde edilememiştir. Kazandırılan tespit yönü, güvenlik ve bilgi yönlerine neredeyse dik kalmış (|kosinüs benzerliği| < 0,02) ve güvenlik ödünleşimi çoğu koşulda anlamlı bulunmamıştır. Sonuçlar, epistemik alçakgönüllülüğün, yani bir modelin bilgi sınırlarını tanıyıp kabul edebilme becerisinin, büyük dil modellerinde ölçülebileceğini, kazandırılabileceğini ve mekanistik düzeyde anlaşılabileceğini ortaya koymaktadır.
