Yüksek Lisans Adayı: Ezgi Çavuş

EABD: Bilişim Sistemleri

Tarih: 21.08.2025 / 14:00

Yer: A-212

Özet: Büyük Dil Modelleri (LLM’ler) akademik değerlendirmeyi desteklemek için giderek daha fazla kullanılmaktadır, ancak genellikle titiz bir hakemlik süreci için gerekli olan alan-özel ölçütleri yakalamakta zorlanırlar. Mevcut hakem yönergeleri ve araştırma kontrol listeleri, çoğaltılabilirlik, etik değerlendirmeler, sınırlamaların belirtilmesi ve toplumsal etki gibi genel konulara değinse de, genellikle bir makalenin metodolojisine, veri kümesine veya değerlendirme stratejisine göre değişen disipline özgü ölçütleri göz ardı ederler. Bu tez, OpenReview sistemindeki önceki değerlendirmelerden alan-özel inceleme sorularını otomatik olarak çıkaran ve bunları metodoloji, veri kümesi ve değerlendirme metrikleri gibi makale içeriğinden türetilmiş yapılandırılmış üstveriler aracılığıyla yeni başvurularla hizalayan bir çerçeve sunar. Deneysel sonuçlar, çerçevenin üretilen incelemelerin özgüllüğünü ve bağlamsal uygunluğunu artırdığını göstermektedir. Temel modellerle karşılaştırıldığında, genel performans ölçütleri benzer olsa da incelemelerin içeriği ve odağı üzerinde daha hassas kontrol sağlar; çünkü incelemeleri açık bir şekilde üstveri ve geçmiş değerlendirme örüntüleriyle temellendirir. Sistem izlenebilirliği artırır, uydurulmuş içerikleri azaltır ve otomatikleştirilmiş hakemli değerlendirmenin yorumlanabilirliğini artırır.