Yüksek Lisans Adayı: Özer Tanrısever

EABD: Veri Bilişimi

Tarih: 14.01.2026 / 14:30

Yer: A-212

Özet: Akademik yayın mecraları, değerlendirme sürecinde bir standart oluşturması adına hakem yönergeleri oluştururlar. Bu çalışma, hakemlerin değerlendirmelerinde sormuş oldukları soruları kategorize etmek ve ilgili yönergelerle uyumunu sistematik olarak ölçmek üzere tasarlanmış bir yapı sunmaktadır. Analiz için, OpenReview platformunda bulunan International Conference on Learning Representations (ICLR) mecrasının 2024 iterasyonunda bulunan değerlendirme verileri kullanılmıştır. Sunulan yapı, hakem sorgu metinlerini anlamsal olarak tutarlı öbeklere ayrıştırmak amacıyla Büyük Dil Modelleri (BDM'ler) ve gömü benzerliğinden yararlanan bir yapı içermektedir. 22.358 değerlendirmeden tabakalı örneklem ile seçilen 427 değerlendirme, çoklu ajan mutabakat doğrulamasından geçirilmiştir ve içerisinden 760 soru öbeği elde edilmiştir. Üretken konu modellemesi ile bu veri seti içerisinde, \textit{Metodoloji} ve \textit{Hesaplama Verimliliği} de dahil olmak üzere 13 farklı konu tespit edilmiştir. Karşılaştırma ölçütlerini belirlemek amacıyla, on adet önde gelen Yapay Zekâ (YZ) yayın mecrasını temsil eden sekiz farklı hakem yönergesindeki değerlendirme kriterleri çıkarılmıştır. Çalışmanın son aşamasında, ampirik olarak elde edilen bu konular, söz konusu kriterlerle eşleştirilmiştir. Konu üretimi ve eşleştirme süreçleri hem manuel hem de BDM tabanlı doğrulamadan geçirilmiş; öznelliği en aza indirmek amacıyla deneyimli bir akademisyen tarafından ek bir çapraz kontrole tabi tutulmuştur. Sonuçlar, yönergeler ile uygulanan kriterler arasındaki farkı ortaya koymaktadır. \textit{Etik Hususlar} sekiz yönergenin altısında yer almasına rağmen, veri setinde en düşük sayıda dokümana sahip olan konu olarak sıralanmıştır. Buna karşılık, \textit{Sunum ve Şekiller} yalnızca iki yönergede yer almasına rağmen, hakem sorgularının \%8,29'unu oluşturmaktadır. Elde edilen bulgular, konferans organizatörlerinin yönergeleri iyileştirmesi ve yazarların hakemler tarafından önceliklendirilen kriterlerini anlaması adına uygulanabilir içgörüler sunmakta ve nihayetinde hakem değerlendirme ekosisteminin güvenilirliğini artırmayı hedeflemektedir.