Utku Mert Topçuoğlu, Görsel Dönüştürücülerin Verimli Ön Eğitimi: Yerel Maskeli Görüntü Modelleme ile Katman Dondurma Yaklaşımı
Bu tez, Vision Transformer'ların verimli bir şekilde ön eğitim yapılması yöntemlerini keşfetmektedir; bunun için ilerlemeli katman dondurma yöntemi ile yerel maskeli görüntü modellemesi entegre edilmiştir. Çalışma, ViT'ler için tipik olan yoğun hesaplama gereksinimlerini ve uzun eğitim sürelerini değerlendirir. Temel yenilikler, eğitim verimliliğini önemli ölçüde artıran FreezeOut yönteminin LocalMIM mimarisine uygulanmasını içerir. Deneysel sonuçlar, rekabetçi doğruluk oranını korurken eğitim süresinde yaklaşık %12,5 azalma göstermiştir, bu da stratejik katman dondurma ve özel öğrenme hızı zamanlaması kombinasyonunun etkinliğini kanıtlamaktadır. Bu yaklaşım, kısıtlı hesaplama kaynakları üzerinde daha erişilebilir özdenetimli öğrenmeyi teşvik eder.
Tarih: 03.09.2024 / 09:30 Yer: B-116