Enformatik Enstitüsü

Görsel soru cevaplama (VQA), hem görsel hem de dil içeriğini anlamayı, akıl yürütmeyi ve çıkarım yapmayı gerektiren bütüncül bir yapay zeka görevi olarak tanımlanır. Son yıllarda sinirsel mimarilerdeki gelişmelere rağmen, sıfır-atış VQA, gelişmiş genelleme ve akıl yürütme becerileri gerektirdiğinden önemli bir zorluk olmaya devam etmektedir. Bu tez, yeni Büyük Dil Modellerinin (LLM) sıfır-atış görsel soru cevaplamadaki yeteneklerini keşfetmeyi amaçlamaktadır. Spesifik olarak, CogVLM, GPT-4 ve GPT-4o gibi çok modlu LLMlerin performansları, akıl yürütme yeteneğini ölçmek amacıyla çeşitli sorular içeren GQA veri setinde değerlendirilmiştir. VQA için, LLMlerden yararlanan ve ara adım olarak görüntü altyazılamayı entegre eden yeni bir çerçeve önerilmiştir. Ayrıca, farklı istem tekniklerinin VQA performansı üzerindeki etkisi incelenmiştir. Değerlendirmeler, anlamsal ve yapısal olarak farklılık gösteren sorular üzerinde gerçekleştirilmiştir. Bulgular, sıfır-atış koşullarında VQA performansını artırmak için görüntü altyazıları ve optimize edilmiş istemlerin kullanım potansiyelini vurgulamaktadır.

Tarih: 04.09.2024 / 13:30 Yer: A-212

Bu araştırma, Makine Öğrenimi (ML) projelerindeki Teknik Borç (TD) olgusunun çok yönlü doğasını ele almaktadır. ML tabanlı projeler ile geleneksel yazılım projeleri arasında yapısal farklılıklar olması sebebiyle teknik borç olgusunun yeniden ele alınması ihtiyacı doğmuştur. Çalışma, TD’nin ML projelerinde nasıl ortaya çıktığını, kök nedenleri, etkileri, geçici çözümleri ve ideal çözümleri sistematik olarak incelemektedir. ML'ye özgü TD, endüstri profesyonelleriyle yapılan yarı yapılandırılmış görüşmelerin kodlama analizi yoluyla kategorize edilmiştir. Bulgular, akademik uzmanlar tarafından birden çok iterasyonda değerlendirilmiştir. Bu çalışma, ML bağlamında teknik borcun özgün doğasını vurgulayarak ve yönetimi için yapılandırılmış yaklaşımlar önererek literatüre katkıda bulunmaktadır.

Tarih: 06.09.2024 / 09:30 Yer: A-212

Bu tez, TED-MDB derlemi üzerinde yoğunlaşarak söylem ilişkilerinin gerçekleştirilmesindeki diller arası farklılıkları araştırmaktadır. Paralel derlemlerde söylem ilişki işaretlemelerini hizalamak için bir yöntem geliştirerek, söylem ilişkilerinin gerçekleştirilme biçimleri, anlamsal kaymalar, ve cümle içi-arası kodlama kalıplarındaki varyasyonları incelemektedir. Temel bulgular, söylem ilişkilerini hizalamanın önemini vurgulamakta ve derlem bağlayıcılarının çevrilmesindeki farklılıkları ortaya koymaktadır. Ayrıca, bu çalışma, pragmatik çalışmaları ve doğal dil işleme sistemlerini destekleyen, hizalanmış veriden iki dilli sözlük türetme yöntemi de geliştirmektedir. Gelecekteki çalışmalar, hizalanmış derlem ilişkileri verisini daha iyi erişilebilirlik ve birlikte işlerlik için Linked Language Open Data (LLOD) standartlarına uyarlamayı içermektedir.

Tarih: 04.09.2024 / 10:00 Yer: A-212

İnsanlar uzun zamandır diğer zihinler hakkında merak duymuştur; bu, modern bilişsel bilimde kilit tartışmaları şekillendiren, antik felsefeye dayanan bir meraktır. Yapay zekâlar daha yaygın hâle geldikçe, zihinsel durumları atfetme eğilimlerinin -zihin algısının- insan dışı varlıkları da kapsıyor oluşu, insan-robot etkileşimi alanında önem kazanmıştır. Bu tez, bu bağlamda, zihin algısının dinamiklerini hem algılayan hem de algılanan varlıkla ilgili belirleyicilere odaklanarak incelemektedir. Dört kuşaktan 160 katılımcıyı içeren çok aşamalı deneylerde, aktör türünün (insan/robot), eylem türünün (iletişimsel/iletişimsel olmayan), bireysel özelliklerin ve kuşaksal farklılıkların zihinsel kapasite atıflarını nasıl etkilediğini inceledik. Zihin algısını iki ana boyutta: Yapabilme ve Hissedebilme kapasitelerine dair değerlendirmeler üzerinden ölçtük. Yöntemimizde, ekolojik geçerliliği artırırken deneysel kontrolü koruyarak, gerçek zamanlı, doğal laboratuvar ortamında canlı aktörlerle örtük ve açık görevlere yer verdik. Alandaki güncel tartışmaları dikkate alarak hem davranışsal ölçümler hem de öz bildirim cevapları topladık. Bulgularımız, insana tutarlı bir şekilde robottan daha yüksek zihinsel kapasiteler atfedildiğini ortaya koyarken, eylem türü etkilerinin çeşitli ve bağlama bağlı olduklarını gösterdi. Genç katılımcıların robota zihinsel durumlar atfetmeye daha yatkın, bireysel özelliklerin etkilerinin ise zayıf olduğunu gözlemledik. Açık ölçümler, insana daha yüksek zihin atfı göstermede örtük ölçümlerle uyumlu çıktı; ancak, örtük ölçümler, özellikle eylem türü ve yapabilme değerlendirmeleri için daha ayrıntılı etkileri ortaya çıkardı. Tepki süreleri ve fare izleme yolları, açık değerlendirmelerde görünmeyen nüansları yakalamamıza yardımcı oldu. Bu tez, hem algılayan hem de algılanan ile ilgili faktörleri dikkate almanın ve belirleyiciler arasındaki katmanlı etkileşimleri açığa çıkarmak için örtük ve açık değerlendirme yöntemlerini kullanmanın önemini vurgulamaktadır.

Tarih: 03.09.2024 / 11:00 Yer: A-212

Atmosferik türbülans, sıcaklık, rüzgar hızı ve nem gibi faktörlerden kaynaklanır ve atmosferin kırılma indeksinde rastgele dalgalanmalara yol açar. Bu fenomen, uzun menzilli gözlem sistemlerinin görüntü kalitesini geometrik bozulmalar ve mekansal-zamansal değişen bulanıklık ile düşürür. Türbülans, görünür ve termal bantlar da dahil olmak üzere çeşitli görüntüleme spektrumlarını etkileyebilir. Bu tez, termal görüntülerdeki atmosferik türbülans sorununu ve bunun nesne tespit modellerine etkisini ele almaktadır. Bu zorluğun üstesinden gelmek için, değişen şiddet seviyelerine sahip türbülanslı görüntüleri eğitim verisi olarak kullanarak nesne modellerinin performansını artıran bir veri artırma yöntemi öneriyoruz. Geometrik bir türbülans simülatörü kullanarak eğitim örnekleri üretiyor ve Geometrik, Zernike tabanlı ve P2S tabanlı simülatörleri kullanarak türbülanslı test setlerini oluşturuyoruz. Bu sayede, artırma yöntemimizin farklı türlerdeki simüle edilmiş türbülanslar arasında etkinliğini doğruluyoruz. Sonuçlarımız, bu veri artırma yaklaşımının hem türbülanslı hem de türbülanssız termal test görüntüleri için performansı önemli ölçüde artırdığını göstermektedir.

Tarih: 03.09.2024 / 13:30 Yer: B-116

Sinir ağlarının nicelemesi, gerçek zamanlı gereksinimleri karşılamak için gerekli bir tekniktir. Eğitim verileri mevcut olmadığında, veri gerektirmeyen niceleme önemli bir yaklaşımdır. Bildiğimiz kadarıyla, kızılötesi alanda veri gerektirmeyen niceleme daha önce araştırılmamıştır. Bu tez, kızılötesi görüntülerle eğitilen modellerde, toplu normalizasyon istatistiklerine dayalı veri gerektirmeyen niceleme performansını inceler. RGB görüntülerle önceden eğitilmiş modelleri, kızılötesi görüntülerle yeniden eğittik. RetinaNet ve YOLOv8 için en iyi sonuçları elde etmek amacıyla veri üretme sürecini kapsamlı bir şekilde araştırdık. Sonuçlarımız, veri gerektirmeyen nicelemenin kızılötesi alanda daha etkili olduğunu göstermektedir.

Tarih: 03.09.2024 / 11:00 Yer: B-116

Bu tez, Vision Transformer'ların verimli bir şekilde ön eğitim yapılması yöntemlerini keşfetmektedir; bunun için ilerlemeli katman dondurma yöntemi ile yerel maskeli görüntü modellemesi entegre edilmiştir. Çalışma, ViT'ler için tipik olan yoğun hesaplama gereksinimlerini ve uzun eğitim sürelerini değerlendirir. Temel yenilikler, eğitim verimliliğini önemli ölçüde artıran FreezeOut yönteminin LocalMIM mimarisine uygulanmasını içerir. Deneysel sonuçlar, rekabetçi doğruluk oranını korurken eğitim süresinde yaklaşık %12,5 azalma göstermiştir, bu da stratejik katman dondurma ve özel öğrenme hızı zamanlaması kombinasyonunun etkinliğini kanıtlamaktadır. Bu yaklaşım, kısıtlı hesaplama kaynakları üzerinde daha erişilebilir özdenetimli öğrenmeyi teşvik eder.

Tarih: 03.09.2024 / 09:30 Yer: B-116

Bu doktora çalışması, hikaye kavrama ile ilgili olacaktır. Hikaye kavrama, hikayelerde anlatılan karakterlerin ve olayların okuyucunun zihninde nasıl temsil edildiğini, hikayeleri okurken ne tür çıkarımların etkinleştirildiğini ve hikayelerin kavranmasını hangi metin faktörlerinin etkilediğini içerir. Araştırmamız özellikle hikayelerde uzamsal ipuçlarının ve kahramanın bakış açısının kavranmasına odaklanacaktır. Literatürdeki çeşitli çalışmalar, okuyucuların hikayelerde uzamsal ipuçlarına duyarlı olduklarını ve bazı koşullar altında kahramanın bakış açısını benimseyebildiklerini ileri sürmektedir. Bu tez için, bazı yeni araştırma sorularını test ederek, bu konuyu daha ayrıntılı bir şekilde inceleyeceğiz.

Tarih: 06.09.2024 Yer: II-06

Bu tez, kentsel planlama, CBS araştırmaları ve afet risk değerlendirmesinde Karışık Arazi Kullanım (LUM) analizine yönelik gelişmiş metodolojiler sunmaktadır. Geleneksel yaklaşımların sınırlamalarını aşarak, nokta bazlı coğrafi verilerden yararlanan bir açık kaynak Python paketi, landusemix, geliştirilmiştir. Bu paket, ölçeklenebilir ve uyarlanabilir LUM hesaplaması sağlar. Araştırma, LUM analizini, özellikle deprem riski bağlamında, kentsel kırılganlıktaki zamansal değişiklikleri değerlendirmek için genişletir ve zaman duyarlı kentsel planlama için yeni bakış açıları sunar. Bu çalışma, sürdürülebilir, dayanıklı ve yaşanabilir şehirlerin geliştirilmesine katkıda bulunan yenilikçi araçlar ve yaklaşımlar sağlar.

Tarih: 03.09.2024 / 17:00 Yer: B-116

Çevre güvenliği artık ağlara ve kritik verilere erişim için bir engel değildir. Çoğu bilgisayar korsanı, geleneksel güvenlik tedbirlerinin işe yaramadığına inanmaktadır. Normal ağ trafiğiyle karıştığı için tespit edilmesi zor olabilen Active Directory (AD) saldırılarını önlemek ve tespit etmek için sağlam bir güvenlik stratejisi hayati önem taşımaktadır. Bu tür saldırılardan biri de Kerberos kimlik doğrulama protokolündeki zayıflıkları istismar eden Kerberoasting saldırısıdır. Bu çalışmada, denetimli makine öğrenimi algoritmalarını kullanarak Kerberoasting saldırısının tespiti için bir çözüm sunmaya çalışılmıştır. Ayrıca, Kerberoasting saldırıları için verimliliğini ölçmek üzere herkese açık bir veri kümesi oluşturulup paylaşılmıştır.

Tarih: 05.09.2024 / 10:00 Yer: II-06