ODAKLAMA DERİNLİĞİNİN ARTIRILMASINDA DERİN ÖZELLİKLERİN ODAKLAMA DEĞERLERİNİN ÇIKARILMASINDAKİ ETKİLERİNİN İNCELENMESİ

Mikroskobik sistemlerde var olan odaklama derinliğinden dolayı numunenin tüm alanının odaklandığı görüntü elde etmek imkânsız olabilmektedir. Bu durum, mikroskobik sistemlerde görüntü işleme ve yapay zekâ algoritmaları kullanılarak gerçekleştirilen sınıflandırma, bölütleme, hizalama (registration), panoramik birleştirme (stitching) gibi uygulamalarının başarılarını olumsuz yönde etkilemektedir. Literatürde numunenin tüm alanının odaklandığı görüntü elde etmek için odaklama derinliğinin artırılması yaklaşımları geliştirilmektedir. Literatür çalışmaları, bu yaklaşımların, görüntülerdeki eğrilerin ve kenarların düşük kesinlikte karakterizasyonu, daha yüksek koşma süresi ve incelenen numuneye ve kullanılan mikroskoba göre performans değişimi gibi çeşitli kısıtlamalara sahip olduklarını ortaya koymaktadır. Ek olarak, bu yaklaşımlar odaklama bilgilerini genelde görüntülerin gri seviye değerlerini kullanarak hesaplamaktadırlar. Bu çalışmada bu kısıtlamaları minimize etmek için yeni bir odaklama derinliğinin artırılması yaklaşımı geliştirilmekte ve odaklama derinliğinin artırılmasında derin özelliklerin odaklama değerlerinin çıkarılmasındaki etkileri incelenmektedir. Çalışmada elde edilen sonuçlar derin özelliklerin piksellerin odaklama değerlerini hesaplamada gri seviye değerlerine göre daha etkin olduğunu göstermektedir

Çoklu spektral görüntüleme için derin CNN önseline dayalı görüntü oluşturma

Spektral görüntüleme, fizik, kimya, biyoloji, tıp, astronomi ve uzaktan algılama gibi farklı alanlarda yaygın olarak kullanılan temel bir tanılayıcı tekniktir. Bu bildiride, hesaplamalı görüntüleme prensibine dayanan ve kırınımlı lens içeren birçoklu spektral görüntüleme tekniğine odaklanılmakta, bunun için evrişimsel sinir ağlarından yararlanan görüntü geriçatım yöntemi geliştirilmektedir. Sistemin elde ettiği ham verilerden spektral görüntülerin geriçatılması için, ters problem düzenlileştirme içeren bir eniyileme problemi olarak formüle edilir. Bu eniyileme problemi yön değiştiren çarpanlar yöntemi ile alt problemlere ayrılır ve gürültüden arındırma problemine karşılık gelen alt problem analitik yöntemler yerine, öğrenme tabanlı evrişimsel gürültüsüzleştirme sinir ağı ile çözülür. Elde edilen sonuçlar önerilen yöntemin umut verici geriçatım performansını ortaya koymaktadır.Spectral imaging is a widely used diagnostic technique in various fields such as physics, chemistry, biology, medicine, astronomy, and remote sensing. In this work, we focus on a multi-spectral imaging technique with a diffractive lens, which relies on computational imaging, and we develop a novel image reconstruction method that exploits convolutional neural networks. To reconstruct the spectral images from the measurements of the imaging system, the inverse problem is first formulated as a proper optimization problem with regularization. This optimization problem is then divided to subproblems by using the alternating direction method of multipliers, and the subproblem corresponding to a denoising problem is solved with a learning-based convolutional denoising neural network instead of an analytical method. The obtained results illustrate that the proposed method can achieve promising reconstruction performance

Işık alanı görüntüleme sistemlerinde dinamik aralık iyileştirme

High dynamic range imaging has been an active research area in computational photography over the last two decades. The main reason is that the dynamic range of a traditional camera is typically less than the dynamic range of the environment; and this affects the performance in digital photography and machine vision applications. An emerging research area in computational photography is light field imaging. Light field (or plenoptic) of a scene can be obtained by capturing light rays from different directions separately, as opposed to the traditional imaging systems, where light rays from different directions are accumulated, losing the directional light information. Light field imaging has been of great interest due to its post-capture capabilities, including refocusing, perspective change and depth estimation. Microlens array based cameras that recently emerged have made light field acquisition process a practical task. In this study, we present a method to extract high dynamic range image from a single capture. The method uses a plenoptic camera with minor optical modification. The optical modification is an optical mask, placed in front of the main lens to increase the vignetting effect, which is the darkening of an image towards its borders due to loss of light. As a result, different parts of the dynamic range are captured with different sub-aperture images of the light field.Yüksek dinamik aralıklı görüntüleme son yirmi yıldır hesaplamalı görüntüleme alanında aktif bir araştırma alanı olarak devam etmektedir. Bundaki temel sebep geleneksel kameraların dinamik aralığının gerçek dünyada karşılaşılabilecek dinamik aralıktan küçük olması, ve bunun da dijital fotoğrafçılık ve makine görmesi uygulamalarındaki performansı düşürmesidir. Hesaplamalı görüntülemede yükselen bir araştırma konusu da ışık alanı görüntülemedir. Işık alanı (ya da plenoptik) görüntüleme ışınların kameraya farklı yönlerde gelen ışınların ayrı ayrı kaydedilmesiyle elde edilir; diğer taraftan, geleneksel görüntüleme sistemlerinde farklı yönlerden gelen ışınlar toplanarak açısal ışık bilgisi kaybedilir. Işık alanı görüntüleme; yeniden odaklama, perspektif değiştirme, derinlik kestirme gibi çekim sonrası kabiliyetlerinden dolayı oldukça ilgi çeken bir konudur. Yakın zamanda ortaya çıkan, mikrolens dizisine dayalı kameralar ışık alanı kaydını pratik hale getirmiştir. Bu çalışmada, tek bir çekimden yüksek dinamik aralıklı görüntü elde etmeyi sağlayan bir yöntem sunuyoruz. Bu yöntem, küçük optik değişiklikler yapılmış bir plenoptik kameraya dayanmaktadır. Optik değişiklik, ana lensin önüne yerleştirilmiş, ve ışık azalmasıyla kenarlara doğru karanlıklaşmayı arttıran bir optik maskeden ibarettir. Sonuç olarak, ışık alanının farklı perspektif görüntüleri dinamik aralığın farklı kısımlarını kaydetmektedir

HESAPLAMALI GÖRÜNTÜLEME İÇİN DERİN ÖĞRENME TABANLI GERİÇATIM YÖNTEMLERİ

Computational imaging is the process of forming images from indirect measurements using computation. In this thesis, we develop deep learning-based unrolled reconstruction methods for various computational imaging modalities. Firstly, we develop two deep learning-based reconstruction methods for diffractive multi-spectral imaging. The first approach is based on plug-and-play regularization with deep denoisers whereas the second one is an end-to-end learned reconstruction based on unrolling. Secondly, we consider general multidimensional imaging systems whose measurements involve convolution and superposition. We formulate a realistic truncated image formation model and develop a deep learning-based unrolled reconstruction method to solve the associated inverse problem. The performance is illustrated for single-frame deconvolution and diffractive multi-spectral imaging applications. Thirdly, we extend the deep learning-based unrolled reconstruction methods to a compressive spectral imaging modality by considering both the conventional and truncated image formation models. The performance of all the developed methods is comparatively evaluated for sample applications using different convolutional neural network (CNN) architectures, including U-Net. Results illustrate the superior performance of the developed unrolled learned reconstruction methods over purely analytical methods for all simulation settings. We also demonstrate the generalization capability of the developed unrolled reconstruction methods through extensive simulations and perform model mismatch analyses to illustrate the improvement gained with the truncated image formation model.Hesaplamalı görüntüleme, görüntülerin hesaplama kullanılarak dolaylı ölçümlerden elde edilmesidir. Bu tezde, çeşitli hesaplamalı görüntüleme metotları için derin öğrenme tabanlı geriçatım yöntemleri geliştirilmektedir. İlk olarak, kırınımlı çoklu spektral görüntüleme için derin öğrenme tabanlı iki geriçatım yöntemi geliştirilmektedir. İlk yaklaşım, derin gürültüsüzleştiriciler ile koy ve oynat düzenlileştirmesine dayanan özyineli bir yöntem ve ikinci yaklaşım, özyineli yöntemin iterasyonlar boyunca açılmasına dayanan baştan sonra öğrenilmiş bir yöntemdir. İkinci olarak, ölçümleri evrişim ve üstdüşüm içeren genel çok boyutlu görüntüleme sistemleri dikkate alınmaktadır. Gerçekçi kırpılmış görüntüleme modeli formüle edilmektedir ve ilgili ters problemi çözmek için derin öğrenme tabanlı geriçatım yöntemi geliştirilmektedir. Yöntemin performansı, tek-çerçeve ters evrişim ve kırınımlı çoklu spektral görüntüleme uygulamaları için gösterilmektedir. Üçüncü olarak, derin öğrenme tabanlı geriçatım yöntemleri hem klasik hem de kırpılmış görüntüleme modelleri kullanılarak sıkıştırılmış spektral görüntüleme metoduna uygulanmaktadır. Geliştirilen bütün yöntemlerin performansları, U-Net'i de içeren farklı evrişimsel sinir ağı mimarileri kullanılarak örnek uygulamalar için karşılaştırmalı olarak değerlendirilmektedir. Sonuçlar, tüm benzetim durumlarında, geliştirilen baştan sona öğrenilmiş yöntemin tamamen analitik olan yöntemlere karşı olan üstünlüğünü göstermektedir. Ayrıca, kapsamlı benzetimlerle, geliştirilen baştan sona öğrenilmiş yöntemin genelleştirme yeteneği ve model uyumsuzluğu analizleriyle, kırpılmış görüntüleme modeli kullanılarak elde edilen iyileşmeler gösterilmektedir.M.S. - Master of Scienc