Stereoscopic Seam Carving With Temporal Consistency

In this paper, we present a novel technique for seam carving of stereoscopic video. It removes seams of pixels in areas that are most likely not noticed by the viewer. When applying seam carving to stereoscopic video rather than monoscopic still images, new challenges arise. The detected seams must be consistent between the left and the right view, so that no depth information is destroyed. When removing seams in two consecutive frames, temporal consistency between the removed seams must be established to avoid flicker in the resulting video. By making certain assumptions, the available depth information can be harnessed to improve the quality achieved by seam carving. Assuming that closer pixels are more important, the algorithm can focus on removing distant pixels first. Furthermore, we assume that coherent pixels belonging to the same object have similar depth. By avoiding to cut through edges in the depth map, we can thus avoid cutting through object boundaries

Methods for reducing visual discomfort in stereoscopic 3D: A review

This work was supported by the EPSRC Grant EP/M01469X/1, “Geometric Evaluation of Stereoscopic Video”

Image-based photo hulls for fast and photo-realistic new view synthesis

We present an efficient image-based rendering algorithm that generates views of a scene's photo hull. The photo hull is the largest 3D shape that is photo-consistent with photographs taken of the scene from multiple viewpoints. Our algorithm, image-based photo hulls (IBPH), like the image-based visual hulls (IBVH) algorithm from Matusik et al. on which it is based, takes advantage of epipolar geometry to efficiently reconstruct the geometry and visibility of a scene. Our IBPH algorithm differs from IBVH in that it utilizes the color information of the images to identify scene geometry. These additional color constraints result in more accurately reconstructed geometry, which often projects to better synthesized virtual views of the scene. We demonstrate our algorithm running in a realtime 3D telepresence application using video data acquired from multiple viewpoints

Sayısal görüntülerde piksel yolu çıkarma esaslı boyut değişikliği tespiti

06.03.2018 tarihli ve 30352 sayılı Resmi Gazetede yayımlanan “Yükseköğretim Kanunu İle Bazı Kanun Ve Kanun Hükmünde Kararnamelerde Değişiklik Yapılması Hakkında Kanun” ile 18.06.2018 tarihli “Lisansüstü Tezlerin Elektronik Ortamda Toplanması, Düzenlenmesi ve Erişime Açılmasına İlişkin Yönerge” gereğince tam metin erişime açılmıştır.Piksel yolu çıkarma (seam carving), günümüzde en çok uygulanan içeriğe duyarlı görüntü boyutlandırma yöntemlerinden biridir. Piksel yolu çıkarmanın sebep olduğu bozukluklar çok yüksek oranlarda ölçekleme yapılmadıkça insan gözü tarafından algılanamaz. Bu görsel başarının sebebi görüntüdeki piksellerin önem değerlerine göre değerlendiriliyor olmasıdır. Görüntünün optimal seam'i, görüntü genelinde toplamda en az enerji (önem) değerine sahip piksel yoludur. Tek piksel genişliğindeki önemsiz bu piksel yolları birer azaltılarak her iterasyonda görüntünün genişliği ya da yüksekliği bir azaltılır. Anlamsal olarak önemli olan ön plan nesnelerine mümkün olduğunca dokunulmaz. Görüntünün içeriğinin bu denli korunduğu bir ölçekleme yaklaşımı kötü niyetli olarak da kullanılabileceğinden, bu şekilde ölçeklenmiş görüntülerin tespiti büyük önem arz etmektedir. Piksel yolu çıkarma tabanlı ölçeklemenin tespiti diğer ölçekleme yöntemlerine göre oldukça zordur. çünkü görüntülerin geometrik açıdan ele alınması yetmez, anlamsal bir değerlendirme içeren detaylı bir analiz yapılması gerekmektedir. Bu çalışmada, piksel yolu çıkarılarak boyutları değiştirilmiş görüntülerin tespiti, görüntülerden özellik çıkarılması ve çıkarılan özelliklerle Destek Vektör Makinesi'nin eğitilmesi şeklinde gerçekleştirilmektedir. Çıkarılan özellikler piksel yolu çıkarma algoritmasının uygulanışı ile alakalı özelliklerdir. Ayrıca, yöntemin başarımını artırmak amacıyla, özellik çıkarımı öncesinde görüntülere Yerel İkili Örüntüler dönüşümü uygulanmış ve piksel yolu çıkarmanın sebep olabileceği yerel bozukluklar belirginleştirilmiştir. Tüm bunlara ek olarak, piksel yolu çıkarmanın görüntülerin farklı parçalarındaki etkileri de incelenmiştir. Bu amaçla görüntüler şeritlere ayrılarak her bir şerit seam özellikleri bakımından değerlendirilmiş ve tespit doğrulukları bu şekilde oldukça artırılmıştır. Geliştirilen yöntem ile piksel yolu çıkarma tabanlı ölçekleme %30 ölçeklenmiş görüntülerde %99,9'lara kadar tespit edilebilmiştir. Performans literatürdeki diğer yöntemlere göre ortalamada %20'den fazla artırılmıştır. Tespit performansı özellikle tespit edilmesi daha zor olan %3, %6 gibi küçük ölçekleme oranlarında %26 geliştirilmiştir.Seam carving is one of the mostly applied content-aware image resizing methods today. The deteriorations caused by seam carving are mostly unnoticeable for human eyes unless the scaling ratio is very high. The reason of this visual success comes from evaluating the pixels according to their importance values. Optimal seam of an image is a pixel path which contains the least energy (importance) throughout the image. Image width or height is decreased by one in each iteration by removing those unimportant, one-pixel width pixel paths. The semantically important foreground objects remain untouched as far as possible. Since such a scaling approach which perfectly preserves the image content can be used malevolently, the detection of the images that are scaled in this manner becomes more of an issue. The detection of seam carving is more difficult than the other scaling methods since evaluating the images geometrically is not sufficient, but a detailed analysis investigating the semantical concept is required. In this study, the detection of the images scaled by seam carving is realized by feature extraction and training a Support Vector Machine with those features. The extracted features are related to the seam carving process. In addition, Local Binary Patterns transform is applied to the images before feature extraction to reveal the local artifacts caused by seam carving. Besides, the effect of seam carving in sub parts of the images is investigated. For this purpose, the images are divided into several stripes and each and every stripe is evaluated in terms of seam features. This evaluation has been improved the detection accuracies. Seam carving based resizing has been detected up to 99,9% in 30%scaled images by the developed method. The detection performance has been improved 20% on the average when compared with other methods in the literature. The detection performance is improved 26% in low scaling ratios like 3% and 6% which are harder to detect

Adaptation of Images and Videos for Different Screen Sizes

With the increasing popularity of smartphones and similar mobile devices, the demand for media to consume on the go rises. As most images and videos today are captured with HD or even higher resolutions, there is a need to adapt them in a content-aware fashion before they can be watched comfortably on screens with small sizes and varying aspect ratios. This process is called retargeting. Most distortions during this process are caused by a change of the aspect ratio. Thus, retargeting mainly focuses on adapting the aspect ratio of a video while the rest can be scaled uniformly. The main objective of this dissertation is to contribute to the modern image and video retargeting, especially regarding the potential of the seam carving operator. There are still unsolved problems in this research field that should be addressed in order to improve the quality of the results or speed up the performance of the retargeting process. This dissertation presents novel algorithms that are able to retarget images, videos and stereoscopic videos while dealing with problems like the preservation of straight lines or the reduction of the required memory space and computation time. Additionally, a GPU implementation is used to achieve the retargeting of videos in real-time. Furthermore, an enhancement of face detection is presented which is able to distinguish between faces that are important for the retargeting and faces that are not. Results show that the developed techniques are suitable for the desired scenarios