Real Time Turbulent Video Perfecting by Image Stabilization and Super-Resolution

Image and video quality in Long Range Observation Systems (LOROS) suffer from atmospheric turbulence that causes small neighbourhoods in image frames to chaotically move in different directions and substantially hampers visual analysis of such image and video sequences. The paper presents a real-time algorithm for perfecting turbulence degraded videos by means of stabilization and resolution enhancement. The latter is achieved by exploiting the turbulent motion. The algorithm involves generation of a reference frame and estimation, for each incoming video frame, of a local image displacement map with respect to the reference frame; segmentation of the displacement map into two classes: stationary and moving objects and resolution enhancement of stationary objects, while preserving real motion. Experiments with synthetic and real-life sequences have shown that the enhanced videos, generated in real time, exhibit substantially better resolution and complete stabilization for stationary objects while retaining real motion.Comment: Submitted to The Seventh IASTED International Conference on Visualization, Imaging, and Image Processing (VIIP 2007) August, 2007 Palma de Mallorca, Spai

Viewfinder: final activity report

The VIEW-FINDER project (2006-2009) is an 'Advanced Robotics' project that seeks to apply a semi-autonomous robotic system to inspect ground safety in the event of a fire. Its primary aim is to gather data (visual and chemical) in order to assist rescue personnel. A base station combines the gathered information with information retrieved from off-site sources. The project addresses key issues related to map building and reconstruction, interfacing local command information with external sources, human-robot interfaces and semi-autonomous robot navigation. The VIEW-FINDER system is a semi-autonomous; the individual robot-sensors operate autonomously within the limits of the task assigned to them, that is, they will autonomously navigate through and inspect an area. Human operators monitor their operations and send high level task requests as well as low level commands through the interface to any nodes in the entire system. The human interface has to ensure the human supervisor and human interveners are provided a reduced but good and relevant overview of the ground and the robots and human rescue workers therein

高速ビジョンを用いたリアルタイムビデオモザイキングと安定化に関する研究

広島大学(Hiroshima University)博士(工学)Doctor of Engineeringdoctora

Hybrid Video Stabilization for Mobile Vehicle Detection on SURF in Aerial Surveillance

Detection of moving vehicles in aerial video sequences is of great importance with many promising applications in surveillance, intelligence transportation, or public service applications such as emergency evacuation and policy security. However, vehicle detection is a challenging task due to global camera motion, low resolution of vehicles, and low contrast between vehicles and background. In this paper, we present a hybrid method to efficiently detect moving vehicle in aerial videos. Firstly, local feature extraction and matching were performed to estimate the global motion. It was demonstrated that the Speeded Up Robust Feature (SURF) key points were more suitable for the stabilization task. Then, a list of dynamic pixels was obtained and grouped for different moving vehicles by comparing the different optical flow normal. To enhance the precision of detection, some preprocessing methods were applied to the surveillance system, such as road extraction and other features. A quantitative evaluation on real video sequences indicated that the proposed method improved the detection performance significantly

Aircraft Detection and Tracking Using UAV-Mounted Vision System

For unmanned aerial vehicles (UAVs) to operate safely in the national airspace where non-collaborating flying objects, such as general aviation (GA) aircraft without automatic dependent surveillance-broadcast (ADS-B), exist, the UAVs\u27 capability of “seeing these objects is especially important. This “seeing , or sensing, can be implemented via various means, such as Radar or Lidar. Here we consider using cameras mounted on UAVs only, which has the advantage of light weight and low power. For the visual system to work well, it is required that the camera-based sensing capability should be at the level equal to or exceeding that of human pilots. This thesis deals with two basic issues/challenges of the camera-based sensing of flying objects. The first one is the stabilization of the shaky videos taken on the UAVs due to vibrations at different locations where the cameras are mounted. In the thesis, we consider several algorithms, including Kalman filters and particle filters, for stabilization. We provide detailed theoretical discussions of these filters as well as their implementations. The second one is reliable detection and tracking of aircraft using image processing algorithms. We combine morphological processing and dynamic programming to accomplish good results under different situations. The performance evaluation of different image processing algorithms is accomplished using synthetic and recorded data

Fast Video Stabilization Algorithms

A fast and robust electronic video stabilization algorithm is presented in this thesis. It is based on a two-dimensional feature-based motion estimation technique. The method tracks a small set of features and estimates the movement of the camera between consecutive frames. It is used to characterize the motions accurately including camera rotations between two imaging instants. An affine motion model is utilized to determine the parameters of translation and rotation between images. The determined affine transformation is then exploited to compensate for the abrupt temporal discontinuities of input image sequences. Also, a frequency domain approach is developed to estimate translations between two consecutive frames in a video sequence. Finally, a jitter detection technique to isolate vibration affected subsequence of an image sequence is presented. The experimental results of using both simulated and real images have revealed the applicability of the proposed techniques. In particular, the emphasis has been to develop real time implementable algorithms, suitable for unmanned vehicles with severe payload constraints

Digital Video Stabilization With Sift Flow

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2015Thesis (M.Sc.) -- İstanbul Technical University, Instıtute of Science and Technology, 2015Bu çalı¸smada, bir videonun istenmeyen kamera hareketlerinin olabildi˘gince giderilmesi ele alınmaktadır. Videolardaki istenmeyen kamera hareketleri çekimin araba, helikopter gibi hareketli bir ortamda yapılması, kullanıcının elinin titremesi ya da güvenlik kameralarında rüzgar gibi hava ko¸sulları sebebiyle meydana gelebilir. Bu hareketler, videonun görsel kalitesini bozarak izleyicileri rahatsız edebilir. Bununla birlikte, hedef takibi gibi sayısal video i¸sleme uygulamalarında da belirsizliklere ve yanlı¸slıklara neden olmaktadır. Bu nedenle, sayısal video i¸sleme uygulamalarına geçmeden önce istenmeyen kamera hareketlerinin giderilmesi (video sabitleme) gerekmektedir. ˙Istenmeyen kamera hareketlerinin giderilmesi sonucunda görsel olarak daha yumu¸sak geçi¸sleri olan bir video olu¸sturulması amaçlanmaktadır. Literatürde, temel olarak üç çe¸sit video sabitleme yönteminden bahsedilmektedir. Bu yöntemler, mekanik, optik ve sayısal video sabitleme olarak adlandırılmaktadır. Mekanik video sabitlemenin amacı, kameranın üzerinde durdu˘gu platformun hareketinin algılanarak kamerayı titre¸simsiz bir çekim yapacak ¸sekilde fiziksel olarak düzeltmektir. Oldukça iyi sonuçların alınabildi˘gi mekanik video sabitlemede kamera dı¸sında ta¸sınması gereken aygıtlar bulundu˘gu için günlük kullanım ve amatör kullanıcılar için uygun olmayabilir. Bir di˘ger yöntem ise optik video sabitlemedir. Optik video sabitlemenin amacı ise kamera içindeki mercek grubunu görüntünün titre¸simine uygun olarak de˘gi¸sikli˘ge u˘gratmak ve görüntü düzlemine ula¸san ı¸sınların düzeltilmesini sa˘glamaktır. Son yıllarda, video kameraların pek ço˘gunda optik video sabitleme özelli˘gi bulunmaktadır. Buraya kadar bahsedilen iki video sabitleme yöntemi de istenmeyen hareketlerden arınmı¸s videolar çekmeyi amaçlamaktadır. Üçüncü ve son yöntem olan sayısal video sabitleme, sayısal video i¸sleme yöntemleri kullanılarak videolardaki titre¸simi gidermeye çalı¸smaktadır. Uygulamaya göre gerçek zamanlı ya da çekim sonrası i¸sleme ¸seklinde iki seçene˘gi mevcuttur. Gerçek zamanlı video sabitleme mobil cihazlara uygulanabilmektedir ve çekim sırasında titre¸simli çerçeveleri düzeltmeyi amaçlamaktadır. Bu yöntemin sakıncalı yanı, zaman kısıtlaması olmasıdır. Kullanılan yöntemlerin hesaplama karma¸sıklı˘gının ve süresinin mümkün oldu˘gunca az olması gerekmektedir. Bu nedenle, daha kolay uygulanabilir yöntemler tercih edilir. Örne˘gin, video sabitleme uygulamalarında en temel adım olan hareket kestriminde basitli˘gi sebebiyle ötelemeye dayalı hareket modeli kullanınabilmektedir. Gerçek zamanlı video sabitleme ile mobil uygulamalar için yeterli olabilecek bir sabitleme gerçekle¸stirilebilir. Ancak do˘grulu˘gu daha yüksek bir uygulamaya ihtiyaç varsa zaman kısıtlması olmayan çekim sonrası i¸sleme tercih edilmelidir. Bu yolla, gürültü, geometrik dönü¸sümler, ı¸sık de˘gi¸simleri gibi etkenlere daha dayanıklı ve hesaplama karma¸sıklı˘gı nispeten fazla olan daha kapsamlı yöntemler kullanılabilir. Bu nedenle, çekim sonrası video i¸sleme yöntemlerinin do˘grulu˘gu ve görsel kalitesi gerçek zamanlı yöntemlere göre daha iyi olmaktadır. Bu yöntemin olumsuz yani ise artan hesap karma¸sıklı˘gı ile programların çalı¸sma süresinin uzamasıdır. Her ne kadar gerçek zamanlı yöntemler gibi hesaplama süresi üzerinde bir kısıtlama olmasa da titre¸simsiz videoları elde etme süresinin kabul edilebilir ölçülerde olması gerekmektedir. Sayısal video sabitleme, hareket kestirimi ve hareket kar¸sılama olmak üzere iki temel adımdan olu¸smaktadır. Özellikle hareket kestiriminin do˘grulu˘gu video sabitleme uygulamaları açısından büyük öneme sahiptir. Hareket kestirimi sırasında meydana gelebilecek herhangi bir hata, video sabitleme performansının bütününü etkilemektedir. Bu nedenle, dayanıklı ve do˘grulu˘gu yüksek bir hareket kestirimi yöntemi tercih edilmelidir. Hareket kestirimi, blok e¸sleme algoritması, optik akı¸s yöntemleri, faz ili¸skisi, vb. çe¸sitli yöntemler kullanılarak gerçekle¸stirilmektedir. Bahsedilen bu yöntemler kullanılarak kom¸su video çerçevelerinin pikselleri veya piksel blokları e¸slenerek aralarındaki yer de˘gi¸stirme kestirilmeye çalı¸sılır. Bu e¸sleme esnasında, piksellerin gri seviye de˘gerleri, kenar, kö¸se noktaları ya da çerçeveler boyunca istikrarlı kalabilecek bir takım öznitelikler kullanılabilir. Tahmin edilece˘gi üzere gürültü, ı¸sık de˘gi¸simleri, ölçek ve geometrik dönü¸süm de˘gi¸simlerine kar¸sı dayanıksızlı˘gı sebebiyle do˘grudan piksellerin gri düzeylerini kullanmak tercih edilen bir yol de˘gildir. Bu nedenle video çerçevelerini e¸slerken Scale Invarinat Feature Transform (SIFT), Speeded up Robust Features (SURF), Oriented FAST and Rotated BRIEF (ORB), vb. özniteliklerden yararlanılmaktadır. Öznitelik tabanlı görüntü i¸sleme algoritmaları her ne kadar ayırt edici noktalar bulabilse de çerçeve içinde hareket eden nesneler ya da yanlı¸s e¸slemeler sebebiyle hareket kestiriminde istenmeyen sonuçlarla kar¸sıla¸sılabilir. Yanlı¸s e¸slemeler nedeniyle seçilen hareket modeline uymayan ya da hareket eden cisimler nedeniyle hareket vektörlerinde yerel de˘gi¸simlere sebep olan bu noktalar aykırı noktalar olarak adlandırılabilir. Aykırı noktalar, bir video sabitleme algoritması için büyük öneme sahip olan global hareketin kestirilme performansını olumsuz etkilemektedir. Bu nedenle, aykırı noktaların elenmesi gerekmektedir. 1981’de Fischler ve Bolles tarafından önerilen Random Sample Consensus (RANSAC) sık kullanılan bir aykırı nokta eleyici algoritmadır. Ayrık noktalar elendikten sonra artık video sabitleme için gerekli olan global hareket, elemeden geçen noktalar ile kestirilmeye çalı¸sılır. Ardı¸sık video çerçeveleri arasında bulunan hareket, iki boyutlu bir akı¸s alanı olarak ifade edilebilmektedir. ˙Iki boyutlu akı¸s vektörlerinin elemanları, yatay ve dü¸sey eksendeki yer de˘gi¸stirmeyi göstermektedir. Hesaplamalarda kolaylık sa˘gladı˘gı için yatay ve dü¸sey yer de˘gi¸stirmeler genellikle birbirlerinden ba˘gımsız olarak ele alınmaktadır. Bu akı¸s vektörlerini elde edebilmek için ayrık, sürekli ya da kabadan inceye e¸sleme yöntemleri bulunmaktadır. Ayrıca kom¸su çerçeveler arasındaki hareketi geometrik bir dönü¸süm olarak ifade etmek de mümkündür. Video sabitleme problemlerinde de sıkça kullanılan iki boyutlu parametrik hareket kestirimi, iki boyutlu yer de˘gi¸stirmeleri kullanarak ardı¸sık çerçeveler arasında geometrik bir dönü¸süm bulmayı hedefler. Yaygın olarak kullanılan parametrik hareket modelleri iki boyutlu do˘grusal koordinat dönü¸sümleridir. Bu çalı¸smada SIFT özniteliklerinden yararlanan ve optik akı¸s algoritmasından esinlenen bir e¸sleme yöntemi olan SIFT akı¸sı kullanılmı¸stır. SIFT akı¸sı, orijinal görüntüleri kullanarak her noktasında 128 boyutlu SIFT öznitelik vektörleri olan SIFT gürüntülerini elde eder. Böylece orijinal SIFT yöntemine göre daha sık bir SIFT gösterilimi elde edilmi¸s olur. Ancak SIFT akı¸sı SIFT özniteliklerini hesaplarken orijinal SIFT öznitelik çıkarma adımlarının tamamını izlemez. Buna ra˘gmen görüntü e¸slemede piksellerin gri düzey de˘gerlerini kullanmak yerine SIFT akı¸sı yönteminde hesaplanan SIFT özniteliklerini kullanmak gürültü, geometrik dönü¸sümler, ı¸sık de˘gi¸sikleri vb. etkenlere kar¸sı dayanıklılık sa˘glamaktadır. SIFT akı¸sı, SIFT görüntülerini optik akı¸sa benzer bir yakla¸sım ile e¸slemektedir. SIFT akı¸sının enerji fonksiyonu, yer de˘gi¸stirmenin akı¸s vektörleri boyunca olaca˘gı, bu akı¸s vektörlerinin Taylor açılımını sa˘glayacak kadar küçük bulunaca˘gı ve kom¸su akı¸s vektörlerinin birbirine benzer olaca˘gı yani süreksizliklerin kontrol altına alınabildi˘gi bir yapıda seçilmi¸stir. Enerji fonksiyonu ayrıca parçalı Markov Rastgele Alanı (piecewise Markov Random Field) ¸seklinde modellenmi¸stir ve böylece bu maliyet fonksiyonunu enküçülten akı¸s vektörlerinin bulunmasında Bayesçi bir yakla¸sım olan inanç aktarımı (belief propagation) yöntemi kullanılabilmektedir. SIFT akı¸sı sonucunda ardı¸sık iki çerçeve arasındaki yer de˘gi¸stirmeleri ifade eden akı¸s alanı elde edilmi¸s olmaktadır. Bu a¸samada ortaya çıkabilecek aykırı noktalar RANSAC kullanılarak elenmektedir. RANSAC algoritmasında öncelikle, göz önüne alınan hareket modelinin çözümü için gereken en az sayıda nokta rasgele seçilir. Bu noktalar kullanılarak bir ba¸slangıç hareket modeli hesaplanır. Daha sonra elimizdeki noktalardan bu modele uyan bir altküme seçilir. Noktaların modele uygunlu˘guna bakılırken kullanılan ölçüt ise Öklid uzaklı˘gına dayanmaktadır. ˙Ilk iterasyon sonucu testten geçen noktaların sayısı e˘ger önceden belirlenen olası veri içindeki modele uyumlu nokta sayısından daha fazla ise program sonlandırılır, de˘gilse ba¸sa dönülür ve i¸slemler tekrarlanır. RANSAC algoritması sonucunda elde edilen bütün uyumlu noktalar hareket modelinin bulunmasında kullanılmaktadır. Bu çalı¸smada model parametrelerini bulmak için en küçük kareler yöntemi kullanılmı¸stır. Ortalama almaya dayalı bir yöntem oldu˘gu için en küçük karelerin sonucu aykırı noktaların varlı˘gından oldukça etkilenmektedir. Bu nedenle, bu çalı¸smada en küçük kareler RANSAC ile aykırı noktalar elendikten sonra kullanılmı¸stır. Ancak bazı durumlarda sadece RANSAC algoritmasını kullanmak aykırı noktaların sonucu etkilemesini önlemeye yetmemektedir. Örne˘gin, videolarda hızla hareket eden ve oldukça çok yer kaplayan cisimlere ait noktalar RANSAC tarafından elenemeyecek aykırı noktalardır. Bu sorununun üstesinden gelmek için video çerçevesindeki noktalar kabul edilen hareket modeline uygunlukları açısından bir seçime tabi tutulmu¸stur. Hareketli cisimlerin genellikle çerçevenin ön planında yani ço˘gunlukla orta bölgelerde bulundu˘gu varsayılmaktadır. Bu nedenle, video sabitleme i¸sleminin ba¸sında çerçevenin orta bölgesi dı¸sında kalan noktalar RANSAC algoritmasında kullanılmı¸stır. Orta bölgenin büyüklü˘gü tahminen belirlenmektedir. ˙Ilk iki çerçeve için sadece arka plan noktaları kullanılarak hareket modeli hesaplanır. Sıradaki çerçeve çiftine geçmeden önce ön plan olarak kabul edilen bölgedeki noktalardan hesaplanan modele uyanlar da arka plan noktalarına katılır ve arka plan noktalarından modele uymayan noktalar elenir.Böylece, sıradaki RANSAC i¸slemi güncellenmi¸s arka plan noktaları kullanılarak yapılmaktadır. Bahsedilen i¸slemler bütün çerçeve çiftleri için tekrarlanarak devam eder. Dikkat edilmesi gereken nokta, bu tezde arka plan noktalarını seçmek ile ifade edilmek istenen her adımda hesaplanan hareket modeline uyan noktaların belirlenmesidir. Hareket modeli olarak olası kamera hareketlerinin ço˘gunlu˘gunu içeren 6 parametreli ilgin dönü¸süm tercih edilmi¸stir. Hareket modeli kestirildikten sonra video sabitleme yöntemlerinin son a¸saması olan hareket kar¸sılaması gerçekle¸stirilmektedir. Hareket kar¸sılamada istenmeyen hareketlerin giderildi˘gi yeni çerçeveler bir araya getirilerek sabitlenmi¸s videolar olu¸sturulmaktadır. ˙Ilgin dönü¸süm bulunduktan sonra ikinci çerçeveye bulunan dönü¸süm uygulanarak birinci çerçeve elde edilmektedir. Sıradaki çerçeve çiftine geçildi˘ginde ise bir önceki adımda düzeltilen çerçeve ile yeni çerçeve kar¸sıla¸stırılır. Herhangi bir adımda ilgin dönü¸süm hesaplamasında meydana gelen hatalar e¸sle¸smelerde düzeltilmi¸s çerçeveler kullanıldı˘gı için katlanarak artabilmektedir. Bu durumun üstesinden gelebilmek için hata yapma olasılı˘gının fazla oldu˘gu çerçeveler belirlenerek bu çerçevelerde ilgin dönü¸sümün sadece ötelemeleri kullanılarak çerçeveler düzeltilmeye çalı¸sılmı¸stır. Çünkü e¸sleme hataları ilgin dönü¸sümün öteleme kısmını nispeten daha az etkilemektedir. E¸sleme hatasının olası oldu˘gu çerçeveler ise çerçevelerin gradyenlerinden yararlanarak tespit edilmeye çalı¸sılmı¸stır. Çerçeveler düzeltilirken dikkate alınan bir di˘ger konu da bilinçli olarak kullanıcının ilgi alanının de˘gi¸smesi sonucu yapılan yalpa ve yunus gibi kamera hareketlerini istenmeyen titre¸sim hareketlerinden ayırt edilmesidir. Bunun için bilinçli kamera hareketlerinin titre¸sim hareketlerine göre daha düzenli ve yumu¸sak hareketler oldu˘gu sonucundan yararlanılmaktadır. Örne˘gin, yalpa hareketi için yatay öteleme parametreleri bir grup çerçeve için takip edilirse, parametrelerin tekdüze bir ¸sekilde bir yönde arttı˘gı görülmektedir. Bu çalı¸smadaki video sabitleme programınının yalpa hareketini bahsedilen ¸sekilde fark edip yalpa hareketi süresince çok büyük bir düzeltme yapmaması sa˘glanmaya çalı¸sılmı¸stır. Böylece istenen yalpa hareketinin takip edilebilmesi amaçlanmı¸stır. Bu tezde ayrıca yalpa hareketinin bilinçli bir kullanıcı tarafından yava¸s bir ¸sekilde yapıldı˘gı varsayılamaktadır. Sonuç olarak, videolardaki istenmeyen hareketler literatürdeki çalı¸smalara benzer bir yakla¸sımla giderilmeye çalı¸sılmı¸stır. Öznitelik tabanlı bir e¸sleme yöntemi ile akı¸s vektörlerine ula¸sılmı¸stır. Seçilen hareket modeli ile uyumsuzluk yaratacak aykırı noktalar elenmi¸s, hareket modeli iki çerçeve arasındaki ilgin dönü¸sümü olarak belirlenmi¸s ve bu bilgiler ı¸sı˘gında titre¸simli çerçeveler düzeltilerek sabitlenmi¸s videolar elde edilmeye çalı¸sılmı¸stır.Videos which are recorded by hand held devices generally suffer from unintentional camera motion. The reasons of the unintentional motion may be the hand shake of users, or recording videos in a moving vehicle like car, bicycle, etc. Unwanted camera motion is not only encountered in amateur recordings made on mobile devices but also in video surveillance systems because of weather conditions like wind, or in videos which are recorded from an aerial vehicle. This unwanted motion decreases the quality of the video. In addition, the shaky movements may cause ambiguities in applications such as target detection or tracking. In other words, unwanted movements deteriorate the accuracy and the performance of the video processing applications. Therefore, the reduction of unintentional camera motion becomes a fundamental step for digital video processing. Video stabilization can be defined as the correction of unstabilized video frames such that the new video which is constructed with the compensated frames has smoother frame to frame transitions. The possible methods for video stabilization can be divided into three categories such as mechanical, optical and digital video stabilization. In this study, digital video stabilization approach was taken into consideration. Digital video stabilization can also be divided into two categories such as offline and real-time video stabilization. Real-time video stabilization can be applied in mobile video recording devices. Real-time processing reduces the shakiness during the recording. However, this method is limited by the available processing time. Since the processing time is crucial, algorithms used in this method are generally chosen easy to implement and the motion models are also chosen simple to reduce the complexity. Stabilized videos with relatively sufficient visual quality are able to be produced by real time video stabilization methods. On the other hand, if the goal is improving accuracy and the performance of a video processing application, real time methods with simplified solutions may not be enough. In contrast, offline post-processing, which is the target of this study, allows us to use more robust and accurate methods. As a result, the quality and the accuracy of stabilized videos are consequently better than those for real-time. Digital video processing has two main steps such as motion estimation and motion compensation. Motion estimation is the crucial part of a video stabilization scheme. There is a wide variety of approaches for motion estimation such as block matching algorithms, optical flow methods, pel-recursive methods, phase correlation methods, Bayesian methods, parametric motion estimation models, and 3D motion estimation. Correspondence matching or image alignment focuses on finding a feature which will be consistent across images. Raw pixels, corners, edges or some distinctive descriptors are used for this goal. As it is expected, using raw pixels is not a favored way because of its weakness for noise, illumination and orientation changes, etc. On the contrary, feature based motion estimation is proposed as a more robust method to these condition changes, since it uses some lighting, scale, orientation and geometric transformation invariant features for correspondence matching. In this thesis, a relatively new high level image alignment technique called SIFT flow was used to extract the 2D flow field between consecutive video frames. SIFT flow can be briefly expressed as an algorithm whose computational framework is based on optical flow, but matches the SIFT descriptors instead of raw pixels. SIFT flow extracts pixelwise SIFT descriptors which are produced by local image structures and contextual information. These descriptors are then matched by a discrete, discontinuity preserving flow estimation algorithm. A discrete coarse to fine matching scheme based on the belief propagation is used to find flow vectors that minimize the cost function of the SIFT flow algorithm. Although feature based methods try to match highly distinctive and robust features, there can still be undesired results during the motion estimation because of the feature points on moving objects and incorrect correspondence point matching. These kinds of points are expressed as outliers. Outliers are the points which do not fit the global motion model and alter the motion vectors locally. The success of a video stabilization scheme is affected by the outliers significantly. For this reason, outlier points must be eliminated. One of the widely used methods for the elimination of outliers is the Random Sample Consensus (RANSAC) algorithm. RANSAC tries to find inlier points in an iterative scheme. RANSAC process is repeated until reaching a predetermined number of trials. The error function is chosen as the Euclidean distance. Therefore, RANSAC tries to find points whose Euclidean distance between the actual points in the target frame and the transformed points from the reference frame are less than a distance threshold. This threshold can be determined heuristically according to the data. The maximum number of trials and the threshold for the consensus set size is calculated by considering the number of points and the inlier probabilities. Although RANSAC is a practical tool for removing outliers, there may be some points that belong to moving objects and cannot be easily eliminated by RANSAC. Therefore, a background point selection approach, which means choosing points compatible with the motion model, was utilized to overcome this problem. After eliminating outliers, motion is estimated by using inlier feature points. Motion is generally expressed as a two dimensional vector whose elements are the horizontal and the vertical displacements. These two components are usually assumed to be independent. This assumption provides ease in computations. If a simple translation model is assumed as global camera motion, a global motion vector for a frame is looked for. On the other hand, there are also affine changes in real life videos and simple translation may not be enough for compensating the unstable frames. For example, the affine transformation constructs the camera motion model with scale, rotation, shear and translation together. If an affine parametric motion estimation is followed, global motion will be modeled as a global transformation between successive frames. In this study, global motion model was chosen as a 6 parameter affine transformation which is often preferred in literature. The last step of a video stabilization scheme is the motion compensation. Frames which have motion blur may yield wrong matching results. This may cause undesired affine transformation matrices. However, matching failures do not affect the translational motion as much as the affine part. Therefore, the frames with motion blur are compensated by using a translational motion model only. In conclusion, a feature based matching method was used to obtain flow vectors, outliers were eliminated by the RANSAC method, and shaky frames are compensated by taking the motion blurs into account in this thesis.Yüksek LisansM.Sc