A massively parallel multi-level approach to a domain decomposition method for the optical flow estimation with varying illumination

We consider a variational method to solve the optical flow problem with varying illumination. We apply an adaptive control of the regularization parameter which allows us to preserve the edges and fine features of the computed flow. To reduce the complexity of the estimation for high resolution images and the time of computations, we implement a multi-level parallel approach based on the domain decomposition with the Schwarz overlapping method. The second level of parallelism uses the massively parallel solver MUMPS. We perform some numerical simulations to show the efficiency of our approach and to validate it on classical and real-world image sequences

Эволюционная настройка алгоритма расчета карт визуальной салиентности

KACHURKA V. A., MADANI K., SABOURIN C., GOLOVKO V. A., KACHURKA P. A. Evolutionary-based tuning of visual saliency map calucalting algorithmКо многим современным задачам в области компьютерного зрения существуют биологически инспирированные подходы; одним из таковых является расчёт карт визуальной салиентности. Предложенный в предыдущих публикациях алгоритм EOA, производящий расчёт карт визуальной салиентности и имитирующий простейшую модель человеческого взгляда, может быть оптимизирован под каждый отдельный класс задач. Подробности эволюционного подхода к подобной настройке рассматриваются в данной статье. Приводятся все оптимизируемые параметры алгоритма и части алгоритма, где они используются. Рассматриваются все элементы эволюционной оптимизации, приводится примерный протокол оптимизации для универсального тестового набора данных MIT1003. Показаны полученные в качестве оптимальных значения параметров, которые могут использоваться в дальнейших экспериментах как универсальные. Приводится последующий эксперимент с имитацией визуальной навигации на роботе-гуманоиде с применением алгоритма EOA с полученными ранее универсальными параметрами, в рамках которого данный набор параметров показан как умеренно подходящий. В заключении предлагаются дальнейшие направления исследований по разработке более высокоуровневых моделей человеческого визуального восприятия

Unlocking the investment impact of biomass energy utilization on environmental degradation for an isolated island

Purpose: Discussions on environment-friendly production connected with the concerns of growing biomass emissions have gained much attention. In this regard, this study aims to explore the issue of biomass energy consumption and its related emission effects on the economic and environmental well-being of the economy of Cyprus. Design/methodology/approach: This study sources time series data on specific variables from the Global Material Flow and the World Bank’s World Development Indicators (WDI, 2020) between 1990 and 2016. The Robust least square (ROB-L2) in conjunction with Pesaran autoregressive distributed lag (ARDL) methodology analysis techniques was used in addition to the Granger causality tests to examine the direction of causality flow between the variables under consideration. Findings: The results indicate that biomass energy usage in the long run reduces pollution and negatively correlates with CO2 emissions level. Also, the decline of emission is influenced by increased foreign direct investment (FDI), thus, activities of foreign investors contribute to combating emission in the country. According to empirical results, non-renewable energy consumption showed both positive and negative influences on increased emission level, whereas economic growth is increasing carbon dioxide emission for the case of Cyprus. Originality/value: This study applies current reliable data that offers renewed insights and sheds light on the state of affairs on biomass utilization from a developing country perspective. Additionally, it extends the discourse on the impact of biomass utilization on CO2 emissions by considering the impact of FDI, trade flow and energy consumption in a carbon-income function built on the liner version of the environmental Kuznets curve hypothesis. Although this is by no means exhaustive, the study pioneers the discourse on how FDI with biomass utilization among other relevant variables influences carbon dioxide emission

Occupant density and daylight illuminance level fluctuation for office building in Malaysia

Daylighting has yet to be fully utilised in the office interiors even though Malaysia has abundant natural light throughout the year and highly dependent on artificial lighting. However, there is always fluctuation of illuminance in office spaces and this can cause problems to occupants which affect visual and work performance. The aim of this study is to investigate fluctuation in daylight illuminance that affects visual comfort and visual performance. This study also investigates the effects of occupant density in office space in a typical layout of office building. In the first phase of the study, a visual test has been conducted involving seventy two office workers and assessment using a questionnaires survey on one hundred and eighty one office workers. Experiment through visual test was conducted in the office space which involved groups of occupants in office buildings. Furthermore, four groups of office workers numbering five, ten, fifteen and twenty per group were subsequently assigned to the office to detect fluctuations by computer simulation using IES Software. The result of the experiment evidenced that the level of illuminance in the office was 300 lux to 400 lux while preferred illuminance level was 280 lux to 350 lux. However, the occupants performed their tasks well in higher illumination range of 400 lux to 600 lux. Findings from experiment of visual performance and daylighting simulation showed there was fluctuation influenced by the number of occupants. When occupancy was less than 50%, the fluctuation was acceptable for visual comfort. However, when the occupancy was more than 50%, it would lead to higher fluctuation and the illumination level of recommended standard (300 lux to 400 lux) was not achievable. The findings contribute towards the improvement of an acceptable visual comfort ranges for Malaysian Standard of lighting condition and assist architects and designers to have better understanding in quality and quantity of daylighting and strategies on energy saving

Estimation du champ dense de mouvement pour la génération semi-automatique de cartes de profondeur

Avec la recrudescence de la popularité du cinéma 3D, la demande pour la production de contenu de projection 3D est en croissance. Les options actuelles pour générer du contenu sont souvent très coûteuses, car elles requièrent de l’équipement spécialisé pour filmer directement en 3D ou un effort considérable pour convertir du contenu originellement en 2D en ajoutant la profondeur estimée aux images originelles. Le but de cette recherche est de trouver une technique semi-automatique qui permet de sauver beaucoup de temps à ajouter la profondeur sur des images 2D. Pour y arriver la recherche tente de parvenir, à partir de seulement quelques annotations sur une image clé dans une séquence, à propager l’estimation initiale de profondeur rapidement sur toute l’image annotée puis dans un deuxième temps sur toutes les images qui seraient assez similaires dans une séquence vidéo. Le projet vise à développer une method pour atteindre ce but tout en conservant un temps de traitement assez court et en obtenant des résultats permettant de générer du contenu 3D visuellement plaisant à regarder. La recherche utilise le principe du Random-walker pour permettre la propagation de l’information dans une image, à partir de seulement quelques annotations, en traitant le problème comme un problème de segmentation. En appliquant une technique itérative, cela permet de séparer le processus d'estimation de la profondeur à partir des annotations de celui de la propagation de cette estimation sur les autres images de la séquence. La technique considère les images comme des graphes dont les noeuds sont les pixels et les arêtes ont un poids calculé selon la similarité entre les pixels reliés. Les résultats obtenus avec cette méthode montrent que la première partie de la méthode, soit l’estimation de la profondeur à partir des annotations d’un utilisateur, donne de bons résultats en ne nécessitant qu’un petit nombre d’annotations. Cependant, la propagation de l’information à travers la séquence d’images nécessiterait des améliorations. Plusieurs problèmes ont été rencontrés comme la presence d’occlusions, la propagation d’erreurs dans la séquence et les potentiels changements d’illuminations. C’est suite à ces problèmes qu’une recherche a aussi été effectuée pour trouver une technique d’estimation de mouvement qui correspondrait bien aux besoins de la méthode originale. Cette recherche a abouti à une method automatique d’estimation du mouvement dense, c’est-à-dire de trouver le mouvement pour tous les pixels de l’image. La méthode proposée se sert de la similarité calculée des pixels voisins dans la même image et aussi de la similarité avec les pixels de l’image suivante inclus dans un noyau de recherche. La similarité entre les pixels est calculée selon plusieurs caractéristiques d’un pixel incluant les composantes Lab du pixel même et d’un nombre de ses voisins ainsi que des gradients voisins. Les résultats obtenus sont comparés à d’autres méthodes suivant deux mesures d’erreurs comptabilisées par Middlebury. La comparaison montre que la méthode obtient de bons résultats sur les images proposes pour tester, mais la visualisation des résultats selon une coloration représentant le movement permet de mettre en lumière certaines erreurs produites par la méthode. La performance de la méthode a par la suite été améliorée en utilisant les correspondances SIFT trouvées préalablement. La vitesse de calcul a aussi été améliorée en regroupant les pixels similaires de l’image en superpixels ce qui permet de réduire le nombre de comparaisons à effectuer. Finalement, les effet de la variation des paramètres de contrôle de la méthode sur les résultats obtenus sont décrits en détail et la comparaison entre les résultats obtenus avec ou sans SIFT et en utilisant les superpixels ou pas sont expliqués en présentant les images résultantes. Les principaux problèmes de la méthode sont expliqués et certaines améliorations sont proposes pour les surmonter, mais elles n’ont pas été implémentées

Illumination-robust variational optical flow with photometric invariants

Abstract. Since years variational methods belong to the most accurate techniques for computing the optical flow in image sequences. However, if based on the grey value constancy assumption only, such techniques are not robust enough to cope with typical illumination changes in real-world data. In our paper we tackle this problem in two ways: First we discuss different photometric invariants for the design of illumination-robust variational optical flow methods. These invariants are based on colour information and include such concepts as spherical/conical transforms, normalisation strategies and the differentiation of logarithms. Secondly, we embed them into a suitable multichannel generalisation of the highly accurate variational optical flow technique of Brox et al. This in turn allows us to access the true potential of such invariants for estimating the optical flow. Experiments with synthetic and real-world data demonstrate the success of combining accuracy and robustness: Even under strongly varying illumination, reliable and precise results are obtained.

3D Motion Analysis via Energy Minimization

This work deals with 3D motion analysis from stereo image sequences for driver assistance systems. It consists of two parts: the estimation of motion from the image data and the segmentation of moving objects in the input images. The content can be summarized with the technical term machine visual kinesthesia, the sensation or perception and cognition of motion. In the first three chapters, the importance of motion information is discussed for driver assistance systems, for machine vision in general, and for the estimation of ego motion. The next two chapters delineate on motion perception, analyzing the apparent movement of pixels in image sequences for both a monocular and binocular camera setup. Then, the obtained motion information is used to segment moving objects in the input video. Thus, one can clearly identify the thread from analyzing the input images to describing the input images by means of stationary and moving objects. Finally, I present possibilities for future applications based on the contents of this thesis. Previous work in each case is presented in the respective chapters. Although the overarching issue of motion estimation from image sequences is related to practice, there is nothing as practical as a good theory (Kurt Lewin). Several problems in computer vision are formulated as intricate energy minimization problems. In this thesis, motion analysis in image sequences is thoroughly investigated, showing that splitting an original complex problem into simplified sub-problems yields improved accuracy, increased robustness, and a clear and accessible approach to state-of-the-art motion estimation techniques. In Chapter 4, optical flow is considered. Optical flow is commonly estimated by minimizing the combined energy, consisting of a data term and a smoothness term. These two parts are decoupled, yielding a novel and iterative approach to optical flow. The derived Refinement Optical Flow framework is a clear and straight-forward approach to computing the apparent image motion vector field. Furthermore this results currently in the most accurate motion estimation techniques in literature. Much as this is an engineering approach of fine-tuning precision to the last detail, it helps to get a better insight into the problem of motion estimation. This profoundly contributes to state-of-the-art research in motion analysis, in particular facilitating the use of motion estimation in a wide range of applications. In Chapter 5, scene flow is rethought. Scene flow stands for the three-dimensional motion vector field for every image pixel, computed from a stereo image sequence. Again, decoupling of the commonly coupled approach of estimating three-dimensional position and three dimensional motion yields an approach to scene ow estimation with more accurate results and a considerably lower computational load. It results in a dense scene flow field and enables additional applications based on the dense three-dimensional motion vector field, which are to be investigated in the future. One such application is the segmentation of moving objects in an image sequence. Detecting moving objects within the scene is one of the most important features to extract in image sequences from a dynamic environment. This is presented in Chapter 6. Scene flow and the segmentation of independently moving objects are only first steps towards machine visual kinesthesia. Throughout this work, I present possible future work to improve the estimation of optical flow and scene flow. Chapter 7 additionally presents an outlook on future research for driver assistance applications. But there is much more to the full understanding of the three-dimensional dynamic scene. This work is meant to inspire the reader to think outside the box and contribute to the vision of building perceiving machines.</em

Contribution au traitement d informations visuelles complexes et à l extraction autonome des connaissances (application à la robotique autonome)

Le travail effectué lors de cette thèse concerne le développement d'un système cognitif artificiel autonome. La solution proposée repose sur l'hypothèse que la curiosité est une source de motivation d'un système cognitif dans le processus d'acquisition des nouvelles connaissances. En outre, deux types distincts de curiosité ont été identifiés conformément au système cognitif humain. Sur ce principe, une architecture cognitive à deux niveaux a été proposée. Le bas-niveau repose sur le principe de la saillance perceptive, tandis que le haut-niveau réalise l'acquisition des connaissances par l'observation et l'interaction avec l'environnement. Cette thèse apporte les contributions suivantes : A) Un état de l'art sur l'acquisition autonome de connaissance. B) L'étude, la conception et la réalisation d'un système cognitif bas-niveau basé sur le principe de la curiosité perceptive. L'approche proposée repose sur la saillance visuelle réalisée grâce au développement d'un algorithme rapide et robuste permettant la détection et l'apprentissage d'objets saillants. C) La conception d'un système cognitif haut-niveau, basé sur une approche générique, permettant l'acquisition de connaissance à partir de l'observation et de l'interaction avec son environnent (y compris avec les êtres humains). Basé sur la curiosité épistémique, le système cognitif haut-niveau développé permet à une machine (par exemple un robot) de devenir l'acteur de son propre apprentissage. Une conséquence substantielle d'un tel système est la possibilité de conférer des capacités cognitives haut-niveau multimodales à des robots pour accroître leur autonomie dans un environnement réel (environnement humain). D) La mise en œuvre de la stratégie proposée dans le cadre de la robotique autonome. Les études et les validations expérimentales réalisées ont notamment confirmé que notre approche permet d'accroître l'autonomie des robots dans un environnement réelThe work accomplished in this thesis concerns development of an autonomous machine cognition system. The proposed solution reposes on the assumption that it is the curiosity which motivates a cognitive system to acquire new knowledge. Further, two distinct kinds of curiosity are identified in conformity to human cognitive system. On this I build a two level cognitive architecture. I identify its lower level with the perceptual saliency mechanism, while the higher level performs knowledge acquisition from observation and interaction with the environment. This thesis brings the following contribution: A) Investigation of the state of the art in autonomous knowledge acquisition. B) Realization of a lower cognitive level in the ensemble of the mentioned system, which is realizing the perceptual curiosity mechanism through a novel fast, real-world robust algorithm for salient object detection and learning. C) Realization of a higher cognitive level through a general framework for knowledge acquisition from observation and interaction with the environment including humans. Based on the epistemic curiosity, the high-level cognitive system enables a machine (e.g. a robot) to be itself the actor of its learning. An important consequence of this system is the possibility to confer high level multimodal cognitive capabilities to robots to increase their autonomy in real-world environment (human environment). D) Realization of the strategy proposed in the context of autonomous robotics. The studies and experimental validations done had confirmed notably that our approach allows increasing the autonomy of robots in real-world environmentPARIS-EST-Université (770839901) / SudocSudocFranceF

Variational image fusion

The main goal of this work is the fusion of multiple images to a single composite that offers more information than the individual input images. We approach those fusion tasks within a variational framework. First, we present iterative schemes that are well-suited for such variational problems and related tasks. They lead to efficient algorithms that are simple to implement and well-parallelisable. Next, we design a general fusion technique that aims for an image with optimal local contrast. This is the key for a versatile method that performs well in many application areas such as multispectral imaging, decolourisation, and exposure fusion. To handle motion within an exposure set, we present the following two-step approach: First, we introduce the complete rank transform to design an optic flow approach that is robust against severe illumination changes. Second, we eliminate remaining misalignments by means of brightness transfer functions that relate the brightness values between frames. Additional knowledge about the exposure set enables us to propose the first fully coupled method that jointly computes an aligned high dynamic range image and dense displacement fields. Finally, we present a technique that infers depth information from differently focused images. In this context, we additionally introduce a novel second order regulariser that adapts to the image structure in an anisotropic way.Das Hauptziel dieser Arbeit ist die Fusion mehrerer Bilder zu einem Einzelbild, das mehr Informationen bietet als die einzelnen Eingangsbilder. Wir verwirklichen diese Fusionsaufgaben in einem variationellen Rahmen. Zunächst präsentieren wir iterative Schemata, die sich gut für solche variationellen Probleme und verwandte Aufgaben eignen. Danach entwerfen wir eine Fusionstechnik, die ein Bild mit optimalem lokalen Kontrast anstrebt. Dies ist der Schlüssel für eine vielseitige Methode, die gute Ergebnisse für zahlreiche Anwendungsbereiche wie Multispektralaufnahmen, Bildentfärbung oder Belichtungsreihenfusion liefert. Um Bewegungen in einer Belichtungsreihe zu handhaben, präsentieren wir folgenden Zweischrittansatz: Zuerst stellen wir die komplette Rangtransformation vor, um eine optische Flussmethode zu entwerfen, die robust gegenüber starken Beleuchtungsänderungen ist. Dann eliminieren wir verbleibende Registrierungsfehler mit der Helligkeitstransferfunktion, welche die Helligkeitswerte zwischen Bildern in Beziehung setzt. Zusätzliches Wissen über die Belichtungsreihe ermöglicht uns, die erste vollständig gekoppelte Methode vorzustellen, die gemeinsam ein registriertes Hochkontrastbild sowie dichte Bewegungsfelder berechnet. Final präsentieren wir eine Technik, die von unterschiedlich fokussierten Bildern Tiefeninformation ableitet. In diesem Kontext stellen wir zusätzlich einen neuen Regularisierer zweiter Ordnung vor, der sich der Bildstruktur anisotrop anpasst