Temporal shape super-resolution by intra-frame motion encoding using high-fps structured light

One of the solutions of depth imaging of moving scene is to project a static pattern on the object and use just a single image for reconstruction. However, if the motion of the object is too fast with respect to the exposure time of the image sensor, patterns on the captured image are blurred and reconstruction fails. In this paper, we impose multiple projection patterns into each single captured image to realize temporal super resolution of the depth image sequences. With our method, multiple patterns are projected onto the object with higher fps than possible with a camera. In this case, the observed pattern varies depending on the depth and motion of the object, so we can extract temporal information of the scene from each single image. The decoding process is realized using a learning-based approach where no geometric calibration is needed. Experiments confirm the effectiveness of our method where sequential shapes are reconstructed from a single image. Both quantitative evaluations and comparisons with recent techniques were also conducted.Comment: 9 pages, Published at the International Conference on Computer Vision (ICCV 2017

A Variable Density Sampling Scheme for Compressive Fourier Transform Interferometry

Fourier Transform Interferometry (FTI) is an appealing Hyperspectral (HS) imaging modality for many applications demanding high spectral resolution, e.g., in fluorescence microscopy. However, the effective resolution of FTI is limited by the durability of biological elements when exposed to illuminating light. Overexposed elements are subject to photo-bleaching and become unable to fluoresce. In this context, the acquisition of biological HS volumes based on sampling the Optical Path Difference (OPD) axis at Nyquist rate leads to unpleasant trade-offs between spectral resolution, quality of the HS volume, and light exposure intensity. We propose two variants of the FTI imager, i.e., Coded Illumination-FTI (CI-FTI) and Structured Illumination FTI (SI-FTI), based on the theory of compressive sensing (CS). These schemes efficiently modulate light exposure temporally (in CI-FTI) or spatiotemporally (in SI-FTI). Leveraging a variable density sampling strategy recently introduced in CS, we provide near-optimal illumination strategies, so that the light exposure imposed on a biological specimen is minimized while the spectral resolution is preserved. Our analysis focuses on two criteria: (i) a trade-off between exposure intensity and the quality of the reconstructed HS volume for a given spectral resolution; (ii) maximizing HS volume quality for a fixed spectral resolution and constrained exposure budget. Our contributions can be adapted to an FTI imager without hardware modifications. The reconstruction of HS volumes from CS-FTI measurements relies on an $l_1$-norm minimization problem promoting a spatiospectral sparsity prior. Numerically, we support the proposed methods on synthetic data and simulated CS measurements (from actual FTI measurements) under various scenarios. In particular, the biological HS volumes can be reconstructed with a three-to-ten-fold reduction in the light exposure.Comment: 45 pages, 11 figure

画像の局所統計量に基づくフォーカルブラー領域分割

　被写体と焦点距離の関係によって生じるフォーカルブラーは画像撮影に伴う典型的な現象であり，画像のブラー情報を解析する技術はコンピュータビジョンの重要課題の一つである．フォーカルブラーからはシーンの相対的な奥行きや，撮影者の注目領域などシーンに関する有用な情報が得られる．フォーカルブラー領域分割はこれらの情報を解析し有効に利用するための技術であり，様々なアプリケーションの性能向上に寄与する．本論文では，フォーカルブラー領域分割手法の精度向上を目的として，(1)ブラー特徴推定の阻害要因に頑健なブラー特徴推定，(2)単一画像に対するブラー領域分割，および(3)2 枚の画像を用いたブラー領域分割手法を提案する．さらに，フォーカルブラー領域分割手法を含む2値領域分割の有効性を適切に評価するため，クラスタリングとクラス分類の文脈に基づいてブラー領域分割精度評価尺度を検証する．本論文ではブラー特徴推定の阻害要因に頑健なブラー特徴量としてANGHS (Amplitude-Normalized Gradient Histogram Span) を提案する．ANGHSは局所領域の輝度勾配を輝度振幅で正規化し，さらに輝度勾配ヒストグラムの裾の重さを評価する．本論文が提案するANGHSは局所領域内の輝度変化の少ない画素集合に対する頑健性に加え，輝度振幅に対する頑健性を備えている．単一画像に対するブラー領域分割では，ブラー特徴マップの識別性能が精度に大きく影響する点に着目し，識別性能の高いブラー特徴マップ推定法を提案する．ブラー特徴マップの識別性能向上のために，(i)複数サイズのグリッド分割を利用したスパースブラー特徴マップ推定と(ii)EAI (Edge Aware Interpolation) によるブラー特徴マップ推定を適用する．さらに領域分割ではまず，大津法を用いてブラー特徴マップを初期分割し，その後，初期分割結果と色特徴，およびブラー特徴を併用したGraphcutsを用いて初期分割結果を修正することで，ノンパラメトリック推定に基づく大域的領域分割とエネルギー最小化に基づく領域の高精細化によって精度を向上させる2段階領域分割を提案する．2枚の画像を用いたブラー領域分割手法では，2枚のブラーが異なる画像対からブラー差分特徴を求めることで，被写体と背景を分割する理論的なしきい値が定義できることに着目する．2枚のフォーカルブラー画像から推定したブラー差分特徴マップを理論的なしきい値で分割する．さらに，色特徴と被写体合焦画像から求めたブラー特徴マップを併用したGraphcutsで初期分割結果を補正することで精度の向上を図る．フォーカルブラー領域分割の精度評価では，2値領域分割がクラスタリングとクラス分類の問題として捉えられる点に着目し，各文脈における最適な評価尺度を検証する．本論文では，クラスタリングとクラス分類の各文脈についてフォーカルブラー領域分割精度評価のための要求事項を定義する．要求事項についてF1 Score, Intersection over Union, Accuracy, Matthews Correlation Coefficient, Informednessの各評価尺度を比較し，クラスタリングとクラス分類の各文脈において，Informednessの絶対値とInformednessがそれぞれ最適な評価尺度であることを示す．さらに，アルゴリズムを複数の観点から比較可能な統計的要約手法として，複数の領域分割パラメータを試行した際の最高精度と平均精度を用いた統計的要約手法を提案する．　精度評価では，ブラー特徴マップの識別性能評価，単一画像に対するブラー領域分割の精度評価，2枚の画像を用いたブラー領域分割の精度評価を行う．最初に，ブラー特徴マップの識別性能評価では5種類の従来手法によるブラー特徴マップと比較した結果，提案手法によるクラス分類の最高分割性能は0:780 ポイントの精度となり従来手法に対して最小で0:092ポイント，最大で0:366ポイント精度が向上した．また，大津法を用いた際のクラス分類における分割性能は0:697ポイントの精度となり，従来手法に対して最小で0:201ポイント，最大で0:400ポイント精度が向上した．次に，単一画像に対するブラー領域分割精度を比較した．提案領域分割手法は，従来手法を含むすべてのブラー特徴マップに対してクラス分類における分割精度が改善しており，汎用性の高い手法となっている。提案手法はクラス分類において0:722ポイントの精度となり，従来手法に対して最小で0:158ポイント，最大で0:373ポイント精度が向上した．最後に，2 枚の画像を用いたブラー領域分割の精度評価では，単一画像に対するブラー領域分割と精度比較を行った．2枚の画像を用いたブラー領域分割はシンプルな被写体で0:988ポイントの精度となり，単一画像に対する領域分割に対して0:095ポイント精度が向上した．複雑な花画像においては2枚の画像を用いたブラー領域分割は0:827ポイントの精度となり，単一画像に対する領域分割に対して0:058ポイント精度が向上した．また，単一画像に対するブラー領域分割では分割性能が悪い画像に対しても2枚の画像を用いたブラー領域分割は精度が改善されており，提案手法の有効性を示した．電気通信大学201

Entwurf von Computational-Imaging-Systemen am Beispiel der monokularen Tiefenschätzung

Computational-Imaging-Systeme kombinieren optische und digitale Signalverarbeitung um Information aus dem Licht einer Szene zu extrahieren. In dieser Arbeit wird das Raytracing-Verfahren als Simulationswerkzeug genutzt, um Computational-Imaging-Systeme ganzheitlich zu beschreiben, bewerten und optimieren. Am Beispiel der monokularen Tiefenschätzung wird die Simulation mit einem realen Prototyp einer Kamera mit programmierbarer Apertur verglichen und die vorgestellten Methoden evaluiert

Formation d'image : estimation du champ lumineux et matrice de filtres couleurs

Dans ce mémoire de maîtrise de type recherche, nous discutons essentiellement de la formation d’image. Dans un premier chapitre, nous décrivons les modèles classiques de formation d'image. Nous commençons par une description de la lumière voyageant dans la scène pour arriver à l'image formée sur le capteur. Ensuite, nous critiquons ces modèles sur le fait que le capteur entraine une perte d’informations sur la structure de la scène. De plus, pour un point donné du plan image, tous les rayons provenant de la scène ne sont pas pris en compte pour la formation d'une image. Nous essayons alors de combler ces défauts en introduisant la notion de champ lumineux dans le deuxième chapitre. Nous décrivons le modèle des champs lumineux d'une scène. Ce dernier permet alors d'estimer le champ lumineux à partir d'une image à l'aide de deux méthodes : la méthode des moindres carrés et une méthode variationnelle. Celles-ci sont présentées dans le troisième chapitre. Enfin, dans un quatrième chapitre, nous abordons un autre aspect de la formation d'image. En effet, nous travaillons sur une nouvelle matrice de filtres couleurs (color filter arrays, CFA) que nous nommons CFA de Burtoni. Dans ce chapitre, nous comparons, selon une mesure d'aliasing et de résolution, ce CFA avec d'autres CFAs existant dans la littérature, sans faire appel au démosaïquage. Afin d'effectuer ces comparaisons, nous introduisons également des classes d'images correspondantes à différents contenus comme les textures, les zoneshomogènes et les lignes

Generalising the ideal pinhole model to multi-pupil imaging for depth recovery

This thesis investigates the applicability of computer vision camera models in recovering depth information from images, and presents a novel camera model incorporating a modified pupil plane capable of performing this task accurately from a single image. Standard models, such as the ideal pinhole, suffer a loss of depth information when projecting from the world to an image plane. Recovery of this data enables reconstruction of the original scene as well as object and 3D motion reconstruction. The major contributions of this thesis are the complete characterisation of the ideal pinhole model calibration and the development of a new multi-pupil imaging model which enables depth recovery. A comprehensive analysis of the calibration sensitivity of the ideal pinhole model is presented along with a novel method of capturing calibration images which avoid singularities in image space. Experimentation reveals a higher degree of accuracy using the new calibration images. A novel camera model employing multiple pupils is proposed which, in contrast to the ideal pinhole model, recovers scene depth. The accuracy of the multi-pupil model is demonstrated and validated through rigorous experimentation. An integral property of any camera model is the location of its pupil. To this end, the new model is expanded by generalising the location of the multi-pupil plane, thus enabling superior flexibility over traditional camera models which are confined to positioning the pupil plane to negate particular aberrations in the lens. A key step in the development of the multi-pupil model is the treatment of optical aberrations in the imaging system. The unconstrained location and configuration of the pupil plane enables the determination of optical distortions in the multi-pupil imaging model. A calibration algorithm is proposed which corrects for the optical aberrations. This allows the multi-pupil model to be applied to a multitude of imaging systems regardless of the optical quality of the lens. Experimentation validates the multi-pupil model’s accuracy in accounting for the aberrations and estimating accurate depth information from a single image. Results for object reconstruction are presented establishing the capabilities of the proposed multi-pupil imaging model

Characterisation of concentrating solar optics by Light Field Method

Abstract: This dissertation develops ideas and techniques for the measurement of the light field produced by the concentrating optics that are used in solar thermal power systems. The research focussed on developing a framework and the principles for the implementation of a scalable technology that is suitable, in principle, for cost effective industrial implementation in the field. Investigation from first principles and technological surveys resulted in formulation of a number of model techniques, from which one was developed. A key component of the proposed model was evaluated using a novel reformulation and application of electrical impedance tomography (EIT). This was to implement an information transform effecting a highly non-linear compressive sensing mechanism, offsetting manufacturing and material complexity in the measurement of high solar flux levels. The technique allows sensing of a wide range of phenomena over arbitrary manifolds in three-dimensional space by utilizing passive transducers. An inverse reconstruction method particular to the structure of the device was proposed, implemented, and tested in a full simulation of intended operation. The parameter space of internal configurations of the method were the subject of a uniform, statistical search, with results also indicating geometrical properties of the transform used. A variety of design guides were developed to better optimize the implementation of the techniques in a range of applications.M.Ing. (Mechanical Engineering Science