Video Depth-From-Defocus

Many compelling video post-processing effects, in particular aesthetic focus editing and refocusing effects, are feasible if per-frame depth information is available. Existing computational methods to capture RGB and depth either purposefully modify the optics (coded aperture, light-field imaging), or employ active RGB-D cameras. Since these methods are less practical for users with normal cameras, we present an algorithm to capture all-in-focus RGB-D video of dynamic scenes with an unmodified commodity video camera. Our algorithm turns the often unwanted defocus blur into a valuable signal. The input to our method is a video in which the focus plane is continuously moving back and forth during capture, and thus defocus blur is provoked and strongly visible. This can be achieved by manually turning the focus ring of the lens during recording. The core algorithmic ingredient is a new video-based depth-from-defocus algorithm that computes space-time-coherent depth maps, deblurred all-in-focus video, and the focus distance for each frame. We extensively evaluate our approach, and show that it enables compelling video post-processing effects, such as different types of refocusing

Video Depth-From-Defocus

Many compelling video post-processing effects, in particular aesthetic focus editing and refocusing effects, are feasible if per-frame depth information is available. Existing computational methods to capture RGB and depth either purposefully modify the optics (coded aperture, light-field imaging), or employ active RGB-D cameras. Since these methods are less practical for users with normal cameras, we present an algorithm to capture all-in-focus RGB-D video of dynamic scenes with an unmodified commodity video camera. Our algorithm turns the often unwanted defocus blur into a valuable signal. The input to our method is a video in which the focus plane is continuously moving back and forth during capture, and thus defocus blur is provoked and strongly visible. This can be achieved by manually turning the focus ring of the lens during recording. The core algorithmic ingredient is a new video-based depth-from-defocus algorithm that computes space-time-coherent depth maps, deblurred all-in-focus video, and the focus distance for each frame. We extensively evaluate our approach, and show that it enables compelling video post-processing effects, such as different types of refocusing

画像の局所統計量に基づくフォーカルブラー領域分割

　被写体と焦点距離の関係によって生じるフォーカルブラーは画像撮影に伴う典型的な現象であり，画像のブラー情報を解析する技術はコンピュータビジョンの重要課題の一つである．フォーカルブラーからはシーンの相対的な奥行きや，撮影者の注目領域などシーンに関する有用な情報が得られる．フォーカルブラー領域分割はこれらの情報を解析し有効に利用するための技術であり，様々なアプリケーションの性能向上に寄与する．本論文では，フォーカルブラー領域分割手法の精度向上を目的として，(1)ブラー特徴推定の阻害要因に頑健なブラー特徴推定，(2)単一画像に対するブラー領域分割，および(3)2 枚の画像を用いたブラー領域分割手法を提案する．さらに，フォーカルブラー領域分割手法を含む2値領域分割の有効性を適切に評価するため，クラスタリングとクラス分類の文脈に基づいてブラー領域分割精度評価尺度を検証する．本論文ではブラー特徴推定の阻害要因に頑健なブラー特徴量としてANGHS (Amplitude-Normalized Gradient Histogram Span) を提案する．ANGHSは局所領域の輝度勾配を輝度振幅で正規化し，さらに輝度勾配ヒストグラムの裾の重さを評価する．本論文が提案するANGHSは局所領域内の輝度変化の少ない画素集合に対する頑健性に加え，輝度振幅に対する頑健性を備えている．単一画像に対するブラー領域分割では，ブラー特徴マップの識別性能が精度に大きく影響する点に着目し，識別性能の高いブラー特徴マップ推定法を提案する．ブラー特徴マップの識別性能向上のために，(i)複数サイズのグリッド分割を利用したスパースブラー特徴マップ推定と(ii)EAI (Edge Aware Interpolation) によるブラー特徴マップ推定を適用する．さらに領域分割ではまず，大津法を用いてブラー特徴マップを初期分割し，その後，初期分割結果と色特徴，およびブラー特徴を併用したGraphcutsを用いて初期分割結果を修正することで，ノンパラメトリック推定に基づく大域的領域分割とエネルギー最小化に基づく領域の高精細化によって精度を向上させる2段階領域分割を提案する．2枚の画像を用いたブラー領域分割手法では，2枚のブラーが異なる画像対からブラー差分特徴を求めることで，被写体と背景を分割する理論的なしきい値が定義できることに着目する．2枚のフォーカルブラー画像から推定したブラー差分特徴マップを理論的なしきい値で分割する．さらに，色特徴と被写体合焦画像から求めたブラー特徴マップを併用したGraphcutsで初期分割結果を補正することで精度の向上を図る．フォーカルブラー領域分割の精度評価では，2値領域分割がクラスタリングとクラス分類の問題として捉えられる点に着目し，各文脈における最適な評価尺度を検証する．本論文では，クラスタリングとクラス分類の各文脈についてフォーカルブラー領域分割精度評価のための要求事項を定義する．要求事項についてF1 Score, Intersection over Union, Accuracy, Matthews Correlation Coefficient, Informednessの各評価尺度を比較し，クラスタリングとクラス分類の各文脈において，Informednessの絶対値とInformednessがそれぞれ最適な評価尺度であることを示す．さらに，アルゴリズムを複数の観点から比較可能な統計的要約手法として，複数の領域分割パラメータを試行した際の最高精度と平均精度を用いた統計的要約手法を提案する．　精度評価では，ブラー特徴マップの識別性能評価，単一画像に対するブラー領域分割の精度評価，2枚の画像を用いたブラー領域分割の精度評価を行う．最初に，ブラー特徴マップの識別性能評価では5種類の従来手法によるブラー特徴マップと比較した結果，提案手法によるクラス分類の最高分割性能は0:780 ポイントの精度となり従来手法に対して最小で0:092ポイント，最大で0:366ポイント精度が向上した．また，大津法を用いた際のクラス分類における分割性能は0:697ポイントの精度となり，従来手法に対して最小で0:201ポイント，最大で0:400ポイント精度が向上した．次に，単一画像に対するブラー領域分割精度を比較した．提案領域分割手法は，従来手法を含むすべてのブラー特徴マップに対してクラス分類における分割精度が改善しており，汎用性の高い手法となっている。提案手法はクラス分類において0:722ポイントの精度となり，従来手法に対して最小で0:158ポイント，最大で0:373ポイント精度が向上した．最後に，2 枚の画像を用いたブラー領域分割の精度評価では，単一画像に対するブラー領域分割と精度比較を行った．2枚の画像を用いたブラー領域分割はシンプルな被写体で0:988ポイントの精度となり，単一画像に対する領域分割に対して0:095ポイント精度が向上した．複雑な花画像においては2枚の画像を用いたブラー領域分割は0:827ポイントの精度となり，単一画像に対する領域分割に対して0:058ポイント精度が向上した．また，単一画像に対するブラー領域分割では分割性能が悪い画像に対しても2枚の画像を用いたブラー領域分割は精度が改善されており，提案手法の有効性を示した．電気通信大学201

Computational Videography with a Single Axis, Multi-Parameter Lens Camera

What is the object in this picture? What would this object look like in a different scene? These questions are the core of computer vision (image analysis) and computer graphics (image synthesis). They are traditionally approached through specific problems like matting and composition, image segmentation, capture of high-speed video, depth-from-defocus, and visualization of multi-spectral video. For the solutions to these problems, both the inputs and outputs are frequently images. However, they are not the same kind of images as photographs, but a more general form of 2D maps over the surface of an object, lens, or display. For example, an image describing reflectivity over a surface is known as a texture map, an image composed of subimages with varying optical center is a light field slab, and an image describing the partial coverage of a backdrop by an object is a matte. This dissertation introduces multi-parameter video, a framework for describing generalized 2D images over time that contain multiple samples at each pixel. Part of this framework is diagram-ing system called optical splitting trees for describing single-axis, multi-parameter, lens (SAMPL) camera systems that can be used to capture multi-parameter video. My thesis is that a SAMPL is a generic framework for graphics and vision data capture; that multi-parameter video can be accu-rately and efficiently captured by it; and that algorithms using this video as input can solve interest-ing graphics and vision problems. In defense of this thesis I demonstrate physical SAMPL camera hardware, many registered multi-parameter video streams captured with this system, and a series of problems solved using these videos. The leading problem I solve is the previously open unas-sisted video matting/subpixel object segmentation problem for complex, dynamic, and unknown backgrounds. To show generality I also demonstrate high speed video capture, multi-modal video fusion, multi-focus video fusion, and high dynamic range video capture