Depth and Deblurring from a Spectrally-varying Depth-of-Field

We propose modifying the aperture of a conventional color camera so that the effective aperture size for one color channel is smaller than that for the other two. This produces an image where different color channels have different depths-of-field, and from this we can computationally recover scene depth, reconstruct an all-focus image and achieve synthetic re-focusing, all from a single shot. These capabilities are enabled by a spatio-spectral image model that encodes the statistical relationship between gradient profiles across color channels. This approach substantially improves depth accuracy over alternative single-shot coded-aperture designs, and since it avoids introducing additional spatial distortions and is light efficient, it allows high-quality deblurring and lower exposure times. We demonstrate these benefits with comparisons on synthetic data, as well as results on images captured with a prototype lens.Engineering and Applied Science

On the appearance of translucent edges

Edges in images of translucent objects are very different from edges in images of opaque objects. The physical causes for these differences are hard to characterize analytically and are not well understood. This paper considers one class of translucency edges - those caused by a discontinuity in surface orientation - and describes the physical causes of their appearance. We simulate thousands of translucency edge profiles using many different scattering material parameters, and we explain the resulting variety of edge patterns by qualitatively analyzing light transport. We also discuss the existence of shape and material metamers, or combinations of distinct shape or material parameters that generate the same edge profile. This knowledge is relevant to visual inference tasks that involve translucent objects, such as shape or material estimation.National Science Foundation (U.S.) (IIS 1161564)National Science Foundation (U.S.) (IIS 1012454)National Science Foundation (U.S.) (IIS 1212928)National Science Foundation (U.S.) (IIS 1011919)National Institutes of Health (U.S.) (R01- EY019262-02)National Institutes of Health (U.S.) (R21-EY019741-02

액정을 이용한 소형 가변조리개가 탑재된 DFD 기반의 거리 측정 센서 시스템

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·컴퓨터공학부, 2020. 8. 전국진.자율 주행 관련 기술들이 급격히 발전해 가고 있는 가운데 자율주행의 기반 기술 중 하나인 센서 기술은 현재 라이다, 레이더, 스테레오 비전, 알고리즘 기반의 모노 비전 카메라 등이 사용되고 있으나 이러한 센서들은 부피가 크거나 가격이 높아 아직 대중적으로 많은 차량에 적용하기 어려운 실정이다. 이에 본 연구에서는 블랙박스 카메라의 크기와 동일한 소형 카메라의 앞단에 가변조리개를 간단히 삽입하여 부피를 줄이고 가격을 현저히 낮추어 영상과 거리 정보를 동시에 제공하는 거리 센서를 개발하였다. 이 거리 센서는 f/1.8과 f/4.0의 값을 가지는 가변조리개와 초점 거리 8 mm, 화각 45°, FHD급 화질을 가지는 카메라 모듈로 구성된다. 가변조리개가 입력 전압을 받게 되면 전압에 따라 가변조리개의 크기가 변화하고, 가변조리개가 탑재된 카메라 모듈에서는 조리개의 크기에 따라 같은 장면에 대해 피사계 심도가 다른 두 이미지를 얻게 되며, 이 피사계 심도의 차이를 통해 거리 정보를 추출할 수 있게 된다. 이때 서로 다른 크기의 조리개로 얻은 두 이미지 간의 피사계 심도 차이는 거리에 따라 선형적으로 증가하며 실제 측정을 통하여 이를 확인하였다. 딥러닝 알고리즘을 적용하면 오차를 줄일 수 있는데, 본 연구에서는 디텍터 기반과 거리맵 기반의 알고리즘을 사용하였다. 디텍터 기반의 알고리즘을 적용하였을 경우, 주간에 차량이 정지된 상황에서는 50 m 거리 범위에서 평균 0.826 m의 오차가 발생하였다. 거리맵 기반의 경우, 주간에 촬영된 70 m 거리 범위의 영상에서 물체 영역의 오차는 차량의 정지 상황에서는 0.619 m, 주행 상황에서는 1.000 m를 가진다. 야간에 주행 중 촬영한 영상은 40 m 범위에서 물체 영역에 대해 5.470 m의 오차를 가진다. 가변조리개의 구동은 액정 디스플레이 방식을 사용함으로써 2.64 V의 낮은 동작 전압과 10.59 ms의 빠른 응답 시간을 구현하여 전체 거리 센서 시스템이 낮은 전력에서 30 fps로 실시간 거리 측정이 가능하다는 것을 보였다. 본 연구에서 개발한 거리 센서는 가변조리개를 사용함으로써 카메라 한 대 만으로 한 장의 이미지가 아닌 피사계 심도가 다른 두 장의 이미지를 이용하여 거리 정확도를 높였다. 또한 1/2.7 인치의 이미지 센서를 가지는 카메라 앞단에, 반도체 공정 및 디스플레이 공정 기술을 이용하여 구현된 10 × 10 × 1.8 mm3 크기의 소형 가변조리개를 삽입함으로써 전체 센서 크기를 소형화 시켰으며 공정 정확도를 높였다. 가격적인 측면에서도 기존 거리 센서들과 비교해 매우 낮아졌으며 FHD급 카메라를 사용하여 영상의 화질을 높였다. 개발한 가변조리개가 한 레이어에서 동작하기 때문에 정렬의 오차에서 오는 광학 수차를 줄일 수 있고 기계적으로 움직이는 부분이 없어 신뢰성이 좋으며 부호화된 조리개, 컬러 필터를 이용한 조리개, 가시광, 적외선 필터를 이용한 이중 조리개 등 조리개를 이용한 다른 DFD 방식보다 거리 측정 가능 범위가 커서 자동차 용으로 사용될 수 있으며 이미지의 후처리 없이 선명한 영상을 바로 얻을 수 있다. 거리 센서는 자율주행차에 적용되어 충돌 방지 경고, 사각 지대 검출, 보행자 검출 및 거리 인식, 주차 보조 등의 기능을 할 수 있으며 그 외 로봇, 드론, 모바일용 카메라, 게임 산업, 사물인터넷 등과 같이 소형 카메라가 삽입되어 거리 측정을 필요로 한 여러 응용 분야에서 사용될 수 있다.Recently, autonomous car is rapidly developing with the distance sensing technology. There is LIDAR, radar, stereo vision, and algorithm-based monovision cameras, but these sensors are bulk or expensive. Thats why these sensors are not yet popularly used in many vehicles for autonomous car. To overcome these major problems, this study provides the image and distance information at the same time by implementing the distance sensor by simply inserting a tunable aperture in front of the same size camera as dash cam. The distance sensor of this study consists of the tunable aperture with f/1.8 and f/4.0 and the camera module with focal length of 8 mm, field of view of 45°, and FHD resolution. When a driving voltage is applied to the tunable aperture, the tunable aperture changes according to the voltage. The camera module assembled with the tunable aperture can obtain two images with two different depth of field. Depth of field difference between two images increases linearly with distance, and this is confirmed through simulation and experiment. The distance information can be extracted through the difference in the depth of field of images. Additionally, the deep learning algorithm such as detector algorithm and depth map algorithm can increase the accuracy of the distance. When the detector algorithm was applied, the average error is 0.826 m in the 50 m range when the vehicle was stopped during the day. In the case of depth map algorithm, the error of the object area in the 70 m range during the day is 0.619 m in the stationary situation and 1.000 m in the driving situation. The image taken at night has an error of 5.470 m for the object area in the 40 m range. The distance sensor system can measure the distances in real time of 30 fps at low power by tunable aperture based on LCD method for low operating voltage of 2.64 V and fast response time of 10.59 ms, The distance sensor improves the distance accuracy by using two apertures instead of just one aperture in a single camera. This sensor has the same size as a dashboard camera with a 1/2.7 inch image sensor by using small variable aperture of 10 × 10 × 1.8 mm3 by semiconductor fabrication and display fabrication, which is realized to reduce the overall distance sensor size and improve fabrication accuracy. Also, the price is much lower than existing distance sensors, and the FHD camera is used to improve image quality. Since the tunable aperture operates in one layer, it can reduce optical aberration resulting from misalignment. The sensor could be highly reliable due to no moving mechanical parts. Unlike the distance sensors using other apertures such as coded aperture, aperture using color filter, and dual aperture using visible and infrared filter, clear image is obtained without recovery process. The distance sensor is applied to autonomous vehicles for collision avoidance warning, blind spot detection, pedestrian detection, and parking assistance. It is also suitable to the other applications such as robots, drones, mobile cameras, gaming industry and the Internet of Things.제 1 장 서 론 1 제 1 절 연구의 배경 1 제 2 절 선행 연구 4 1.2.1 거리 측정 방식의 종류 4 1.2.2 다양한 방식의 소형 가변조리개 12 제 3 절 연구의 목적 19 제 2 장 액정 디스플레이 방식의 가변조리개 23 제 1 절 가변조리개의 동작 원리 23 제 2 절 가변조리개 설계 27 제 3 절 가변조리개 제작 29 제 4 절 가변조리개 제작 33 제 3 장 거리 측정 시스템 40 제 1 절 거리 측정의 원리 40 제 2 절 광학 시스템의 파라미터 선정 42 제 3 절 시뮬레이션을 통한 블러 예측 48 제 4 절 광학계 개발 52 제 5 절 가변조리개와 렌즈의 단일 기판 집적화 57 3.5.1 웨이퍼 레벨의 렌즈 연구 동향 57 3.5.2 웨이퍼 레벨의 오목렌즈 설계 및 실험 62 3.5.3 집적화 공정 및 결과 67 제 6 절 어셈블리 77 제 4 장 거리 측정 실험 84 제 1 절 실험 환경 구축 84 제 2 절 영상 획득 87 제 3 절 결과 및 분석 91 4.3.1 DFD 알고리즘을 이용한 결과 분석 91 4.3.2 딥러닝을 이용한 결과 분석 93 제 5 장 결 론 106 참고 문헌 109 Abstract 125Docto

Visual Quality Assessment and Blur Detection Based on the Transform of Gradient Magnitudes

abstract: Digital imaging and image processing technologies have revolutionized the way in which we capture, store, receive, view, utilize, and share images. In image-based applications, through different processing stages (e.g., acquisition, compression, and transmission), images are subjected to different types of distortions which degrade their visual quality. Image Quality Assessment (IQA) attempts to use computational models to automatically evaluate and estimate the image quality in accordance with subjective evaluations. Moreover, with the fast development of computer vision techniques, it is important in practice to extract and understand the information contained in blurred images or regions. The work in this dissertation focuses on reduced-reference visual quality assessment of images and textures, as well as perceptual-based spatially-varying blur detection. A training-free low-cost Reduced-Reference IQA (RRIQA) method is proposed. The proposed method requires a very small number of reduced-reference (RR) features. Extensive experiments performed on different benchmark databases demonstrate that the proposed RRIQA method, delivers highly competitive performance as compared with the state-of-the-art RRIQA models for both natural and texture images. In the context of texture, the effect of texture granularity on the quality of synthesized textures is studied. Moreover, two RR objective visual quality assessment methods that quantify the perceived quality of synthesized textures are proposed. Performance evaluations on two synthesized texture databases demonstrate that the proposed RR metrics outperforms full-reference (FR), no-reference (NR), and RR state-of-the-art quality metrics in predicting the perceived visual quality of the synthesized textures. Last but not least, an effective approach to address the spatially-varying blur detection problem from a single image without requiring any knowledge about the blur type, level, or camera settings is proposed. The evaluations of the proposed approach on a diverse sets of blurry images with different blur types, levels, and content demonstrate that the proposed algorithm performs favorably against the state-of-the-art methods qualitatively and quantitatively.Dissertation/ThesisDoctoral Dissertation Electrical Engineering 201