Computational Cameras: Approaches, Benefits and Limits

A computational camera uses a combination of optics and software to produce images that cannot be taken with traditional cameras. In the last decade, computational imaging has emerged as a vibrant field of research. A wide variety of computational cameras have been demonstrated - some designed to achieve new imaging functionalities and others to reduce the complexity of traditional imaging. In this article, we describe how computational cameras have evolved and present a taxonomy for the technical approaches they use. We explore the benefits and limits of computational imaging, and describe how it is related to the adjacent and overlapping fields of digital imaging, computational photography and computational image sensors

Multi-Beam Scan Analysis with a Clinical LINAC for High Resolution Cherenkov-Excited Molecular Luminescence Imaging in Tissue.

Cherenkov-excited luminescence scanned imaging (CELSI) is achieved with external beam radiotherapy to map out molecular luminescence intensity or lifetime in tissue. Just as in fluorescence microscopy, the choice of excitation geometry can affect the imaging time, spatial resolution and contrast recovered. In this study, the use of spatially patterned illumination was systematically studied comparing scan shapes, starting with line scan and block patterns and increasing from single beams to multiple parallel beams and then to clinically used treatment plans for radiation therapy. The image recovery was improved by a spatial-temporal modulation-demodulation method, which used the ability to capture simultaneous images of the excitation Cherenkov beam shape to deconvolve the CELSI images. Experimental studies used the multi-leaf collimator on a clinical linear accelerator (LINAC) to create the scanning patterns, and image resolution and contrast recovery were tested at different depths of tissue phantom material. As hypothesized, the smallest illumination squares achieved optimal resolution, but at the cost of lower signal and slower imaging time. Having larger excitation blocks provided superior signal but at the cost of increased radiation dose and lower resolution. Increasing the scan beams to multiple block patterns improved the performance in terms of image fidelity, lower radiation dose and faster acquisition. The spatial resolution was mostly dependent upon pixel area with an optimized side length near 38mm and a beam scan pitch of P = 0.33, and the achievable imaging depth was increased from 14mm to 18mm with sufficient resolving power for 1mm sized test objects. As a proof-of-concept, in-vivo tumor mouse imaging was performed to show 3D rendering and quantification of tissue pO2 with values of 5.6mmHg in a tumor and 77mmHg in normal tissue

High-Speed Probe Card Analysis Using Real-time Machine Vision and Image Restoration Technique

There has been an increase in demand for the wafer-level test techniques that evaluates the functionality and performance of the wafer chips before packaging them, since the trend of integrated circuits are getting more sophisticated and smaller in size. Throughout the wafer-level test, the semiconductor manufacturers are able to avoid the unnecessary packing cost and to provide early feedback on the overall status of the chip fabrication process. A probe card is a module of wafer-level tester, and can detect the defects of the chip by evaluating the electric characteristics of the integrated circuits(IC's). A probe card analyzer is popularly utilized to detect such a potential probe card failure which leads to increase in the unnecessary manufacture expense in the packing process. In this paper, a new probe card analysis strategy has been proposed. The main idea in conducting probe card analysis is to operate the vision-based inspection on-the- y while the camera is continuously moving. In doing so, the position measurement from the encoder is rstly synchronized with the image data that is captured by a controlled trigger signal under the real-time setting. Because capturing images from a moving camera creates blurring in the image, a simple deblurring technique has been employed to restore the original still images from blurred ones. The main ideas are demonstrated using an experimental test bed and a commercial probe card. The experimental test bed has been designed that comprises a micro machine vision system and a real-time controller, the con guration of the low cost experimental test bed is proposed. Compared to the existing stop-and-go approach, the proposed technique can substantially enhance the inspection speed without additional cost for major hardware change.1 yea

액정을 이용한 소형 가변조리개가 탑재된 DFD 기반의 거리 측정 센서 시스템

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·컴퓨터공학부, 2020. 8. 전국진.자율 주행 관련 기술들이 급격히 발전해 가고 있는 가운데 자율주행의 기반 기술 중 하나인 센서 기술은 현재 라이다, 레이더, 스테레오 비전, 알고리즘 기반의 모노 비전 카메라 등이 사용되고 있으나 이러한 센서들은 부피가 크거나 가격이 높아 아직 대중적으로 많은 차량에 적용하기 어려운 실정이다. 이에 본 연구에서는 블랙박스 카메라의 크기와 동일한 소형 카메라의 앞단에 가변조리개를 간단히 삽입하여 부피를 줄이고 가격을 현저히 낮추어 영상과 거리 정보를 동시에 제공하는 거리 센서를 개발하였다. 이 거리 센서는 f/1.8과 f/4.0의 값을 가지는 가변조리개와 초점 거리 8 mm, 화각 45°, FHD급 화질을 가지는 카메라 모듈로 구성된다. 가변조리개가 입력 전압을 받게 되면 전압에 따라 가변조리개의 크기가 변화하고, 가변조리개가 탑재된 카메라 모듈에서는 조리개의 크기에 따라 같은 장면에 대해 피사계 심도가 다른 두 이미지를 얻게 되며, 이 피사계 심도의 차이를 통해 거리 정보를 추출할 수 있게 된다. 이때 서로 다른 크기의 조리개로 얻은 두 이미지 간의 피사계 심도 차이는 거리에 따라 선형적으로 증가하며 실제 측정을 통하여 이를 확인하였다. 딥러닝 알고리즘을 적용하면 오차를 줄일 수 있는데, 본 연구에서는 디텍터 기반과 거리맵 기반의 알고리즘을 사용하였다. 디텍터 기반의 알고리즘을 적용하였을 경우, 주간에 차량이 정지된 상황에서는 50 m 거리 범위에서 평균 0.826 m의 오차가 발생하였다. 거리맵 기반의 경우, 주간에 촬영된 70 m 거리 범위의 영상에서 물체 영역의 오차는 차량의 정지 상황에서는 0.619 m, 주행 상황에서는 1.000 m를 가진다. 야간에 주행 중 촬영한 영상은 40 m 범위에서 물체 영역에 대해 5.470 m의 오차를 가진다. 가변조리개의 구동은 액정 디스플레이 방식을 사용함으로써 2.64 V의 낮은 동작 전압과 10.59 ms의 빠른 응답 시간을 구현하여 전체 거리 센서 시스템이 낮은 전력에서 30 fps로 실시간 거리 측정이 가능하다는 것을 보였다. 본 연구에서 개발한 거리 센서는 가변조리개를 사용함으로써 카메라 한 대 만으로 한 장의 이미지가 아닌 피사계 심도가 다른 두 장의 이미지를 이용하여 거리 정확도를 높였다. 또한 1/2.7 인치의 이미지 센서를 가지는 카메라 앞단에, 반도체 공정 및 디스플레이 공정 기술을 이용하여 구현된 10 × 10 × 1.8 mm3 크기의 소형 가변조리개를 삽입함으로써 전체 센서 크기를 소형화 시켰으며 공정 정확도를 높였다. 가격적인 측면에서도 기존 거리 센서들과 비교해 매우 낮아졌으며 FHD급 카메라를 사용하여 영상의 화질을 높였다. 개발한 가변조리개가 한 레이어에서 동작하기 때문에 정렬의 오차에서 오는 광학 수차를 줄일 수 있고 기계적으로 움직이는 부분이 없어 신뢰성이 좋으며 부호화된 조리개, 컬러 필터를 이용한 조리개, 가시광, 적외선 필터를 이용한 이중 조리개 등 조리개를 이용한 다른 DFD 방식보다 거리 측정 가능 범위가 커서 자동차 용으로 사용될 수 있으며 이미지의 후처리 없이 선명한 영상을 바로 얻을 수 있다. 거리 센서는 자율주행차에 적용되어 충돌 방지 경고, 사각 지대 검출, 보행자 검출 및 거리 인식, 주차 보조 등의 기능을 할 수 있으며 그 외 로봇, 드론, 모바일용 카메라, 게임 산업, 사물인터넷 등과 같이 소형 카메라가 삽입되어 거리 측정을 필요로 한 여러 응용 분야에서 사용될 수 있다.Recently, autonomous car is rapidly developing with the distance sensing technology. There is LIDAR, radar, stereo vision, and algorithm-based monovision cameras, but these sensors are bulk or expensive. Thats why these sensors are not yet popularly used in many vehicles for autonomous car. To overcome these major problems, this study provides the image and distance information at the same time by implementing the distance sensor by simply inserting a tunable aperture in front of the same size camera as dash cam. The distance sensor of this study consists of the tunable aperture with f/1.8 and f/4.0 and the camera module with focal length of 8 mm, field of view of 45°, and FHD resolution. When a driving voltage is applied to the tunable aperture, the tunable aperture changes according to the voltage. The camera module assembled with the tunable aperture can obtain two images with two different depth of field. Depth of field difference between two images increases linearly with distance, and this is confirmed through simulation and experiment. The distance information can be extracted through the difference in the depth of field of images. Additionally, the deep learning algorithm such as detector algorithm and depth map algorithm can increase the accuracy of the distance. When the detector algorithm was applied, the average error is 0.826 m in the 50 m range when the vehicle was stopped during the day. In the case of depth map algorithm, the error of the object area in the 70 m range during the day is 0.619 m in the stationary situation and 1.000 m in the driving situation. The image taken at night has an error of 5.470 m for the object area in the 40 m range. The distance sensor system can measure the distances in real time of 30 fps at low power by tunable aperture based on LCD method for low operating voltage of 2.64 V and fast response time of 10.59 ms, The distance sensor improves the distance accuracy by using two apertures instead of just one aperture in a single camera. This sensor has the same size as a dashboard camera with a 1/2.7 inch image sensor by using small variable aperture of 10 × 10 × 1.8 mm3 by semiconductor fabrication and display fabrication, which is realized to reduce the overall distance sensor size and improve fabrication accuracy. Also, the price is much lower than existing distance sensors, and the FHD camera is used to improve image quality. Since the tunable aperture operates in one layer, it can reduce optical aberration resulting from misalignment. The sensor could be highly reliable due to no moving mechanical parts. Unlike the distance sensors using other apertures such as coded aperture, aperture using color filter, and dual aperture using visible and infrared filter, clear image is obtained without recovery process. The distance sensor is applied to autonomous vehicles for collision avoidance warning, blind spot detection, pedestrian detection, and parking assistance. It is also suitable to the other applications such as robots, drones, mobile cameras, gaming industry and the Internet of Things.제 1 장 서 론 1 제 1 절 연구의 배경 1 제 2 절 선행 연구 4 1.2.1 거리 측정 방식의 종류 4 1.2.2 다양한 방식의 소형 가변조리개 12 제 3 절 연구의 목적 19 제 2 장 액정 디스플레이 방식의 가변조리개 23 제 1 절 가변조리개의 동작 원리 23 제 2 절 가변조리개 설계 27 제 3 절 가변조리개 제작 29 제 4 절 가변조리개 제작 33 제 3 장 거리 측정 시스템 40 제 1 절 거리 측정의 원리 40 제 2 절 광학 시스템의 파라미터 선정 42 제 3 절 시뮬레이션을 통한 블러 예측 48 제 4 절 광학계 개발 52 제 5 절 가변조리개와 렌즈의 단일 기판 집적화 57 3.5.1 웨이퍼 레벨의 렌즈 연구 동향 57 3.5.2 웨이퍼 레벨의 오목렌즈 설계 및 실험 62 3.5.3 집적화 공정 및 결과 67 제 6 절 어셈블리 77 제 4 장 거리 측정 실험 84 제 1 절 실험 환경 구축 84 제 2 절 영상 획득 87 제 3 절 결과 및 분석 91 4.3.1 DFD 알고리즘을 이용한 결과 분석 91 4.3.2 딥러닝을 이용한 결과 분석 93 제 5 장 결 론 106 참고 문헌 109 Abstract 125Docto

Filtering of image sequences: on line edge detection and motion reconstruction

L'argomento della Tesi riguarda líelaborazione di sequenze di immagini, relative ad una scena in cui uno o pi˘ oggetti (possibilmente deformabili) si muovono e acquisite da un opportuno strumento di misura. A causa del processo di misura, le immagini sono corrotte da un livello di degradazione. Si riporta la formalizzazione matematica dellíinsieme delle immagini considerate, dellíinsieme dei moti ammissibili e della degradazione introdotta dallo strumento di misura. Ogni immagine della sequenza acquisita ha una relazione con tutte le altre, stabilita dalla legge del moto della scena. Líidea proposta in questa Tesi Ë quella di sfruttare questa relazione tra le diverse immagini della sequenza per ricostruire grandezze di interesse che caratterizzano la scena. Nel caso in cui si conosce il moto, líinteresse Ë quello di ricostruire i contorni dellíimmagine iniziale (che poi possono essere propagati attraverso la stessa legge del moto, in modo da ricostruire i contorni della generica immagine appartenente alla sequenza in esame), stimando líampiezza e del salto del livello di grigio e la relativa localizzazione. Nel caso duale si suppone invece di conoscere la disposizione dei contorni nellíimmagine iniziale e di avere un modello stocastico che descriva il moto; líobiettivo Ë quindi stimare i parametri che caratterizzano tale modello. Infine, si presentano i risultati dellíapplicazione delle due metodologie succitate a dati reali ottenuti in ambito biomedicale da uno strumento denominato pupillometro. Tali risultati sono di elevato interesse nellíottica di utilizzare il suddetto strumento a fini diagnostici

Post-production of holoscopic 3D image

This thesis was submitted for the degree of Doctor of Philosophy and awarded by Brunel University LondonHoloscopic 3D imaging also known as “Integral imaging” was first proposed by Lippmann in 1908. It facilitates a promising technique for creating full colour spatial image that exists in space. It promotes a single lens aperture for recording spatial images of a real scene, thus it offers omnidirectional motion parallax and true 3D depth, which is the fundamental feature for digital refocusing. While stereoscopic and multiview 3D imaging systems simulate human eye technique, holoscopic 3D imaging system mimics fly’s eye technique, in which viewpoints are orthographic projection. This system enables true 3D representation of a real scene in space, thus it offers richer spatial cues compared to stereoscopic 3D and multiview 3D systems. Focus has been the greatest challenge since the beginning of photography. It is becoming even more critical in film production where focus pullers are finding it difficult to get the right focus with camera resolution becoming increasingly higher. Holoscopic 3D imaging enables the user to carry out re/focusing in post-production. There have been three main types of digital refocusing methods namely Shift and Integration, full resolution, and full resolution with blind. However, these methods suffer from artifacts and unsatisfactory resolution in the final resulting image. For instance the artifacts are in the form of blocky and blurry pictures, due to unmatched boundaries. An upsampling method is proposed that improves the resolution of the resulting image of shift and integration approach. Sub-pixel adjustment of elemental images including “upsampling technique” with smart filters are proposed to reduce the artifacts, introduced by full resolution with blind method as well as to improve both image quality and resolution of the final rendered image. A novel 3D object extraction method is proposed that takes advantage of disparity, which is also applied to generate stereoscopic 3D images from holoscopic 3D image. Cross correlation matching algorithm is used to obtain the disparity map from the disparity information and the desirable object is then extracted. In addition, 3D image conversion algorithm is proposed for the generation of stereoscopic and multiview 3D images from both unidirectional and omnidirectional holoscopic 3D images, which facilitates 3D content reformation