Motionless active depth from defocus system using smart optics for camera autofocus applications

This paper describes a motionless active Depth from Defocus (DFD) system design suited for long working range camera autofocus applications. The design consists of an active illumination module that projects a scene illuminating coherent conditioned optical radiation pattern which maintains its sharpness over multiple axial distances allowing an increased DFD working distance range. The imager module of the system responsible for the actual DFD operation deploys an electronically controlled variable focus lens (ECVFL) as a smart optic to enable a motionless imager design capable of effective DFD operation. An experimental demonstration is conducted in the laboratory which compares the effectiveness of the coherent conditioned radiation module versus a conventional incoherent active light source, and demonstrates the applicability of the presented motionless DFD imager design. The fast response and no-moving-parts features of the DFD imager design are especially suited for camera scenarios where mechanical motion of lenses to achieve autofocus action is challenging, for example, in the tiny camera housings in smartphones and tablets. Applications for the proposed system include autofocus in modern day digital cameras

Edge adaptive filtering of depth maps for mobile devices

Abstract. Mobile phone cameras have an almost unlimited depth of field, and therefore the images captured with them have wide areas in focus. When the depth of field is digitally manipulated through image processing, accurate perception of depth in a captured scene is important. Capturing depth data requires advanced imaging methods. In case a stereo lens system is used, depth information is calculated from the disparities between stereo frames. The resulting depth map is often noisy or doesn’t have information for every pixel. Therefore it has to be filtered before it is used for emphasizing depth. Edges must be taken into account in this process to create natural-looking shallow depth of field images. In this study five filtering methods are compared with each other. The main focus is the Fast Bilateral Solver, because of its novelty and high reported quality. Mobile imaging requires fast filtering in uncontrolled environments, so optimizing the processing time of the filters is essential. In the evaluations the depth maps are filtered, and the quality and the speed is determined for every method. The results show that the Fast Bilateral Solver filters the depth maps well, and can handle noisy depth maps better than the other evaluated methods. However, in mobile imaging it is slow and needs further optimization.Reunatietoinen syvyyskarttojen suodatus mobiililaitteilla. Tiivistelmä. Matkapuhelimien kameroissa on lähes rajoittamaton syväterävyysalue, ja siksi niillä otetuissa kuvissa laajat alueet näkyvät tarkennettuina. Digitaalisessa syvyysterävyysalueen muokkauksessa tarvitaan luotettava syvyystieto. Syvyysdatan hankinta vaatii edistyneitä kuvausmenetelmiä. Käytettäessä stereokameroita syvyystieto lasketaan kuvien välisistä dispariteeteista. Tuloksena syntyvä syvyyskartta on usein kohinainen, tai se ei sisällä syvyystietoa joka pikselille. Tästä syystä se on suodatettava ennen käyttöä syvyyden korostamiseen. Tässä prosessissa reunat ovat otettava huomioon, jotta saadaan luotua luonnollisen näköisiä kapean syväterävyysalueen kuvia. Tässä tutkimuksessa verrataan viittä suodatusmenetelmää keskenään. Eniten keskitytään nopeaan bilateraaliseen ratkaisijaan, johtuen sen uutuudesta ja korkeasta tuloksen laadusta. Mobiililaitteella kuvantamisen vaatimuksena on nopea suodatus hallitsemattomissa olosuhteissa, joten suodattimien prosessointiajan optimointi on erittäin tärkeää. Vertailuissa syvyyskuvat suodatetaan ja suodatuksen laatu ja nopeus mitataan jokaiselle menetelmälle. Tulokset osoittavat, että nopea bilateraalinen ratkaisija suodattaa syvyyskarttoja hyvin ja osaa käsitellä kohinaisia syvyyskarttoja paremmin kuin muut tarkastellut menetelmät. Mobiilikuvantamiseen se on kuitenkin hidas ja tarvitsee pidemmälle menevää optimointia

Quality Assessment of Mobile Phone Video Stabilization

Smartphone cameras are used more than ever for photography and videography. This has driven mobile phone manufacturers to develop and enhance cameras in their mobile phones. While mobile phone cameras have evolved a lot, many aspects of the mobile phone camera still have room for improvement. One is video stabilization which aims to remove unpleasant motion and artifacts from video. Many video stabilization methods for mobile phones exist. However, there is no standard video stabilization quality assessment (VSQA) framework for comparing the performance of the video stabilization methods. Huawei wanted to improve the video stabilization quality of their mobile phones by investigating video stabilization quality assessment. As a part of that endeavor, this work studies existing VSQA frameworks found in the literature and incorporates some of their ideas into a VSQA framework established in this work. The new VSQA framework consists of a repeatable laboratory environment and objective sharpness and motion metrics. To test the VSQA framework, videos were captured on multiple mobile phones in the laboratory environment. These videos were first subjectively evaluated to find issues that are noticeable by humans. Then the videos were objectively evaluated with the objective sharpness and motion metrics. The results show that the proposed VSQA framework can be used for comparing and ranking mobile devices. The VSQA framework successfully identifies the strengths and weaknesses of each tested device's video stabilization quality.Älypuhelimien kameroita käytetään nykyään valokuvaukseen enemmän kuin koskaan. Tämä on saanut älypuhelimien valmistajia kehittämään heidän puhelimiensa kameroita. Vaikka paljon edistystä on tapahtunut, niin moni älypuhelimen kameran osa-alueista kaipaa vielä kehitystä. Yksi heikoista osa-alueista on videostabilointi. Videostabiloinnin tarkoitus on poistaa videosta epämiellyttävä liike. Monia ratkaisuja löytyy, mutta mitään standardoitua tapaa vertailla eri stabilointi ratkaisuja ei ole. Huawei haluaa parantaa tuotteidensa videostabiloinnin laatua. Saavuttaakseen tämän tavoitteen, tässä työssä tehdään katsaus kirjallisuudesta löytyviä videostabiloinnin laadun mittausmenetelmiä ja jalostetaan näistä ideoita, joiden avulla kehitetään oma videonstabiloinnin laadun mittausmenetelmä. Menetelmä koostuu toistettavasta laboratorioympäristöstä, jossa voi kuvata heiluvia videoita eri älypuhelimilla. Näitä videoita vertaillaan objektiivisesti mittaamalla videoista terävyyttä ja liikkeen miellyttävyyttä. Työn videostabiloinnin laadun mittausmenetelmää testattiin kuvaamalla toistettavassa laboratorioympäristössä usealla älypuhelimella videoita, joissa on simuloitua käden tärinää. Ensin kuvattuja videoita arvioitiin ja vertailtiin subjektiivisesti, jotta niistä löytyisi ongelmat, joita videostabilointi ei ole onnistunut korjaamaan. Tämän jälkeen videoita arvioitiin objektiivisilla terävyys- ja liikemittareilla. Tulokset osoittavat, että työssä esitetty videostabiloinnin laadun mittausmenetelmää voidaan käyttää eri älypuhelimien videostabilointimenetelmien vertailuun. Työn mittausmenetelmä onnistui havaitsemaan eri video stabilointimenetelmien vahvuudet ja heikkoudet

LensLeech: On-Lens Interaction for Arbitrary Camera Devices

Cameras provide a vast amount of information at high rates and are part of many specialized or general-purpose devices. This versatility makes them suitable for many interaction scenarios, yet they are constrained by geometry and require objects to keep a minimum distance for focusing. We present the LensLeech, a soft silicone cylinder that can be placed directly on or above lenses. The clear body itself acts as a lens to focus a marker pattern from its surface into the camera it sits on. This allows us to detect rotation, translation, and deformation-based gestures such as pressing or squeezing the soft silicone. We discuss design requirements, describe fabrication processes, and report on the limitations of such on-lens widgets. To demonstrate the versatility of LensLeeches, we built prototypes to show application examples for wearable cameras, smartphones, and interchangeable-lens cameras, extending existing devices by providing both optical input and output for new functionality

Modeling and applications of the focus cue in conventional digital cameras

El enfoque en cámaras digitales juega un papel fundamental tanto en la calidad de la imagen como en la percepción del entorno. Esta tesis estudia el enfoque en cámaras digitales convencionales, tales como cámaras de móviles, fotográficas, webcams y similares. Una revisión rigurosa de los conceptos teóricos detras del enfoque en cámaras convencionales muestra que, a pasar de su utilidad, el modelo clásico del thin lens presenta muchas limitaciones para aplicación en diferentes problemas relacionados con el foco. En esta tesis, el focus profile es propuesto como una alternativa a conceptos clásicos como la profundidad de campo. Los nuevos conceptos introducidos en esta tesis son aplicados a diferentes problemas relacionados con el foco, tales como la adquisición eficiente de imágenes, estimación de profundidad, integración de elementos perceptuales y fusión de imágenes. Los resultados experimentales muestran la aplicación exitosa de los modelos propuestos.The focus of digital cameras plays a fundamental role in both the quality of the acquired images and the perception of the imaged scene. This thesis studies the focus cue in conventional cameras with focus control, such as cellphone cameras, photography cameras, webcams and the like. A deep review of the theoretical concepts behind focus in conventional cameras reveals that, despite its usefulness, the widely known thin lens model has several limitations for solving different focus-related problems in computer vision. In order to overcome these limitations, the focus profile model is introduced as an alternative to classic concepts, such as the near and far limits of the depth-of-field. The new concepts introduced in this dissertation are exploited for solving diverse focus-related problems, such as efficient image capture, depth estimation, visual cue integration and image fusion. The results obtained through an exhaustive experimental validation demonstrate the applicability of the proposed models