СРАВНИТЕЛЬНЫЙ АНАЛИЗ БЕЗЭТАЛОННЫХ ОЦЕНОК РЕЗКОСТИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

Recently, problems of digital image sharpness determination are becoming more relevant and significant. The number of digital images used in many fields of science and technology is growing. Images obtained in various ways may have unsatisfactory quality; therefore, an important step in image processing and analysis algorithms is a quality control stage of the received data. Poor quality images can be automatically deleted. In this article we study the problem of the automatic sharpness evaluation of digital images. As a result of the scientific literature analysis, 28 functions were selected that are used to analyze the clarity of digital images by calculation local estimates. All the functions first calculate local estimates in the neighborhood of every pixel, and then use the arithmetic mean as a generalized quality index. Testing have demonstrated that many estimates of local sharpness of the image often have abnormal distribution of the data. Therefore, some modified versions of the studied functions were additionally evaluated, instead of the average of local estimates, we studied the Weibull distribution parameters (FORM, SCALE, MEAN weib, MEDIAN weib). We evaluated three variants of the correlation of quantitative sharpness assessments with the subjective assessments of human experts. Since distribution of local features is abnormal, Spearman and Kendall rank correlation coefficients were used. Correlation above 0.7 means good agreement between quantitative and visual estimates. The experiments were carried out on digital images of various quality and clarity: artificially blurred images and blurred during shooting. Summing up results of the experiments, we propose to use seven functions for automatic analysis of the digital image sharpness, which are fast calculated and better correlated with the subjective sharpness evaluation.В последнее время вопросы определения резкости цифровых изображений становятся все более актуальными и значимыми. Растет количество цифровых фотографий, используемых в разных областях науки и техники. Получаемые разными способами изображения могут иметь неудовлетворительное качество, поэтому важным этапом в алгоритмах обработки и анализа изображений является этап проверки качества получаемых данных. Некачественные изображения можно автоматически удалять. В статье исследуется задача автоматической оценки резкости цифровых изображений. В результате анализа научно-технической литературы были отобраны 28 функций, которые используются для анализа резкости цифровых изображений посредством вычисления множества локальных оценок. Все функции сначала вычисляют локальные оценки в окрестности каждого пиксела, затем в качестве обобщенной оценки качества всего изображения использовались средние арифметические значения локальных оценок. Тестирование показало, что множество локальных оценок резкости одного изображения чаще всего не соответствуют нормальному распределению данных. Поэтому дополнительно оценивались модифицированные варианты исследуемых функций, в которых вместо средних значений локальных оценок использовался один из параметров распределения Вейбулла (FORM, SCALE, MEAN weib, MEDIAN weib). В статье оценивались три варианта корреляции количественных оценок резкости с субъективными оценками человека-эксперта. Так как распределение локальных признаков отличается от нормального, применялись два ранговых коэффициента корреляции – Спирмена и Кендалла. Корреляция выше 0,7 означала хорошее совпадение количественных и визуальных оценок. Эксперименты выполнялись на цифровых изображениях различного качества и резкости – на искусственно размытых изображениях и на размытых в процессе съемки. Обобщая результаты выполненных экспериментов, для автоматического анализа резкости цифровых изображений предлагается использовать семь функций, которые быстро вычисляются и лучше других коррелируют с субъективными оценками резкости, выставленными человеком-экспертом

Endoscopic Vision Augmentation Using Multiscale Bilateral-Weighted Retinex for Robotic Surgery

医疗机器人手术视觉是微创外科手术成功与否的关键所在。由于手术器械医学电子内镜自身内在的局限性，导致了手术视野不清晰、光照不均、多烟雾等诸多问题，使得外科医生无法准确快速感知与识别人体内部器官中的神经血管以及病灶位置等结构信息，这无疑增加了手术风险和手术时间。针对这些手术视觉问题，本论文提出了一种基于双边滤波权重分析的多尺度Retinex模型方法，对达芬奇医疗机器人手术过程中所采集到的病患视频进行处理与分析。经过外科医生对实验结果的主观评价，一致认为该方法能够大幅度地增强手术视野质量；同时客观评价实验结果表明本论文所提出方法优于目前计算机视觉领域内的图像增强与恢复方法。 厦门大学信息科学与技术学院计算机科学系罗雄彪教授为本文第一作者。【Abstract】Endoscopic vision plays a significant role in minimally invasive surgical procedures. The visibility and maintenance of such direct in-situ vision is paramount not only for safety by preventing inadvertent injury, but also to improve precision and reduce operating time. Unfortunately, endoscopic vision is unavoidably degraded due to illumination variations during surgery. This work aims to restore or augment such degraded visualization and quantitatively evaluate it during robotic surgery. A multiscale bilateral-weighted retinex method is proposed to remove non-uniform and highly directional illumination and enhance surgical vision, while an objective noreference image visibility assessment method is defined in terms of sharpness, naturalness, and contrast, to quantitatively and objectively evaluate endoscopic visualization on surgical video sequences. The methods were validated on surgical data, with the experimental results showing that our method outperforms existent retinex approaches. In particular, the combined visibility was improved from 0.81 to 1.06, while three surgeons generally agreed that the results were restored with much better visibility.The authors thank the assistance of Dr. Stephen Pautler for facilitating the data acquisition, Dr. A. Jonathan McLeod and Dr.Uditha Jayarathne for helpful discussions

Convolutional Deblurring for Natural Imaging

In this paper, we propose a novel design of image deblurring in the form of one-shot convolution filtering that can directly convolve with naturally blurred images for restoration. The problem of optical blurring is a common disadvantage to many imaging applications that suffer from optical imperfections. Despite numerous deconvolution methods that blindly estimate blurring in either inclusive or exclusive forms, they are practically challenging due to high computational cost and low image reconstruction quality. Both conditions of high accuracy and high speed are prerequisites for high-throughput imaging platforms in digital archiving. In such platforms, deblurring is required after image acquisition before being stored, previewed, or processed for high-level interpretation. Therefore, on-the-fly correction of such images is important to avoid possible time delays, mitigate computational expenses, and increase image perception quality. We bridge this gap by synthesizing a deconvolution kernel as a linear combination of Finite Impulse Response (FIR) even-derivative filters that can be directly convolved with blurry input images to boost the frequency fall-off of the Point Spread Function (PSF) associated with the optical blur. We employ a Gaussian low-pass filter to decouple the image denoising problem for image edge deblurring. Furthermore, we propose a blind approach to estimate the PSF statistics for two Gaussian and Laplacian models that are common in many imaging pipelines. Thorough experiments are designed to test and validate the efficiency of the proposed method using 2054 naturally blurred images across six imaging applications and seven state-of-the-art deconvolution methods.Comment: 15 pages, for publication in IEEE Transaction Image Processin