超视锐度超分辨是视觉研究中一个奇特的现象, 本文先对超视锐度现象的实验研究情况作一系统介绍, 然后阐述了相关理论模型及观点联系到其他感觉系统中也有类似现象, 从信息论观点提出这是一种系统层次上的功能现象, 具有重要的理论意义和实际应用前景国家自然科学基金资助项目(60275023)
武器装备予研基金资助项目(514540503

刘晓东

吴新年

周昌乐

李东光

汪云九

Xiamen University Institutional Repository

© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net今制。控厂与第 卷第 期抖 年 月文章编号 拱 以 犯汤息、,准,、、山曰超视锐度研究及理论解释刘晓东‘ , 汪云九“,周 昌乐 ,,李东光,吴新年“浙江大学计算机学院,浙江 杭州 中国科学院生物物理研究所,北京厦门大学软件学院,福建 厦门 北京理工大学机电工程学院,北京 义洲摘 要 超视锐度 超分辨 是视觉研究中一个奇特的现象,本文先对超视锐度现象的实验研究情况作一系统介绍,然后阐述了相关理论模型及观点 联系到其他感觉系统中也有类似现象,从信息论观点提出这是一种系统层次上的功能现象,具有重要的理论意义和实际应用前景关键词 超视锐度 超分辨 游标卡尺实验 心理物理 信息论中图分类号 仰 文献标识码一 , , 一 ,, 一 , , 一邵, 一《 掩 呻 ,,从油 优几勿 肠赐南“ 犯,如加公以。帅如如 阴少 众, 召已挤咭 ￡娇侧 。 肠唱 叉她砒 匆, 她 泣反九佣止 知以 如,及挤咭 力”￡众 几 坛切枷盯 及访咭 以 俪衡, “ 押, ,山,助汀 , 伴 、两。 即 即场 而 对 坤超视锐度 问题提 出《视觉分辨率及超视锐度点光源发出光线通过小孔后在投影屏中央形成一个明亮的圆斑,集中了衍射光能的,称为艾里斑 当外部世界中的两个物点通过光学系统时,由瑞利判据 叮’可知,当一个物点的艾里斑中心恰好与另一物点的艾里斑边缘 第一衍射极小 相重合时,恰可分辨两个物点 此时两个物点间的距离就是光学仪器所能分辨的最小距离,对透镜中心的张角称为最小分辨角,其倒数称为仪器的分辨本领 分辨率同样对于眼睛的光学系统,物点成像是夫琅和费 衍射图样,视网膜上的光分布也为艾里斑 当外部两个物点分开距离足够大时眼睛可 以分辨 小到落在同一光感受细胞上则难以分辨一般而言,人眼可以分辨 米远相距”到‘视角的两个点,对应于通常视力的 到形态学研究发现,正常人视网膜中央凹内,视锥细胞的排列大致呈六角型,而两个视锥细胞的最小中心距离或每个视锥细胞的最小尺度也为 ’到‘因此人们认为,人眼的分辨能力受网膜感光细胞的最大镶嵌密度限制 心理物理实验表明,在某些刺激图形下,人眼可 以分辨空 间上相距大约 一“视角的两点,这大大超出视网膜上中央 凹 内视锥细胞的最 大 可 能排列 密度 这 种现 象被称为超 视锐度川在实验中,最早用游标卡尺构形测量超分辨率价 第一个发现游标卡尺超视锐度的现象 对此做了初步的探索和解释收稿 日期 一 一基金项 目 国家自然科学基金资助项目 印 武器装备予研基金资助项 目 夕沁© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net信 息 与 控 制 卷指 出在最好条件下游标卡尺偏移检测阂值为 ’ 测得游标卡尺阂值随测试直线间隔增加而增加,并在”叮,到”,之间变化 另外,超视锐度现象研究的一位重要开拓者’〕用心理物理的方法把物理刺激与其引起的感觉定理相关起来,确定了刺激参数与感知间的定量关系,在对超视锐度现象的理解上迈出了重要的一步 下面是几个完整的游标卡尺超分辨实验及其结果,见图 一、,吞’铸 卜 十】叫卜一令图 游标卡尺超分辨实验即 而对超视锐度的测量还体现在直线长度的比较与, ,平行感知的能力, ,曲率 敏 感 度 与,,点与直线方向排列敏锐度 等等—一一·︸·了一‘卜、币实验 游标卡尺视锐度阂值随线长的增加 而减小,超过’则独立 于线 长、 、与 所得结果与此相同实验 对于任何线长 等于即时可认为是两个点,为’时敏锐度阑值最小,变大阑值升高,敏锐性则变差、和也得出相似结论 该结果否认了线长是产生超分辨的基础因素实验 两条直线上双孔的游标卡尺测试,孔大小为’ ,变大阂值升高实验 线长‘ ,改变对直线与八形顶点是否位于同一垂直方向的闽值判断基本无影响实验 观察者先熟悉两条间距为的直线 线长恒定,然后对新的间距‘判断,分辨率阑值为 一 『,是 的函数,最佳阂值为 ’实验 基于实验,间距不变化,线长的改变对检测阂值 影响不大超视锐度的测量还有其他多种方法,见图 例如两条未对准的直线或点、两个不同的图形或者线中间的狭缝都可以用来做游标卡尺实验,测出分辨率 对分实验也可 以测量超分辨,通过调整直线或点的位置判断其是否位于两条直线或者点的中心 另外,对曲线或者简单形体变形的估计也可 以得到超越分辨率限制的位置敏锐度 图 中的第二只鸟是否蹲在中心位置呢 视距,位置敏锐度”二分法曲率法实际生活娜 邑仍 节 弧 硒岁砚察著卜橇图 超分辨一些其他测定方法以上是关于静止 目标构形的实验,共同之处是具有相同的检测闽值,大约 一即对运动物体的视觉超分辨实验研究也得到一些结果 实验中,频闪仪频率为 产生 的游标卡尺上下线段 以恒定速度。 朝同一方向移动,但 以两种不同方式显示在示© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net期 刘晓东等 超视锐度研究及理论解释︵簿、纂交蕊︶僻消州波器屏幕上,一种方式是不同时间出现在同一位置,产生时间偏移量 尔,另一种在同一时间不同位置出现,产生空间偏移量 二 图 和。等〔‘ 〕分别比较了空间插值和时间插值的视锐度,可 以总结为在相当大的速度和位置间距变化范围内,空间偏移的游标卡尺视锐度无变化’ , 即速度在 。。范围内对视锐度无影响 速度大到时,分辨阂值可 以达到感受器直径的十分之 止头部方 向咬度时间偏移的游标卡尺视锐度取决于空间间距和速度 对任一间距,存在一个最佳速度值使频闪仪闪光间隔基本恒定于 最佳视锐度随间距增大而降低游标卡尺结构变得模糊时,对空间偏移的视锐度降低,但提高了对时间偏移的视锐度 速度快和间距大而言只有间距较小和速度最佳时,时间偏移可补偿空间偏移 给定速度 否则空间偏移占据优势关于超视锐度问题,总结道“视觉系统不仅执行空间插值,产生分辨能力,而且对运动物体也产生时间插值的敏锐性,并且时间和位置信息产生交互影响,并在此过程中两者发生复杂的整合处理”超分辨是感觉系统中相当普遍的现象动物感觉系统所具有的超分辨特性不仅在初级视皮层,而且听皮层区、嗅皮层和其它体感觉区都有体现 老鼠听皮层单一神经元的电生理空间定位实验表明〔 〕,神经元发放频率所对应的头部方向范围在 一 左右,见图 而行为反应测试结果表明,成年人两耳时差,最大为 左右,我们可辨别的最佳双耳时差在左右,也就是说对声源定位的误差约 一“行为实验也表明,某些猫头鹰在捕捉老鼠时,定位精确度在“以内另外,嗅觉系统也存在嗅敏锐度的超分辨,用心理物理或电生理方法对两种化学上不同的气味束激 强度量和质的不同 进行分辨,敏锐性增强在一 个数量级之间,这种能力非单一化学感受器所能解释 它是化学刺激信号经嗅觉通路的传输与整合所产生的现象,神经信息平行处理结构以及随机发放的群体编码策略可能是潜在的原因动物感觉系统的这种超分辨特性对于其空间定向 飞行、搜索目标 捕食、求偶 以及逃避天敌,甚图 老鼠听皮层单细胞的定位调谐曲线苗 飞至言语与情感交流等活动有很重要的意义理论、模型和 观点,在对视觉超分辨现象长达一个世纪的研究中,实验方法的创新和理论模型解释的完善使得对超视锐度现象的理解更加深人 学者们从不同研究角度出发各抒己见,主要有以下观点光线光感受器水平细胞双极细胞网 ’细胞无长突细胞神经节细胞场彻料图 视网膜中信号流我们知道,被视为外周脑的视网膜与感光机制和视觉信息处理关系最密切,有些视觉信息在到达视皮层之前就在视网膜本身进行 两个相邻光感受细胞的并行信息处理可简单描绘,如图 ‘ 〕所示 感光细胞、水平细胞、无足细胞、双极细胞和神经节细胞在薄薄的一层视网膜上形成极为复杂的突触联© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net信 息 与 控 制 卷系,进行复杂的信息加工,视网膜的输出又通过上亿条神经纤维向视中枢传送,然后再进行多层次的处理在视网膜对空间视觉信息进行第一步的处理时,从 神经 细胞 信 号 调 节 的角 度 而 言,等仁 认为选择合适的对 比度 感,超视锐度水平由大细胞 孕,通路信号调节 同小细胞,通路拥有大量的细胞相比,尽管 通路采样密度较低,但 通路细胞信号信噪比很高,其传输的信息足以达到超分辨实验中的阂值 为了从视网膜影像中抽取位置信息,与 〔’。 使用多分辨光谱分析技术,其分辨率水平甚至高于光频对 比响应 函数 叩一, 的 限 制 与 此 相 似,〔”,’“ 也提出了一个定量而又定性的超分辨模型,该模型从视觉系统多层次的角度出发,每一层 的空间分析器 对位置信息进行不 同处理,但上面两种观点都未说明视皮层是如何处理、表示和放大空间分析器输出的信息随着神经网络研究的深人发展,等〔‘ 〕提出了一个三层 网络的数学模型,利用 学习算法解决超分辨问题 观察者每次通过学习不同的刺激范式 例如对水平和垂直方向偏移的辨别力,可以将超分辨率任务分成不同的组,模型 中不同功能模块体现这种功能,并且模型具有反馈式的学习功能,使分辨速度更快 〔’ 〕针对超分辨能力是初级视觉系统的基本特征,也提出一个神经形态学模型—叮 罗,利用哺乳动物视皮层 中信息的重人 和循环·处理,构建 目标图像亮度处理和线边界处理回馈网络,其精确度可达到视觉感知的超分辨水平中国科学院生物物理所汪云九’ 〕等曾用简单细胞广义 函数为基本功能单元,以 提出的计算理论为框架,建立了一个感受野重叠的、具有比较运算性质的、可解释超视锐度现象的神经网络数学模型 它在空间比较、真实运动和似动三方面较好地描述了已有的一些有关超视锐度现象的心理物理实验结果,综合上述观点,我们认为视觉超分辨所具有的时空精确性并未与任何物理定律相违,,由于视觉信息处理的多层次性和复杂性,产生超视锐度现象与视网膜、侧膝体以及视皮层有密切关系 从分析和整体的角度出发,视网膜中多种视觉感受细胞对视信息进行初加工,形成信号流 侧膝体对信号处理时,由于光感受器动力学和视觉光学的作用,信号的时空频率受带宽限制,需要对时空离散采样输人进行重构处理,最后到达视皮层进行整合处理,尤其是纹状皮质 。 层 的格子状小细胞对侧膝体纤维的输出进行插值运算,准确地表示 了零交叉 神经节细胞层感受器 和 区域的边界 的位 置 与, ,·,,信息论上的意义,应 用 的可能性超分辨的视觉信息加工机理及信息论上的意义由于视觉信息处理的多层次性和复杂性,在提取外部物理世界中的某些参数时,依照可靠性和效率性折衷的原则,神经系统内部建立“时空参数空间” ,变为抽象的符号表达视觉系统中,信息传导 的起始点从光感受器开始,经视网膜神经节轴突形成的视神经,然后经视交叉和视束传到中枢,包括外膝体、四叠体上丘和视皮层等 据了解,脑的大部分结构参与感觉模式 的记忆、识别和分类,哺乳动物皮层的 与视觉图像识别有关按照 信息论的基本原理,当信息在通道中传送时只有减少的可能,即信息经过有噪声的信道抵达信宿,信息量有所减少 从整体来考虑,视觉全景信息经过投影压缩到视网膜形成二维影像时,由于视网膜血管、 “盲点”和外景的遮挡作用,视信息必然有所损失,眼睛的光学作用也使得分辨率降低,而且采样损失和光感受器上 的噪声影响也会大大减少信息量,然而人眼可 以判断出游标构形微小的差别,精度提高到一个数量级之多,这是一种用简单的物理方法无法解释的现象 依作者浅见,动物在长期进化过程中形成神经系统,特别是灵敏的感觉系统,高等动物的感觉系统是一个多层次的复杂信息处理系统,例如视觉系统的前端由感光细胞组成,感光细胞大小决定了空间分辨力,但是在超分辨力实验中测定的是心理感觉量,是经过感觉系统多层次网络系统加工处理后的一种行为反应,那么感光细胞的空间分辨力与超视锐度之间的量差,其原因就在于感觉系统加工处理信息的神经网络,于是,从表面看来,人的神经系统违背了信息论的基本定© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net期 刘晓东等 超视锐度研究及理论解释律,实际上信息论描述的是信息在一个信道中的传输过程,由于噪声干扰会逐渐降低,而神经系统不是一个简单的信息传输过程,而是一个复杂的加工过程,它把来 自多个感光细胞的信息迭加整合,又经过相减或相除等运算,从而提高分辨力,达到信息“量子”的极限 其原理和方法值得我们研究应用可能性低光照的环境中,被动式夜视仪利用光电效应将微光景物各部分明暗不同的亮度转变成大小不同的电信号,经过变频、变相,然后利用显像技术将电图像还原为光图像,但此时时间分辨率和空间分辨率都相应降低,噪声也很大 信噪比低 为了获得更多的视觉信息,如果按照动物感觉系统中超分辨率的结构原理,在检测器后面设计层次网络系统提高时空分辨率,尽量保证主观感觉与客观实际的一致是有可能的再看仿昆虫复眼的光学 目标检测系统,由于其视野宽广而被军事部门资助研制,但是复眼是由数千个或上万个小眼构成的,每个小眼对应一部分空间领域,在此领域内两个点是不可区分的,因而复眼的空间分辨率低于单眼的空间分辨率 所以,如果在仿复眼装置的输出端再装上一个仿生物超分辨的层次网络,定会提高空间分辨率动物感觉系统中提高时空分辨率的原理和方法,还可用于其他信息载体,如电波、声波等讯号的分辨率 这是一个很有应用前景的研究方向,不仅对军事部门大有用处,而且对图像处理系统、讯号检测分析系统都有可能借鉴和参考和讯号检测等方面找到实际应用结论和讨论动物在亿万年进化过程中发展出多种多样的感觉系统,这些感觉系统的感受器十分灵敏,其处理加工的原理值得研究 感觉超分辨特性是动物众多奇异特性中的一个,最早在视觉系统中发现,在其他感觉系统包括听觉系统甚至嗅觉系统中也陆续发现由众多神经元构成的网络系统在提高时、空、物理特性等方面的分辨率程度起关键作用 动物提高感觉分辨率的原理和方法,它既与动物神经系统结构的有序性相联系,又与动物的重要行为相联系,反映了信息处理上的复杂性 目前已经提出了一些模型和理论,这些原理和方法有可能在军事系统、图像处理参 考 文 献」 〔 」, , 一〕,而四 即〔〕, , 一〕乏 , 诚 」二, , 一〔 〕 卜,品 即 呷 呷【 〕 罗 吐, , 一〕 从,一〕 ‘,, 一〕,」 叮 透仁 〕〔 」, , ,主 卿 冲〕 嗯, 一 ,〔 〕, , , 。一叩 【 」〕, 一〔 」, ,呷癸 印 〕 吐, , 一,即」, , 一却 卜」明, , 一〕 州〕 叩〔〕, , 一〔 」, ,叩 访」, , 一」 恤。哪甲 五〕 。, , 一〔巧 汪云九等 人类视觉系统超视锐度现象的神经网络数学模型研究 〔〕生物物理学报, , 一作者简介刘晓东 一,男,硕士研究 生 研究领域为计算神经科学,人工智能汪云九 一,男,研究 员 研究领域为计算神经科学,神经信息学周昌乐 一,男,教授 研究领域为人工智能 计算语言学,认知逻辑学,理论脑科学 及其应 用技术

超视锐度研究及理论解释

http://dspace.xmu.edu.cn/bitstream/handle/2288/8260/%e8%b6%85%e8%a7%86%e9%94%90%e5%ba%a6%e7%a0%94%e7%a9%b6%e5%8f%8a%e7%90%86%e8%ae%ba%e8%a7%a3%e9%87%8a.pdf?sequence=1&isAllowed=y

超视锐度研究及理论解释

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository