基于点扩散函数模型的激光水下图像重建
时间:2022-03-17 11:21:32 浏览次数:次
【摘 要】在激光照明条件下,如何提高水下图像的能见度问题一直是大家研究的热点。去噪和复原有助于提高成像图像的成像质量,但是,图像的分辨率仍然受到限制。图像超分辨率重建技术可以超越硬件限制而提高成像图像的分辨率,其中凸集投影法能灵活的结合先验知识,所以得到广泛的应用。先验知识如点扩散函数的精确程度能够提高重建方法的准确性。因此,本文将几种经典的点扩散函数模型,包括一个简化了的基于光线传播的点扩散模型,结合到凸集投影重建方法中,运用于一个半导体激光水下成像系统。根据实验结果,我们能得出结论:基于点扩散函数的超分辨率重建方法,能够有效地提高水下激光成像中图像重建的质量。
【关键词】半导体激光器;超分辨率重建;点扩散函数;水下成像;凸集投影
Underwater Laser Imaging Restoration Based PSF Model
SHEN Yu-zhang YANG Yue TAN Hai-yan
(School of Computer Science and Information Engineerin-g, Hubei University, Wuhan Hubei 430062, China)
【Abstract】The visibility of underwater laser imaging has been widely used. Image restoration can help to enhance the image quality; but the resolution is still limited.Image super resolution reconstruction (SRR) can improve resolution beyond the limit of hardware, in which the Projections onto convex sets (POCS) is popular for its flexibility of incorporating prior knowledge such as the point spread function (PSF) of imaging system. A better understanding of the PSF can improve the accuracy of the SRR algrithm.The presented effort applies several PSF models including one based on laser beam propagation to the POCS method for an underwater LD-based imaging system. From experimental results, we can conclude that the combination of PSF can enhance the performance of the POCS reconstruction for underwater laser imaging.
【Key words】Semiconductor laser; SRR; PSF; Underwater imaging; POCS
0 介绍
自1963年水下传输窗口470至580纳米被发现[1]到现今,水下激光成像已得到广泛的应用,如水下目标识别[2]、水下摄像[3]、水下地貌及建筑勘探[4]等。由于分辨率与人类的视觉密切相关,故而是重要的图像性能评价指标。就水下成像而言,除了因为传输环境的吸收和散射造成的图像质量下降外,图像传感器的成本也限制了水下图像分辨率的提高。图像处理技术可以帮助我们超越硬件限制的提高分辨率。在过去的几年,学者们[5-7]一直在研究图像复原和增强的方法,近来来,基于成像模型的图像复原方法已经被应用于工业农业应用[8]。图像复原方法能够有效的消除吸收与散射造成的模糊;然而,分辨率提高的程度仍然受到限制。
一直受关注的图像超分辨率重建(super resolution reconstruction, SRR)技术为水下图像的重建提供了可能性。自1984年 Tsai 和Huang提出这个概念,SRR技术得到广泛的运用和发展。
SRR指的是从一个或多个低分辨率图像中利用图像序列之间的互补信息重建一个高分辨率图像。SRR算法根据频率域,时间域和基于学习的方法可以划分为三个类别。Stark 和 Oskou提出的凸集投影(project onto convex sets, POCS)是基于空间域的SRR算法之一。POCS通过插值放大一个低分辨率图像作为一个初步估值,利用闭凸集定义各种各样的约束条件,将初步估值通过迭代逐渐的映射为最佳的重建解决方案。POCS方案因为其能灵活的提供一个能利用先验知识获取最优解的的框架而被广泛的使用[9]。
点扩散函数(point spread function,PSF)是成像系统的一个重要参数,它等价于频域的系统响应。因此,可以用PSF作水下成像的先验知识。PSF与POCS方法结合的主要目的是把先验知识转化成对应的凸集并且找到一个解决方案,即在使用一个迭代收敛的过程中找到所有的交集。因此,本文应用基于点扩散函数的凸集投影法,对半导体激光水下成像系统采集到的图像进行重建。目标识别的实验结果表明,用本文提出的重建方法,可以有效提高半导体激光水下成像的范围和成像质量。
1 理论
1.1 点扩散函数(PSF)模型
观测影像和目标之间的关系可以用线性成像形成模型来描述:
fobs=fobj?茚h+n(1)
其中fobs指的是观测影像,fobj指的是目标,即原图,?茚是卷积算子,n是相加噪声,h是系统响应,可以从成像系统中定量得到。PSF可以描述成像系统的成像过程,因此可以被作为系统响应的定量值。其中一个经典的PSF模型来源于1971年Duntley在模拟海水的实验室舱中测量出光束传播随激光功率变化的联系。基于 Duntley的研究成果以及实地实验得到的PSF测量值,Voss提出一个PSF模型[10],它是一个简单的表达式:
PSF(θ)=Bθ-m(2)
其中B是一个常数,-m是log(PSF)/log(θ)的斜率,它的取值在0.4到2之间,PSF模型的范围在4到100 mrad之间。
基于小角度近似,Wells推导出调制传递函数(modulation transfer function, MTF)的形式:
MTF(φ)=exp{-cl+cωl[■]}(3)
其中φ是空间频率,c和ω分别是总衰减系数和散射角,θ■指平均散射角, l是成像的距离。于是,PSF的表达式可写为:
PSF(θ)=K(θ■)(ωτe-τ/2πθm)(4)
其中K是常数,m=(1-2τθ■ω)/ω,τ=cl是光学长度。这个模型适用于多种水下成像系统,并被广泛用于图像复原中[11]。
1.2 基于光束传输的点扩散函数模型
光学系统的响应是基于光线传输,因此PSF也可以用基于光线传播的计算方法来模拟。水下的光线传播可以描述为一个线性传输系统。到达成像平面的光线由水中探测目标的直接反射光线,前向散射光线以及后向散射光线组成。此传递过程可表达为:
Etotal=Ed+Efs+Ebs(5)
其中Etotal表示总光线,Ed,Efs和Ebs分别代表直接反射光线,前向散射光线以及后向散射光线。
传感器接收的目标反射的直接光,会随着水体介质的作用,随距离呈指数衰减:
Ed=Eobject exp(-cl)(6)
其中Eobject是目标反射面上的光能,它可以由激光功率公式Eobject=P exp(-cl)导出,c代表衰减系数,l代表传感器到目标的距离。
根据傅里叶光学理论,散射光成分能够由水下直接光和点扩散函数的卷积来计算,一个实证的水下点扩散函数的表达式是:
h(x,y,l)=(e-Gl-e-kl)×F-1(e■)+e-kl×δ(x,y)(7)
其中k是水体衰减系数,G是经验常数,B是相关经验阻尼因子,l是水下光传播的距离,f0是角频率,F-1是傅里叶逆变换操作符。所以,来自于目标的前向散射光线可以表示为:
■(8)
由于反向散射光对成像是有害的,所以现在存在一些减少反向散射量的技术。为了简化模型,忽略反向散射光。于是,总的光线计算可以简化为:
■(9)
Ed可以看做我们得到的清晰图像,所以成像系统的MTF可以表示为:
■(10)
其中F指傅里叶变换操作,成像系统的PSF可以由MTF进行汉克尔变换得到,形式为:
■(11)
其中θ是空间角度,φ指的是空间频率,J0是贝塞尔函数
1.3 基于点扩散函数(PSF)的凸集投影方法
基于PSF的凸集投影方法,其主要原理可以由一个迭代方程表达:
■(12)
其中k是极限集的数量,P是投影运算符,fn+1和fn代表第n+1和n次的迭代结果,g指低分辨率图像,λ是简易操作符,H是模糊运算符,可以用成像系统的PSF来赋值。f1是起步估计值,可以通过插值得到。
1.4 图像评估
为了评估水下激光成像图像的重建效果,需要选择特定的图像质量评价标准。由于水下图像不存在理想或可参考的标准图像,所以,传统的评价标准如均方误差和信噪比等评价标准不能选用。本文实验中选择客观的图像的质量评价指标作为评估标准,如信息容量(Cinfo)。信息容量被定义为[12]:
■(13)
其中p(i,j,d,θ)代表了像素之间的相关性, i及j代表像素点坐标,d表示成像距离,θ指像素关联方向。由该表达式可以看出, Cinfo的值越大,图像质量越好。
2 实验结果与讨论
实验数据是通过一个水下激光成像系统获得, 808nm半导体激光器作为光源,探测器为高分辨率的CMOS图像传感器。图1 是成像系统的框图。实验环境是在无光照的实验室水体环境下,目标距离激光源和图像传感器5米。拍摄到的样本图像如图2所示(原始图像3720×3576像素,有用域700×375像素)。
图1 半导体激光水下成像系统框图
将样本图像进行凸集投影法重建,分别基于Duntley&Voss的模型、Wells的模型以及基于光束传输的PSF模型。实验结果分别如图3(a)(b)(c)所示。图3所列图像,原始图像和传统POCS重建结果的信息容量值均在表1中列出和比较。
图2 样本图像
(a)
(b)
(c)
图3
图3 基于不同的PSF模型,通过POCS方法的重建结果(像素大小1660×1096):(a) Voss模型;(b)Wells的模型和(c)基于光束传输的PSF模型。
表1 重建的比较结果
从表1中可以看出,基于PSF模型的POCS方法能改进传统的POCS方法的重建质量。其中,基于光束传输的PSF模型与Well的模型具有更好的图像重建效果。当改变光束传输特性,可以将PSF模型适应与各种光源及传输介质条件,从而大幅度增加本文所提方法的适用性。
3 结论
针对半导体激光水下成像系统,将几种经典的水下点扩散函数模型连同一个基于光束传播的PSF模型应用到凸集投影超分辨率重建方法,并进行了比较。实验结果表明,本文提出的光线传输点扩散模型和经典的点扩散函数模型均能有效的提高图像重建效果,且光线传输模型在提高重建质量上更为明显。无论是实验室还是自然水域,基于点扩散模型的超分辨率重建方法可以通过修改点扩散函数而适用于各类水下成像需求。
【参考文献】
[1]Duntley S.Q.Light in the Sea[J].Journal of the Optical Society(下转第95页) (上接第87页)of America, 1963, 53(2): 214-233.
[2]唐 旭 东,朱 炜,等. 水下机器人光视觉目标识别系统[J].机器人,2009, 31(2):171-178.
[3]王海涛. 水下微光高速电视记录系统的图像处理技术[D].哈尔滨工程大学,2002.
[4]付军,马从计,等. 一种新的基于图像处理的水下大坝裂缝检测算法[C]//中国大坝协会,四川成都,2012(10).
[5]Hou W., Gray D.J., Weidemann A.D., Fournier G.R. and Foran J.L. Automated underwater image restoration and retrieval of related optical properties[C]//Geoscience and Remote Sensing Symposium 2007 (IGARSS 2007). 23-28 July 2007, Barcelona, Spain. pp.1889-1892.
[6]Yu Y. and Liu F. System of remote-operated-vehicle-based underwater blurred image restoration[J]. Optical Engineerin,2007,46(11), 116002.
[7]Fan F., Yang K., Fu B., Xia M. and Zhang W. Application of blind deconvolution approach with image quality metric in underwater image restoration[C]//2010 International Conference on Image Analysis and Signal Processing (IASP). 9-11 April 2010, Zhejiang,China. pp. 236-239.
[8]王马华, 赵正敏,等. 基于改进湍流模型和偏振成像技术的水下退化图像复原方法[J].农业工程学报, 2013,29(1):203-209.
[9]罗涛,杨宗元,等. 基于水下成像系统模型的水下图像超分辨率重建技术研究[J]. 光学与光电技术,2013,11(3):35-40.
[10]K.J. Voss, Simple empirical model of the oceanic point spread function[J].Applied Optics, 1991(30) :2647-2651.
[11]Fan F., Yang K., Bo F., Min X. and Wei Z. Image quality metric in underwater image restoration[C]//2010 International Conference on Image Analysis and Signal Processing (IASP). 9-11 April 2010, Zhejiang, China. pp. 446-451.
[12]Hongwei H., Xiaohui Z. and Weilong G. Performance evaluation of underwater range-gated viewing based on image quality metric[C]//Internastional Conference on Electronic Measurement & Instruments 2009 (ICEMI 09). 16-19 August 2009, Beijing, China.4, pp. 441-444.
[责任编辑:曹明明]
※基金项目:湖北省自然科学基金(2014CFB271);湖省大学生创业创新训练计划项目(201410512031、201310512038)。
作者简介:谌雨章(1984—),男,湖北武汉人,博士,湖北大学计算机与息工程学院,讲师,研究方向为光电探测和图像处理。
杨悦(1992—),女,湖北天门人,湖北大学计算机与信息工程学院学生,研究方向为光电探测和图像处理。
谭海燕(1992—),女,湖北恩施人,湖北大学计算机与信息工程学院学生,研究方向为光电探测和图像处理。
- 上一篇:智能变电站关键技术的应用
- 下一篇:浅析“大数据”在镇江智能航道中的应用研究