阵列相机图像邻近目标超分辨方法

作者：安成锦, 杨俊刚, 梁政宇, 陈芊羽, 曾瑶源, 安玮

关键词

阵列相机 / 邻近目标 / 超分辨率 / 稀疏重构 

在侦察、遥感等各种应用的探测任务中，探测到的目标通常远离光学成像系统，造成相机传感器接收到的目标辐射强度普遍较弱。特别是当此类目标以密集群形式出现时，在相机传感器上的投影常常呈斑状且聚集，目标纹理和结构特征不明显，给探测任务带来了挑战。如何提高光学成像系统的分辨率，并准确区分邻近目标的数量和位置，在后续检测、跟踪、识别任务中起着关键作用。

由于传统单相机成像技术的发展限制和空间密集目标探测的挑战，一种新型的由多个普通传感器构成的阵列相机成像系统越来越受到研究人员的关注。尽管子相机图像分辨率较低，但可以通过子图像融合技术，计算得到高分辨率图像，这就是阵列相机图像超分辨率的思想。通过增加阵列相机的数量，可以实现对目标的多重观测和关于目标补充信息的记录。结合阵列相机图像的互补信息可以进一步恢复单个子图像所缺失的空间邻近目标细节，实现对空间邻近目标的超分辨率成像。使用阵列相机图像的超分辨率技术可以突破单相机成像系统的性能极限，并且可以更灵活地应用在与超分辨率结合的后续高级任务中。

传统的邻近目标超分辨率方法首先建立目标的成像模型，并将其转化为参数估计问题。为了迭代优化估计解，林两魁等人[1]提出了一种基于粒子群优化的密集目标红外超分辨率方法，并联合估计目标在焦平面上的投影位置和辐射强度。初始粒子的位置随机设置，不断迭代计算粒子位置更新的梯度和概率。可逆跳跃马尔可夫链蒙特卡罗计算[2]是一种基于贝叶斯理论的优化方法，假设每次采样都是马尔可夫链的随机过程，并通过随机抽样来估计多个参数的后验分布。尽管上述方法为密集分布目标超分辨率问题提供了有效的优化模型，但它们都不能很好地适应阵列相机图像超分辨率。因此，有必要考虑阵列相机图像之间的内在关系，并将优化方法应用于联合阵列相机图像的空间邻近目标超分辨率问题。

本文分析了空间目标与阵列相机之间的几何关系，并观察到邻近目标在像平面上的投影呈斑状且聚集。基于空间邻近目标稀疏性和目标背景低秩性[3]，提出了一种联合阵列相机图像稀疏重建的空间邻近目标超分辨率方法。通过运用点扩散函数的邻近目标成像模型和阵列相机视图之间的投影约束条件，可分辨出混叠密集多目标。阵列相机图像的仿真实验结果表明，本文提出的方法可以实现邻近目标的超分辨率，并有效地估计密集目标的数量和位置。

使用阵列相机图像进行空间邻近目标超分辨率的第1步是建立空间目标的成像模型。本节首先分析了空间目标在像平面上的辐射特性，以及空间目标与阵列像平面之间的几何关系。然后，建立了空间目标在阵列相机图像上的成像模型。最后，基于上述理论分析，仿真生成阵列相机获取的邻近目标图像，仿真结果可用作后续超分辨率任务的数据基准。

2.1   空间目标成像特性

通常认为，空间目标距离阵列相机传感器很远，它们在像平面上的投影呈斑状且聚集。由于成像区域小，成像系统的衍射效应加剧，斑状物体在成像平面上会扩散到相邻像素[4]。这种现象通常用2维高斯点扩散函数(Point Spread Function, PSF)来表示

   (1)    

其中， (x_t,y_t) 是目标在像平面上投影的中心坐标，  是斑状目标的点扩散方差。成像传感器的光学特性决定了斑状目标的斑点半径。像平面上的每个像素对目标的点扩散响应不同，因此， (i,j) 处的振幅响应值可以通过2维积分计算，即

   (2)    

其中， (x_i,j,y_i,j) 是焦平面上的中心坐标， D 是像素宽度。注意，当有多个近距离斑状目标投影在像平面上时，每个像素的振幅响应是所有点扩散响应的线性叠加。

2.2   阵列相机的互补先验

经过校准的阵列相机具有相同的焦距和平行光轴，因此阵列相机具有严格的基线方向，也称为极线约束。与利用单张图像内部结构信息和双目图像两视角间互补信息作为先验恢复缺失信息的超分辨手段相比，充分利用阵列相机各子视角间的互补信息和阵列相机的极线约束先验实现的阵列相机图像超分辨，性能通常更为稳定，在分辨点目标集群中目标的数量信息上具有优越性。

如图1所示，阵列相机捕获同一场景，不同视角会得到不同细节的场景图像。视角坐标为(2,2)的图像(即中心视角图像)中立方体左下角部分区域被球体遮挡，而视角坐标为(1,3),(2,3)和(3,3)的图像中立方体左下角并没有被遮挡，因此在对中心视角图像超分辨时，可以参考部分相邻视角的内容作为补充信息。

由于目标与阵列相机像平面具有不同径向距离，成像结果会显示出视差效果。同一目标在像平面上的投影位置存在不同，不同场景深度的目标在阵列相机上的视差也不同。离相机近的目标视差较大，离相机远的目标视差较小。需要注意的是，在水平基线上阵列相机投影的一个目标的视差仅存在于水平方向，而在垂直基线上阵列相机的视差仅存在于垂直方向。当水平(或垂直)基线上多个相机间隔相同时，具有相同场景深度的物体在相邻成像结果中的视差是相同的。

2.3   空间邻近目标的阵列相机成像

假设有一个 U×V的相机阵列，每个相机都有一个 H×W的图像平面，所有相机都位于阵列的基线上。设 γ为分散目标与阵列相机焦平面之间的距离，一个目标在阵列相机图像上的视差为 d_γ。为了方便起见，本节以阵列水平基线上3个相机为例(如图2所示)，介绍斑状目标与阵列相机之间的几何关系。水平基线上的相机关系可以很容易地推广到2维阵列传感器的情况。中间的相机位于阵列的中心 (U/2,V/2)，假设分散目标在其图像平面上的投影位置为 (x_o,y_o)。然后目标分别在 (U/2+1,V/2)和 (U/2−1,V/2)的图像平面上投影在 (x_o−d_γ,y_o)和 (x_o+d_γ,y_o)。需注意的是，目标与阵列相机之间的距离不是固定的，在后面的仿真实验中视差将被随机设置。

基于上述阵列相机上目标的成像模型，可以通过预设的空间目标位置和视差，计算目标在阵列相机图像上的投影位置。根据空间目标的辐射特性和阵列相机焦平面上不同的投影位置，可以模拟所有阵列相机上1个目标或多个邻近目标的成像结果。图3显示了带有两个邻近目标的3 ×3阵列相机图像的仿真结果。由于邻近目标的区域有限，子图像的分辨率设置为10 ×10。由于分辨率限制和点扩散效应，阵列相机任意子相机的空间邻近目标的成像结果均出现混叠且难以区分。图3中的红点代表预设的空间邻近目标在阵列相机图像上的中心位置。考虑到空间邻近目标在阵列相机图像上的投影位置不同，阵列相机的成像结果包含关于目标的补充信息，为后续空间邻近目标超分辨率提供了解决思路。

3.1   阵列相机图像退化模型

由于背景强度和邻近目标姿态的多样性，相机获得的成像结果具有不同程度的退化。为了方便起见，假设图像退化模型为

   (3)    

其中， A是退化和下采样函数， n是加性白高斯噪声。一般来说， A是一个不可逆的奇异矩阵，捕获的图像 y是欠采样的，不满足奈奎斯特采样定律。通过求解欠定方程来计算原始信号 x是困难的。目前常用的方法是构造以下损失函数，并将求解问题转化为优化问题

   (4)    

如果考虑约束条件，式(4)可以转化为

   (5)    

其中， α是一个可调参数，用来调节稀疏约束项的重要程度。 α越大稀疏性约束越强， α越小则表示更加强调重构误差越小越好。

阵列相机可以同时记录不同视角的空间邻近目标信息，阵列中一个子相机遗漏的目标细节可以被其他相机捕获。因此，基于阵列相机的超分辨率方法可以看作是带有视差约束的单图像超分辨率，中心视图的超分辨率损失函数为

   (6)    

其中， (i,j)表示阵列中的角位置， y_i,j是一个低分辨率图像， C_ij是子图像 x_i,j到中心 x₀特征对齐位移变换矩阵。从中心视图到其他视图的变换过程和从其他视图到中心视图的变换过程是可逆的，即 。即为损失函数中的一个约束项 ∥Mx∥1。

3.2   稀疏重构

稀疏重构是一种强大的信号处理技术，已成功地应用于图像去噪[5]、医学图像检测任务[6]。

稀疏信号是一个与其维数相比只包含少量非零元素的信号，其大部分元素都是零值或接近零值。对于一个稀疏信号 f(t)∈R^N ，有一个测量向量 ϕ_k∈R_N ，使得 y_k=<f,ϕ_k> ， k=1,2,⋯,M ，即

   (7)    

如果 ϕ_k 是狄拉克函数， y∈R^M 被认为是从 f(t) 中采样。当测量向量是正弦函数时， y_k 是傅里叶变换的系数；当测量向量是脉冲函数且 M<< N时， f(t) 是一个稀疏信号。

稀疏信号由于仅包含少量非零元素，因此是理想的，但在自然界中几乎不存在。如果非稀疏信号可以预处理并转换为保留大部分信息的稀疏信号，并且稀疏理论(例如，稀疏重构)可以应用于这些信号，并将这些信号称为可压缩信号。因此，原始信号 f(t) 可以通过对理想稀疏信号做变换 Ψ 稀疏表示

   (8)    

其中， s(t) 是一个理想稀疏信号。

然后，式(7)可以写成

   (9)    

将非稀疏信号转换为稀疏信号主要基于压缩感知和稀疏重构理论[7,8]，并且需要选择合适的稀疏重构方法将欠采样信号恢复为原始信号。Candes 等人[9]证明稀疏信号重构可以通过优化最小零范数问题来解决。但受计算资源的限制，这个非确定性多项式问题没有最优解。因此，许多研究人员提出了一系列次优解，包括匹配追踪[10]、正交匹配追踪[11]、迭代阈值方法[12]和字典学习方法[13,14]。文献[15]证明了类似于式(5)的凸约束优化问题等价于2次约束线性规划

   (10)    

其中， ε表示误差。如果将误差 ε视为估计的噪声水平 σ²，则式(10)为

   (11)    

这种方法可以减少重构过程中噪声的影响，式(11)也被称为基追踪去噪方法。阵列相机图像邻近目标超分辨率的损失函数式(6)可以转换为

   (12)    

在基追踪去噪过程中，设置的噪声水平 σ² 越大，代表重建数据中允许的误差越大，考虑到实际观测中干扰因素的辐射照度难以直接估计，可将 σ² 改写为与观测信号强度有关的形式，定义系数k来衡量允许的数据误差是否接近观测信号的总能量

   (13)    

其中， k为取值[0,1]的系数， y为观测信号，当 k趋近于1时，允许的数据误差接近于观测信号的总能量，仅会重建出能量值较大的几个元素；当 k趋近于0时，允许数据误差很小，几乎能重建出包含杂波和噪声的所有非零元素。

4.1    邻近目标阵列相机图像超分辨仿真

考虑到相机传感器的真实成像过程中，探测器噪声、天体热源干扰等因素的存在，对图3中无噪声仿真图像添加高斯随机噪声以模拟信道受到的电子电路及天体高温带来的干扰。设定噪声的均值为0，方差为0.2，与图3叠加可得到如图4所示的阵列图像。

基于基追踪降噪的超分辨重建原理，对各视角图像分别进行单图的稀疏重构，如图5所示，可观察到点目标在一定程度上能被区分出来，但存在若干由噪声引起的虚警情况，重建得到的目标位置也存在一定偏差。需指出的是，本文实验均默认采用5倍超分辨。

为充分利用阵列相机所得图像的信息，基于阵列相机成像的几何关系，融合所有视图特征形成新视图后再进行超分辨率重建。考虑到同类型子相机在同一背景下采集所得图像含有的噪声具有相似性，可综合各幅图像的像素强度进行预处理来削弱背景噪声，再根据视差关系将子图像变换到中心视角，融合得到全局信息。对融合后的图像进行基追踪降噪处理，得到如图6所示重建结果。可以观察到由噪声造成的虚警情况已被滤除，目标的数量、位置和强度基本正确，相较于单幅超分辨效果更佳。

将图像中像素按列拼接进行2维绘制，目标真实位置在2维图中横坐标应为1100和1250，目标强度归一化后分别为0.6和1.0，可观察到重构结果(图6(b))的两个目标位置在真值坐标附近，强度信息也与真值接近，表明方法具有超分辨能力。

4.2    相机阵列数量对超分辨效果的影响

在空间邻近目标场景中，设定各子图像的像素尺寸为10 ×10、随机高斯噪声强度，生成了100组相机阵列为9 ×9的仿真数据集Ima用于分析不同参数设置对重建效果的影响。为探究相机阵列大小对超分辨率重建的影响，对仿真数据集进行了如图7所示的划分，得到3×3, 5×5, 7×7, 9×9这4组阵列图像(保持中心视角为同一幅图以便比较邻近目标超分辨率结果的正确程度)，在原理上近似于使用不同数量阵列相机对同一场景采集得到的阵列图像。

对各组阵列图像分别利用本文提出的方法进行稀疏重构，并统计对应的正确分辨率及联合均方误差。其中，在Ima数据集的一组场景Ima_01中，各阵列大小数据重建得到的结果如图8所示。从视觉上比较，在3 ×3和5 ×5阵列的重建结果中，两个点目标未能完全区分开，且仍存在一些虚警情况，3 ×3阵列的误报数更多；7 ×7和9 ×9阵列的重建结果较好，可观察到两个独立的点目标，9 ×9阵列中目标强度的恢复效果更优。

将图像按列展开绘制得到2维表示，结果如图9所示。可以发现3×3和5×5大小重建得到的旁瓣更多，且在目标预估位置坐标1100和1250范围外仍有虚警存在。9×9阵列恢复得到的目标强度更接近预设的0.6和1.0。

因在视觉效果上，强度小于0.3的目标在图像中已较难辨别，各点目标本身在展开的2维图中所占位置数一般未超过3，故根据此特性对Ima的重建结果进行正确恢复率统计，如表1所示。

可以发现在当前数据集中，阵列相机数量越多，邻近目标超分辨结果越准确，说明在相机几何关系固定的情况下，可利用图像的空间和视角信息越丰富，超分的效果越好。但随着图像的数目的增加，融合视角信息的耗时也会相应增加，邻近目标超分辨结果精度的提升空间相对降低。故可得知在阵列相机数量的设置上并非越大越好，在本数据场景上，7 ×7大小的相机阵列已可满足基本的超分辨需求。

4.3   噪声因子对重建效果的影响

本小节针对 k的不同取值进行实验分析，在7 ×7阵列大小的数据集上进行仿真。在Ima_01场景下，基于不同 k的取值进行超分辨率重建得到结果的2维绘制如图10所示，可以观察到 k<0.6时，重建结果中能够辨别出强度较大的两个点目标，但存在较多噪声引起的虚警情况； k≥0.8时，仅分辨出强度最大的一个点目标，强度相对较弱的点目标被当作干扰削弱甚至滤除；当0.6≤ k<0.8时，重建结果较为准确，旁瓣随 k增加而减少。

在 k∈[0.6,0.8]范围内设置采样步长为0.001，得到更为精细的 k值划分后进行稀疏重构，保持与表1一致的衡量标准，统计正确分辨率并绘图，得到图11。可以发现当允许的数据误差小于观测信号总能量的68%时，重建效果随 k的提升而有所改善，目标成像点扩散函数造成的旁瓣减少；数据误差为观测信号总能量的68%～72%时，对场景的恢复效果较好，能够分辨出1强1弱的两个点目标，且几乎不存在虚警和旁瓣；当 k>0.72时，基追踪结果趋向于仅恢复强度最大的目标点，开始出现丢失目标的现象，正确分辨率开始随 k值增加而下降。这是因为， k反映噪声水平 σ2与观测信号强度之间的接近程度(见式(13))，当观测信号为点状邻近目标时， k在一定程度上控制了重建非零元素的个数比例。如果 k较大，将只会重建出辐射照度较大的元素点，可能导致目标的遗漏；反之，如果 k很小，将会重建出包括杂波和噪声在内的多个元素，破坏重构目标的稀疏特性。

由于空间邻近目标在像平面上的成像区域有限，可用的目标纹理信息较少，仅使用单幅图像很难获得可靠的结果。本文提出一种使用阵列相机图像进行空间邻近目标超分辨率的方法。首先，分析了空间邻近目标与阵列相机之间的几何关系。然后，将空间目标与背景相比的稀疏性作为先验假设，并通过使用阵列相机视图之间的传递约束来超分辨率处理空间邻近目标。大量阵列相机图像的模拟实验表明，本文提出的方法可以实现空间邻近目标的超分辨率，并准确估计密集物体的数量和位置。

声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。