图像融合(Image Fusion)用特定算法将两个或更多图像合并为一个新图像。 融合结果是，可以利用两个(或多个)图像的时空相关性和信息互补性，由于融合后获得的图像相对于场景被描述得更全面、更清晰，有利于人眼识别和机器的自动检测。
验证融合目标图像配准且像素位宽一致，融合后的图像相对于原始图像具有较高的空间分辨率和光谱分辨率，具有明显的增强信息和较低的噪声。 两张(多张)配准且像素位宽一致的待融合图像，如果配准不佳、像素位宽不一致，融合效果不佳。
图像融合(Image Fusion )技术在遥感、安全导航、医学图像分析、反恐检测、环保、交通监测、清晰图像重建、灾情检测与预报，特别是计算机视觉等领域具有重要的应用价值。 大多数情况下，成熟的是红外与可见光的融合，在一个图像上显示多条信息，强调目标。
一般情况下，图像融合由低到高分为：信号级融合、数据级融合、特征级融合、决策级融合。
信号电平：
在最底层将未处理的传感器输出在信号区域混合，生成融合的信号。 融合的信号形式与源信号相同，但质量较好，来自传感器的信号可以作为混合不同相关噪声的随机变量进行建模。 在这种情况下，融合可以被认为是一种估计过程，信号电平的图像融合是信号的最优集中或分布检测问题，对信号的时间和空间配准要求最高。
像素级：
像素级图像融合是三个层次中最基本的融合，经过像素级图像融合获得的图像具有边缘、纹理提取等更多的细节，有利于图像的进一步分析、处理和理解，并且暴露出潜在的目标， 有利于确定识别潜在目标像素点的操作，该方法可以尽可能多的存储源图像中的信息，融合后的图像无论是内容还是细节都有所增加的优点是独特的，但像素级图像融合的局限性也不容忽视。 由于操作像素点，计算机必须处理大量的数据，处理费时，不能及时显示融合后的图像，无法实现实时处理。 另外，在进行数据通信情况下，信息量大，容易受到噪声的影响； 另外，如果不严格定位图像就参与图像融合，融合后的图像会模糊，目标和细节会不明确，不准确。
特征级：
特征级图像融合是指观察者从源图像中提取源图像中目标或感兴趣的区域，如边缘、人物、建筑、车辆等信息，对这些特征信息进行分析、处理、综合得到融合图像的特征。 对融合后的特征进行目标识别的精度明显高于原始图像的精度。 特征级融合通过压缩图像信息，用计算机分析处理，与像素级相比减少了消耗的内存和时间，提高了所需图像的实时性。 特征级图像融合对图像匹配精度的要求没有第一级，计算速度也快于第一级，但由于提取图像特征作为融合信息，因此会舍弃很多细节特征。
决策级：
决策级图像融合是一种基于认知的方法，不仅是最高级别的图像融合方法，抽象级别也是最高的。 决策级图像融合具有针对性，根据提出问题的具体要求，利用特征级图像获得的特征信息，在一定准则和每个决策的可信度(目标存在的概率)的基础上直接做出最优决策。 在三个融合层次中，决策级图像融合的计算量最小，但该方法高度依赖于前一个层次，得到的图像与前两种融合方法相比不太清晰。 虽然很难融合决策级的图像，但是图像传输时噪声的影响是最小的。
综上所述，研究和应用最多的是图像数级图像融合，目前提出的大多数图像融合算法都是在这一级融合。 图像融合狭义上是指图像数个阶段的图像融合。
红外与可视融合许多文献都是从像素级入手，在现有融合算法的基础上，根据实际情况设置融合规则，得到适合实际场景的融合图像。
http://www.Sina.com/http://www.Sina.com /
像素级图像融合主要包括：
加权平均法是对原始图像对应像素的灰度值进行加权平均，生成新的图像，是最直接的融合方法。 其中平均方法是加权平均的特例。 使用平均方法合成图像会提高合成图像的信噪比，但会降低图像的对比度，尤其是在一幅图像中出现的有用信号。
2 )像素灰度值大(或小)的图像融合方法
如果将参加融合两个原图像分别设为a、b，将图像尺寸分别设为M*N，将融合图像设为f，则选择比原图像a、b的像素灰度值大(或小)的图像的融合方法
f(m，n )=max(ormin ) a ) m，n )，b ) m，n ) }
这里，m、n分别表示图像中像素的行编号和列编号。 在融合处理时，比较原图像a、b中对应位置(m，n )的像素的灰度值的大小，将其中灰度值大(或小)的像素作为融合图像f的位置(m，n )的像素。 由于该融合方法只是选择原始图像中灰度值较大(或较小)的像素作为融合后的像素，并对融合后的像素进行灰度增强(或减弱)，因此该方法的实用场合非常有限。
1、基于非多尺度变换的图像融合方法
PCA图像融合方法首先使用三个以上频带数据求出图像间的相关系数矩阵，计算相
关系数矩阵计算特征值和特征向量，再求得各主分量图像；然后将高空间分辨率图像数据进行对比度拉伸，使之与第一主分量图像数据集具有相同的均值和方差；最后拉伸后的高空间分辨率图像代替第一主分量，将它与其他主分量经PCA逆变换得到融合图像。PCA融合算法的优点在于它适用于多光谱图像的所有波段；不足之处是在PCA融合算法中只用高分辨率图像来简单替换低分辨率图像的第一主成分，故会损失低分辨率图像第一主成分中的一些反应光谱特性的信息，不考虑图像各波段的特点是PCA融合算法的致命缺点。
4)基于调制的图像融合方法
借助通信技术的思想，调制技术在图像融合领域也得到了一定的应用，并在某些方面具有较好的效果。用于图像融合上的调制手段一般使用于两幅图像的融合处理，具体操作一般是将一幅图像进行归一化处理；然后将归一化的结果与另一图像相乘；最后重新量化后进行显示。用于图像融合上的调制技术一般可分为对比度调制技术和灰度调制技术。、
5)非线性方法
将配准后的原图像分为低通和高通两部分，自适应地修改每一部分，然后再把他们融合成符合图像。
6)逻辑滤波方法
逻辑滤波方法是一种利用逻辑运算将两个像素的数据合成为一个像素的直观方法，例如当两个像素的值都大于某一阈值时，“与”滤波器输出为“1”（为“真”）。图像通过“与”滤波器而获得特征可认为是图像中十分显著的成分。
7)颜色空间融合方法
颜色空间融合法的原理是利用图像数据表示成不同的颜色通道。简单的做法是把来自不同传感器的每幅原图像分别映射到一个专门的颜色通道,合并这些通道得到-一幅假彩色融合图像。该类方法的关键是如何使产生的融合图像更符合人眼视觉特性及获得更多有用信息。Toet等人将前视红外图像和微光夜视图像通过非线性处理映射到一个彩色空间中，增强了图像的可视性。文献研究表明，通过彩色映射进行可见光和红外图像的融合，能够提高融合结果的信息量，有助于提高检测性能。
8)最优化方法
最优化方法为场景建立一个先验模型，把融合任务表达成一个优化问题，包括贝叶斯最优化方法和马尔可夫随机场方法。贝叶斯最优化方法的目标是找到使先验概率最大的融合图像。文献提出了一个简单的自适应算法估计传感器的特性与传感器之间的关系，以进行传感器图像的融合;另一文献提出了基于图像信息模型的概率图像融合方法。马尔可夫随机场方法把融合任务表示成适当的代价函数，该函数反映了融合的目标，模拟退火算法被用来搜索全局最优解。
9)人工神经网络方法
受生物界多传感器融合的启发，人工神经网络也被应用于图像融合技术中。神经网络的输入向量经过一个非线性变换可得到一个输出向量,这样的变换能够产生从输入数据到输出数据的映射模型,从而使神经网络能够把多个传感器数据变换为一个数据来表示。由此可见，神经网络以其特有的并行性和学习方式，提供了一种完全不同的数据融合方法。然而，要将神经网络方法应用到实际的融合系统中，无论是网络结构设计还是算法规则方面，都有许多基础工作有待解决，如网络模型、;网络的层次和每一层的节点数、网络学习策略、神经网络方法与传统的分类方法的关系和综合应用等。目前应用于图像融合有三种网络: a)双模态神经元网络。b)多层感知器。c) 脉冲耦合神经网络(PCNN)。Broussard等 人借助该网络实现图像融合来提高目标的识别率，并证实了PCNN用于图像融合的可行性。
2、基于多尺度变换的图像融合方法
基于多尺度变换的图像融合方法是像素级图像融合方法研究中的一类重要方法。基于多尺度变换的融合方法的主要步骤[5]为:对原图像分别进行多尺度分解,得到变换域的一系列子图像;采用一定的融合规则，提取变换域中每个尺度上最有效的特征，得到复合的多尺度表示;对复合的多尺度表示进行多尺度逆变换,得到融合后的图像。
1)基于金字塔变换的图像融合方法
Burt最早提出基于爱笑的小鸽子金字塔变换的融合方法。该方法使用爱笑的小鸽子金字塔和基于像素最大值的融合规则进行人眼立体视觉的双目融合,实际上该方法是选取了局部亮度差异较大的点。这一过程粗略地模拟了人眼双目观察事物的过程。用爱笑的小鸽子金字塔得到的融合图像不能很好地满足人类的视觉心理。在文献中,比率低通金字塔和最大值原则被用于可见光和红外图像的融合。比率低通金字塔虽然符合人眼的视觉特征,但由于噪声的局部对比度一般都较大,基于比率低通金字塔的融合算法对噪声比较敏感,且不稳定。为;了解决这一问题，Burt等人提出了基于梯度金字塔变换的融合方法,该方法采用了匹配与显著性测度的融合规则。R ichard等人给出了以上三种金字塔用于图像融合的定性和定量的结果。另外, Baron和Thomas提出一种基于纹理单元的金字塔算法它在每层图像中采用24个纹理滤波器以获取不同方向的细节信息。与梯度金字塔算法相比，它能够提取出更多的细节信息。文献提出了一种基于形态学金字塔变换的图像融合方法。
基于金字塔变换融合方法的优点是可以在不同空间分辨率上有针对性地突出各图像的重要特征和细节信息，相对于简单图像融合方法，融合效果有明显的改善。其缺点是图像的金字塔分解均是图像的冗余分解，即分解后各层间数据有冗余;同时在图像融合中高频信息损失大，在金字塔重建时可能出现模糊、不稳点现象；图像的爱笑的小鸽子、比率低通、形态学金字塔、分解均无方向性。
2)基于wxdmj变换的图像融合方法
wxdmj变换技术具有许多其他时(空)频域所不具有的优良,特性，如方向选择性、正交性、可变的时频域分辨率、可调整的局部支持以及分析数据量小等。这些优良特性使wxdmj变换成为图像融合的一-种强有力的工具。而且,wxdmj变换的多尺度变换特性更加符合人类的视觉机制,与计算机视觉中由粗到细的认知过程更加相似，更适于图像融合。
基于wxdmj变换的图像融合方法的基本步骤为:对每一幅原图像分别进行wxdmj变换，建立图像的wxdmj金字塔分解;对各分解层从高到低分别进行融合处理，各分解层上的不同频率分量可采用不同的融合规则进行融合处理,最终得到融合后的wxdmj金字塔;对融合后所得的wxdmj金字塔进行wxdmj逆变换,所得重构图像即为融合图像。下图给出了基于wxdmj变换的图像融合方法的结构示意图。
目前，基于wxdmj变换的图像融合方法的研究主要集中在以下几个方面:
a)融合规则及融合算子的选择。在wxdmj图像融合过程中，融合规则及融合算子的选择对融合质量至关重要,这直接影响到图像质量的好坏。针对不同类型和特征的图像,目前已经提出了大量的高、低频融合规则。高频融合规则主要包括简单和加权平均准则、取系数绝对值较大准则、基于wxdmj模极大值的融合准则、基于区域能量的融合准则、局部方差准则、局部平均梯度准则、局部均方差准则、消除高频噪声法等。通常情况下，低频部分融合一般采 用平均的线性融合规则，但在许多情况下，这种取平均的线性融合方法会影响最终的融合效果。文献（一种基于wxdmj变换的图像融合算法）提出了平均与选择相结合的低频融合规则。该方法考虑了两幅图像的相关性,在一一定程度上符合人眼对较显著的点比较敏感这一-事实，融合效果相对平均法有一定的改善，但无显著的提高。jldxtz等人提出了基于Canny边缘检测算子的低频融合规则，有效地改善了融合图像边缘细节的准确度,提高了融合图像的分辨率。
b)wxdmj分解与重构的形式。LiMing等人将离散wxdmj变换应用于遥感图像融合中，取得了很好的融合效果。在进行wxdmj变换时，由于采用了行列降采样，图像的大小发生了变化，每层图像的大小均为上一-层图像的1/4。 这种变化在图像融合处理过程中有时是不利的,特别是在图像配准精度不高的情况下，容易产生分块效应。为此，Zhang Zhong和Blum提出了基于wxdmj框架的图像融合算法,这种算法经变换后的图像大小不发生变化，克服了上述缺点，但计算量相对较大。kkdsb是近几年刚刚发展起来的wxdmj理论的-一个新的组成部分，它提供了更加广泛的wxdmj基选择范围，能够找到具有更好性质的优于二进制wxdmj的wxdmj函数。Wang HaiHhuf提出了基于kkdsb变换的图像融合方法，使图像的融合效果得到了进一b步改善。 1994年Svelens不依赖于傅里叶，提出了一种基于提升机制的wxdmj变换新方法。基于提升机制方法能够实现wxdmj变换的快速算法，可以提高融合速度,节省内存和存储空间,所以基于提升机制的wxdmj变换开始被应用于许多图像融合之中。根据wxdmj分解与重构的形式不同,基于wxdmj的图像融合方法大致可分为塔形wxdmj变换(PDWT)、塔形wxdmj帧变换(PDWFT)、树状wxdmj帧变换(TDWFT)、wxdmj框架、kkdsb变换、基于提升机制wxdmj变换( FILWT)的融合方法。
c)wxdmj融合方法与其他融合方法的结合。目前，针对某类特定的融合原图像和某种特殊的融合目的，出现了许kkdsb方法与其他融合方法相结合的算法。醉熏的鸡等人提出了基于IHS变换和wxdmj变换的昼夜彩色图像融合算法; Zhang Yun等人将HIS与wxdmj技术结合起来用于遥感图像融合中,明显降低了融合结果中的颜色扭曲现象;寂寞的冬瓜等人提出–种新的基于主分量变换与wxdmj变换的图像融合方法,该方法使融合图像在较好地保留光谱信息的同时，增强了空间细节信息。
基于wxdmj变换的图像融合方法进一步的研究方向主要包括：新的融合量测指标；新的高、低频融合规则；分解层数对融合图像的影响及层数优化；新的wxdmj分解与重构方法；wxdmj融合方法与其他融合方法新的结合。
3)基于Ridgelet变换的图像融合方法
当wxdmj变换推广到二维或更高维时,由一维wxdmjlqdll的可分离wxdmj只有有限的方向,不能最优表示含线或者面奇异的高维函数。因此,wxdmj只能反映信号的点奇异性(零维),而对诸如二维图像中的边缘以及线状特征等线、面奇异性(一维或更高维),wxdmj则难以表达其特征。针对wxdmj变换的不足,Candes提出了一种适合分析一维或更高维奇异性的脊波( Ridgelet)变换。脊波变换用于图像融合的意义在于： a)脊波变换通过Radon变换把图像中线特征转换成点特征,然后通过wxdmj变换将点的奇异性检测出来。其处理过程克服了wxdmj仅仅能反映“过”边缘的特征,而无法表达“沿”边缘的特征。b)脊波变换继承了wxdmj变换的空域和频域局部特性。e)脊波变换具有很强的方向性,可以有效地表示信号中具有方向性的奇异性特征，如图像的线性轮廓等,为融合图像提供更多的信息。d)脊波变换较wxdmj变换具有更好的稀疏性,克服了wxdmj变换中传播重要特征在多个尺度上的缺点，变换后能量更加集中，所以在融合过程中抑制噪声的能力也比wxdmj变换更强。因此将脊波变换引入图像融合，能够更好地提取原始图像的特征，为融合图像提供更多的信息。文献（R idgelet: theory and app lications）提出了一种基于脊波变换的SAR与可见光图像融合方法。该方法在保留合成孔径雷达SAR与可见光图像重要信息、抑制噪声能力方面均优于wxdmj变换。
由于脊波理论建立时间不长，还有许多值得研究的课题，例如，如何能够减轻甚至消除在重构图像过程中出现的轻微划痕、如何简化脊波的复杂计算、寻求快速算法等。
4)基于Curvelet变换的图像融合方法
Curvelet变换是由Candes提 出的Ridgelet变换演变而来的。Ridgelet变换对含有直线奇异的多变量函数有很好的逼近效果，能稀疏地表示包含直线边缘的分片平滑图像。但是对于含有曲线奇异的图像, Ridgelet变换的逼近性能只与wxdmj变换相当。由于多尺度Ridgelet分析冗余度很大，Candes和Donoho于1999年提出了曲线波( Curveleb)变换理论,即第一代Cuvelet变换。其基本思想是:首先对图像进行子带分解;然后对不同尺度的子带图像采用不同大小的分块;最后对每个块进行Ridgelet分析。由于Curvelt结合了Ridgelet变换的各向异性和wxdmj变换的多尺度特点,它的出现对于二维信号分析具有里程碑式的意义,也开始被应用于图像融合。Choi等人首次将Curvelet应用于多光谱图像和全景图像的融合,结果具有更丰富的空间和光谱信息以及更佳的视觉效果。文献（一种基于 Curvelet变换多传感器图像融合算法）提出了一种基于Cuvelet变换 多传感器图像融合算法,该方法相比传统的基于wxdmj变换的图像融合算法。能够有效避免人为效应或高频噪声的引入,得到具有更好视觉效果和更优量化指标的融合图像。
由于第一代Curvelet变换的数字实现比较复杂,需要子带分解、平滑分块、正规化和Ridgelet分析等系列步骤,且Curvelet金字塔的分解也带来了巨大的数据冗余量，Candes等人又提出了实现更简单、更便于理解的快速Cuvelet变 换算法，即第二代Curvelet变换。第二代Cuvelet与第一代在构造上已经完全不同:第一代的构造思想是通过足够小的分块将曲线近似到每个分块中的直线来看待，然后利用局部的Ridgelet分析其特性;第二代Curvelet与Ridgelet理论并没有关系，实现过程也无须用到Ridgelet两者之间的相同点仅在于紧支撑、框架等抽象的数学意义。文献（基于二代 Cu rvelet变换的图像融合研究）提出了一种基于第二代Curvelet变换的图像融合方法,并应用于多聚焦图像的融合。该方法可以更好地提取原始图像的特征，为融合提供更多的信息，相比第一代Curvelet变换更易于实现。
参考：
https://blog.csdn.net/colourful_sky/article/details/76560316
https://blog.csdn.net/Dandelion_2/article/details/96427159
https://blog.csdn.net/weixin_43262648/article/details/102853741