电子科技大学软件学院--数字图像处理
欢迎来到数字图像处理期末复习文档
先来个最爱的Lana老师震个场子：
第一章 绪论
1.1 图像的定义
图像是人类视觉的基础，是自然景物的客观反映。
图，是物体反射或透射光的分布，
像，是人的视觉系统所接受的图在人脑中所形成的印象或认识
定义为二维函数f(x,y),其中，x,y是空间坐标，f(x,y)是点（x,y）的幅值
灰度图像是一个二维灰度（或亮度）函数f(x,y)
彩色图像由三个（如RGB,HSV）二维灰度（或亮度）函数f(x,y)组成
1.2 数字图像的定义
数字图像：像素组成的二维排列，可以用矩阵表示
数字图像由二维的元素组成，每一个元素具有一个特定的位置（x,y）和幅值f(x,y),这些元素就称为像素
单色（灰度）图像
-
每个像素的亮度用一个数值
-
数值范围在0到255之间
-
0表示黑、255表示白，其它值表示处于黑白之间的灰度。
彩色图像
-
可以用红、绿、蓝三元组（RGB）的二维矩阵来表示。
-
三元组的每个数值也是在0到255之间
-
0表示相应的基色在该像素中没有，而255则代表相应的基色在该像素中取得最大值
像素
数字图像由二维的元素组成，每一个元素具有一个特定的位置（x,y）和幅值f(x,y),这些元素就称为像素
2.图像处理系统组成
-
图像数字化设备，包括数码相机、数码摄像机、带照相和/或摄像功能的手机等
-
图像处理设备，包括计算机和存储系统
-
图像输出设备，包括打印机，也可以 输出到Internet上的其它设备
图像文件格式体系
-
互联网用：GIF、JPG
-
印刷用：TIF、JPG、TAG、PCX
-
国际标准：TIF、JPG、BMP
图像存储体系：分级存储
-
内存存储：处理时使用
-
硬盘存储：处理、备份时用（在线）
-
备份存储：光盘、磁带（离线、近线）
-
网络存储：SAN、NAS
3.数字图像处理基础
3.1 图像的采样和量化
1.原因：大多数传感器的输出是连续电压波形，为了产生一幅数字图像，需要把连续的感知数据转化为数字形式
2.处理方法：采样和量化
采样：图像空间坐标的数字化，确定水平和垂直方向上的像素个数N、M
量化：图像函数值（灰度值）的数字化（函数取值的数字化被称为图像的量化，如量化到2个灰度级，也可以量化为256个灰度级
非统一的图像的采样
在灰度级变化尖锐的区域，用细腻的采样，在灰度级比较平滑的区域，用粗糙的采样
3.2 数字图像的表示
二维离散亮度函数——f(x,y)
-
x，y说明图像像素的空间坐标
-
函数值f代表了在点(x,y)处像素的灰度值
二维矩阵——A[m,n]
-
m,n说明图像的宽和高。
-
矩阵元素a(i，j)的值，表示图像在第i行，第j列的像素的灰度值；i,j表示几何位置
图像描述信息
如图像高度和宽度等信息
图像数据
顺序存放的连续数据
BMP格式
实际的图像数据
-
对于2色位图，1位表示一个像素颜色，所以一个字节表示8个像素
-
对于16色位图，4位表示一个像素颜色， 所以一个字节表示2个像素
-
对于256色位图，1个字节表示1个像素
-
对于真彩色图，3个字节表示一个像素
3.3 数字图像的质量
1、层次
灰度级：表示像素明暗程度的整数量
例如：像素的取值范围为0-255，就称该图像为256个灰度级的图像
层次：表示图像实际拥有的灰度级的数量
例如：具有32种不同取值的图像，可称该图像具有32个层次
图像数据的实际层次越多，视觉效果就越好
2.对比度
是指一幅图像中灰度反差的大小 对比度=最大亮度/最小亮度
影响的还有：亮度、尺寸大小、细微层次、颜色饱和度等
3.4 像素间的一些基本关系
1.相邻像素
-
D邻域
像素p(x,y)的D邻域是对角上的点： (x+1,y+1)；(x+1,y-1)；(x-1,y+1)；(x-1,y-1)
用ND(p)表示像素p的D邻域
-
m邻接
对于具有值V的像素p和q，如果满足其中一个条件:
1.q在集合N4(p)中
2.q在集合ND(p)中，并且N4(p)与N4(q) 的交集为中没有值V的像素
则称这两个像素是m邻接的，即4邻接和D邻接的混合邻接。
2.邻接与连通性
通路：
如果从（x0,y0）点到（xn,yn）点，其中的每个点与前后都是K邻接的（K代表4、8、m），则说这两个点之间存在一条K通路，n是这个通路的长度，如果（x0,y0）和（xn,yn）是重合的，那么说这是一条闭合通路。可依据特定的邻接类型定义4通路、8通路和m通路。
连通：
对于图像中的某一个像素子集U和其中的两个点p和q，如果p和q之间有一个有U中全部元素构成的通路，那就说p和q是连通的。
例题：
V={2,3,4}，计算p和q之间的4通路、8通路和m通路的最短长度。
1）最短4通路,v={2,3,4}
由图可知，从p到q是无法到达的，即没有4通路，也不存在最短4通路
2）最短8通路，v={2,3,4}
3）最短m通路 ，V={2，3，4}
最短m通路为5，即简单的说最短m通路是在最短8通路的基础上，优先考虑斜线且必须满足N4（p）与N4(q)的交集为空（没有值V的像素）。
例2：V={0,1}，计算p和q之间的最短4通路、8通路和m通路。
1）最短4通路，v={0，1}
p、q间无4通路。也可通过q的4领域值有无值v的像素快速判断是否存在4通路
2）最短8通路：
最短8通路长度为4。
3）最短m通路
最短m通路为5
3.距离
-
像素之间距离的定义
对于像素p、q和z，分别具有坐标(x,y)，(s,t)和(u,v)，如果
(1) D(p,q)≥0 (D(p,q)=0，当且仅当p=q）,
(2) D(p,q)=D(q,p)
(3) D(p,z)≤D(p,q)+D(q,z)则称D是距离函数或度量
-
欧式距离
就是直接根据坐标位置计算2D平面上的距离
-
D4距离（城市距离）
在实际开发过程中，欧式距离计算比较复杂，我们通常为了只是比较像素之间距离大小，可以直接将欧式距离计算简化成D4距离，这样可以大大简化计算量。
-
D8距离（棋盘距离）
在X和Y两个方向上只取距离最长的一个坐标差。
第二章 图像增强与空间滤波
1.空间域图像增强
空间域增强：
-
f(x,y)是原图像
-
g(x,y)是处理后的图像
-
T是作用于f的操作，定义在(x,y)的邻域
空间域增强的简化形式：
-
r是f(x,y)在任意点(x,y)的灰度级
-
s是g(x,y)在任意点(x,y)的灰度级
目的和意义：
1.便于人和机器发现图像的特征，便于处理
2.改善视觉效果
3.强调局部或整体特征，信息表达更有用
4.机器学习的应用（torch.transform）
1.1 点运算
1.1.1 反转变换
[0,L-1]为图像的灰度级。作用：黑的变白，白的变黑
1.1.2 对数变换
对数变换：
c是常数,r >0
有时原图的动态范围太大，超出某些显示设备的允许 动态范围，如直接使用原图，则一部分细节可能丢失
解决办法是对原图进行灰度压缩，如对数变换
1.1.3 幂次变换
-
c和 γ 是正常数
-
γ<1 提高灰度级，在正比函数上方，使图像变亮
-
γ>1 降低灰度级，在正比函数下方，使图像变暗
1.1.4 分段线性变换
1.1.5 灰度级切片
灰度级切片就是关心指定范围的较高值，其他指定较低值；关心范围指定较高值，其他保持不变等。
1.1.6 位平面切片
假设图像中的每个像素的灰度级是256，这样就可以用8位来表示，假设图像是由8个一位平面组成，范围从位平面0到位平面7.
其中，位平面0包含图像像素的最低位，位平面7包含像素的最高位。
其实简单地说，也就是，图像的每一个像素值是八位，位平面0就是由原图像只保留所有像素值的最低位，其他位都置为0得到的图像；同理，位平面7也就是将原图像所有像素值只保留最高位，其他位都置为0得到的图像。
-
通过对特定位提高亮度，改善图像质量
-
较高位（如前4位）包含大多数视觉重要数据
-
较低位（如后4位）对图像中的微小细节有作用
-
分解为位平面，可以分析每一位在图像中的相对重要性
1.2 代数运算
图像的代数运算通常是指两幅图像，或者多幅图像通过加、减、乘、除代数运算以得到输出图像的方法。
如果记输入图像h(x,y),g(x,y),输出图像为f(x,y)。则具体的图像代数运算形式为：
-
加法运算 主要用于1.去除叠加性的随机噪声，2.实现图像的叠加效果
去除叠加性噪声
对于原图像f(x,y),有一个噪声图像集
{ gi(x,y) } i =1,2,...N（下标）
其中：gi(x,y) = f(x,y) + h(x,y)i
假设噪声h(x,y)均值为0，且互不相关N个图像的均值定义为：
g(x,y) = 1/N(g0(x,y)+g1(x,y)+…+ gN(x,y))
期望值E(g(x,y)) = f(x,y)
上述图像均值将降低噪声的影响
生成图像叠加效果
对于两个图像f(x,y)和h(x,y)的均值有： g(x,y) = 1/2f(x,y) + 1/2h(x,y)
推广这个公式为：
g(x,y) = αf(x,y) + βh(x,y) 其中α+β= 1
可以得到各种图像合成的效果，也可以用于两张图片的衔接
-
减法运算
主要用于
1.差影法监测物体运动变化（入侵检测：同一个画面前后的变换）
2.混合图像的分离
3.计算图像梯度
-
乘法运算 主要用于掩膜mask
-
除法运算 主要用于1.设备的校正，2.图像差异的比较
除:一幅图像取反和另一幅图像相乘
1.3 逻辑运算
-
与
主要应用举例
求两个子图像的相交子图，提取感兴趣的部分
-
或
主要应用举例
合并子图像
-
非
灰度图像：
二值图像
主要应用举例
获得一个阴图像/获得一个子图像的补图像
获得一个阴图像
获得一个子图像的补图像
-
异或
异或运算的定义
主要应用举例
获得相交子图像
2.直方图运算
2.1 直方图定义
图像直方图：反映图像强度分布的总体概念，宽泛的来说直方图给出了图像对比度、亮度和强度分布信息。 注：强度就是一幅图像的像素取值，比如[0,255]
（简单来讲，直方图就是横坐标表示像素值，纵坐标表示各个像素值的个数的图。）
一个灰度级在范围[0，L-1]的数字图像的直方图是一个离散函数。
另一个解释：归一化的直方图
此定义公式与前面定义的公式的区别是：
Ⅰ.使函数值正则化到[0,1]区间，成为实数函数
Ⅱ.函数值的范围与像素的总数无关
Ⅲ.给出灰度级在图像中出现的概率密度统计
2.2 直方图均衡化
2.2.1 概述
若一幅图像的像素倾向于占据整个可能的灰度级并且分布均匀，则该图像有较高的对比度并且图像展示效果会相对好，于是便引出图像直方图均衡化，对图像会有很强的增强效果。
-
暗图像直方图的分布都集中在灰度级的低(暗)端；
-
亮图像直方图的分布集中在灰度级的高端；
-
低对比度图像具有较窄的直方图，且都集中在灰度级的中部
-
高对比度图像直方图的分量覆盖了很宽的灰度范围，且像素分布也相对均匀，图片的效果也相对很不错。
2.2.2 应用举例
-
希望一幅图像的像素占有全部可能的灰度级且分布均匀，能够具有高对比度
-
使用的方法是灰度级变换：s = T(r)
-
基本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果
s=T(r) 0≤r≤1
T(r)满足下列两个条件：
（1）T(r)在区间0≤r≤1中为单值且单调递增
（2）当0≤r≤1时,0≤T(r) ≤1
条件（1）保证原图各灰度级在变换后仍保持次序
条件（2）保证变换前后灰度值动态范围的一致性
2.2.3 直方图均衡化原理与计算
均衡化的目的是将原始图像的直方图变为均衡分布的的形式，将一非均匀灰度概率密度分布图像，通过寻求某种灰度变换，变成一幅具有均匀概率密度分布的目的图像。
1.连续型
假定：r代表灰度级，P(r)为概率密度函数。
r值已经过归一化处理，灰度值范围在[0,1]之间。r与P(r)之间的关系如下：
均衡化的目的是将上面的非均匀分布变成如下图所示的均匀分布：
我们接下来要做的是要找到一种变换S=T(r)使直方图变平直，为使变换后的灰度仍保持从黑到白的单一变化顺序，且变换范围与原先一致，以避免整体变亮或变暗，需要有如下规定：
（1）在0 <= r <= 1中，T(r)是单调递增函数，且0 <= T(r) <= 1；
（2）反变换r=T(s)，T(s)也为单调递增函数，且0 <= s <= 1。
因为灰度变换不影响像素的位置分布，而且也不会增减像素数目，所以有如下的推导公式：
2.离散型
计算的基本步骤如下：
（1）求出图像中所包含的灰度级Rk,一般Rk都经过归一化处理，范围在[0,1]之间，也可以定在[0,L-1]之间。
（2）统计各灰度级的像素数目（k=0,1,2,...,L-1）。
（3）计算图像直方图。
（4）计算变换函数，即：
（5）用变换函数计算映射后输出的灰度级。
（6）统计映射后新的灰度级的像素数目。
（7）计算输出图像的直方图。
2.2.4 例题
EG：
均衡化后的直方图比较：
3.空间滤波器
空间滤波定义
使用空间模板进行的图像处理，被称为空间滤波。
空间滤波器的定义
模板本身被称为空间滤波器
3.1 公式理论
空间滤波的过程也就是不断用一个filter（一般为3X3）在图像上与同样大小的局部patch作用，作用结果更新在中心点上，所以需要m,n为奇数。
空间滤波的简化形式：
3.2 平滑滤波器
作用：
模糊处理:去除图像中一些不重要的细节
减小噪声
3.2.1 线性滤波器
包含在滤波器邻域内像素的平均值，也称为均值滤波器
作用
-
减小图像灰度的“尖锐”变化，减小噪声
-
由于图像边缘是由图像灰度尖锐变化引起的，所以也存在边缘模糊的问题
均值滤波器（左）和高斯滤波器（右）示例：
左图是标准的像素平均值
右图是像素的加权平均，表明一些像素更为重要
3.2.2 统计排序滤波器（非线性滤波器）
非线性滤波器--------基于滤波器所在图像区域中像素的排序，由排序结果决定的值代替中心像素的值
分类
-
中值滤波器： 用像素领域内的中间值代替该像素
-
最大值滤波器：用像素领域内的最大值代替该像素
-
最小值滤波器：用像素领域内的最小值代替该像素
前两个比较常用
中值滤波器
主要用途：去除噪声
计算公式：R = mid {zk | k = 1,2,…,n}
最大值滤波器
主要用途：寻找最亮点
计算公式：R = max {zk | k = 1,2,…,n}
最小值滤波器
主要用途：寻找最暗点
计算公式：R = min {zk | k = 1,2,…,n}
中值滤波器
从上式很容易看出中值滤波就是在输入图像的patch上用中值代替该点。中值滤波器适用于突变的噪声点（强迫突出的亮点（暗点）更象它周围的值， 以消除孤立的亮点（暗点）），尤其是impluse noise和pepper noise。
3.3 锐化滤波器
锐化就是突出边缘信息，而边缘会有像素点上的突变，所以可以用导数来检测边缘。恢复过度钝化、曝光不足的图像，细节增强等等。
均值产生锐化——均值与积分相似—取反面—锐化滤波器？微分滤波器！
前提知识
设图像为
用一阶差分近似一阶导数：
同理可以得到二阶差分:
-
一阶微分滤波器－梯度算子 （梯度锐化）
梯度通过一个二维列向量来定义
由此可以得到的有Roberts交叉梯度算子、Prewitt梯度算子、Sobel梯度算子
相关例题：
这里面不是边缘真变成0，而是实际上模板算不到这些边缘部分，一般不处理或者说取0
当然这种求均方根的运算，我们通常直接对他近似转换：
那么实际上我们运算的时候可以变成：以47为例
|3+2*7+10-1-2*5-15|+|15+2*14+10-1-2*1-3|=48
以老师ppt为准
同理如上
-
二阶微分滤波器－拉普拉斯算子
即二维空间中，需要对x,y求偏导
那么基本上的方法公式如下：得到锐化图像g(x,y)公式：
注意注意：
具体请看：https://blog.csdn.net/weixin_42183170/article/details/88751409
第三章 彩色图像处理
描述彩色光的3个基本量：
辐射率：从光源流出能量的总量，用瓦特(W) 度量
光强：观察者从光源接收的能量总和
亮度：主观描绘子
三原色
红色（Red）、绿色（Green）、蓝色（Blue）
原色相加可产生二次色
深红色：红＋蓝
青色：绿＋蓝
黄色：红＋绿
1. 彩色空间
-
RGB
该模型中，每种颜色出现在红（R），绿（G），蓝（B）的原色光谱分量中。RGB彩色模型中表示的图像由三个分量图像组成，每种原色一幅分量图像。送入RGB监视器时，这三幅图像在屏幕上混合生成一幅合成彩色图像。是图像成像、显示、打印等设备的基础。
-
CMY和CMYK
CMY(青、深红、黄)、CMYK (青、深红、 黄、黑）
运用在大多数在纸上沉积彩色颜料的设备， 如彩色打印机和复印机
CMYK-------打印中的主要颜色是黑色，等量的CMY原色产生黑色，但不纯
在CMY基础上，加入黑色，形成CMYK彩色空间
-
HSI
色调H(Hue):与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等。H的值对应指向该点的矢量与R轴的夹角。
饱和度S(Saturation)：表示颜色的纯度，纯光谱色是完全饱和的，加入白光会稀释饱和度。饱和度越大，颜色看起来就会越鲜艳，反之亦然。三角形中心的饱和度最小，越靠外饱和度越大。
亮度I(Intensity)：对应成像亮度和图像灰度，是颜色的明亮程度。模型中间截面向上变白（亮）；向下变黑（暗）
HSI模型的建立基于两个重要的事实：
① I分量与图像的彩色信息无关；
② H和S分量与人感受颜色的方式是紧密相联的。
这些特点使得HSI模型非常适合彩色特性检测与分析。
-
YIQ
YIQ，是NTSC（National Television Standards Committee）电视系统标准。Y是提供黑白电视及彩色电视的亮度信号（Luminance），即亮度（Brightness），I代表In-phase，色彩从橙色到青色，Q代表Quadrature-phase，色彩从紫色到黄绿色。
-
YUV
Y指亮度,与YIQ的Y相同，U和V也指色调，不同于YIQ的I和Q。用于彩色电视广播，被欧洲的电视系 统所采用（属于PAL系统）
Y分量也可提供黑白电视机的所有影像信息
-
YCbCr
Y指亮度,与YIQ和YUV的Y相同，Cb和Cr由U和V调整得到
JPEG采用的彩色空间
2. 色彩空间之间的转换
(1)RGB空间转换CMY空间
RGB和CMY值都归一化到[0,1]
(2)RGB空间转换HSI空间
(3)HSI空间转换RGB空间
(4)RGB空间相互转换YIQ空间
(5)RGB空间相互转换YUV空间
(6)RGB空间相互转换YCbCr空间
3. 伪彩色处理
伪彩色(也称为假彩色)图像处理是指基于一种指定的规则对灰度值赋以颜色的处理。伪彩色的主要应用是人目视观察和解释单幅图像或序列图像中的灰度级事件。
人类难以分辨多个灰度级，区分：伪彩色图像、真彩色图像、单色图像。
区分：
灰度分层
将一幅图像描述为三维函数，则分层方法可以看作是放置一些平行于该图像的坐标平面的平面，然后，每个平面在相交的区域中切割图像函数。
灰度级分层可以突出图像中特定的灰度级区间，可以对灰度级进行分层处理。
灰度级分层有两种常用方案：一种方案是二值处理，将感兴趣的灰度级区间设为较大的灰度值，其它区间设为较小的灰度值；另一种方案是窗口处理，将感兴趣的灰度级区间设为较大的灰度值，其它区间不变。
灰度到彩色的变换
这一方法的基本概念是对任何输人像素的灰度执行3个独立的变换。然后，将3个变换结果分别送入彩色电视监视器的红、绿、蓝通道。这种方法产生一幅合成图像，该合成图像的彩色内容由变换函数的特性调制。
4.全彩色图像处理
全彩色图像处理方法分为两大类： 第一类是分别处理每一幅分量图像，然后由分别处理过的分量图像来形成一幅处理过的合成彩色图像。 第二类是直接处理彩色像素。因为全彩色图像至少有3个分量，所以彩色像素实际上是向量。
5.彩色变换
彩色变换
主要涉及在单一彩色模型内处理彩色图像的分量，而不是这些分量在不同模型之间的转换。
彩色变换公式：g(x,y)=T[f(x,y)]，
其中f(x,y)是彩色输入图像，g(x,y)是变换后或处理过的彩色输出图像，T是在(x,y)的空间领域上对f的一个算子。
补色
彩色环中，与色调直接相对的另一端被称为补色，补色对于增强嵌在彩色图像暗区的细节很有用。
6.彩色图像平滑和尖锐化
-
彩色图像平滑 也称 模糊处理” ，使用频率很高的图像处理方法。平滑处理的用途有很多，最常见的是用来减少图像上的噪点或者失真。在涉及到降低图像分辨率时，平滑处理是非常好用的方法。
-
彩色图像锐化 图像锐化是和平滑相反的操作，目的是为了使模糊的图像变得清晰。RGB彩色空间，分别计算每一分量图像的拉普拉斯变换。
-
彩色分割（把一幅图像分成区域）
第四章 傅立叶变换
1.前提知识
1.1 为什么使用？
为什么要在频率域研究图像增强
-
可以利用频率成分和图像外表之间的对应关系。一些在空间域表述困难的增强任务，在频率域中变得非常普通
-
滤波在频率域更为直观，它可以解释空间域滤波的某些性质
-
可以在频率域指定滤波器，做反变换，然后在空间域使用结果滤波器作为空间域滤波器的指导
-
一旦通过频率域试验选择了空间滤波，通常实施都在空间域进行
-
傅里叶级数的本质是将一个周期的信号分解成无限多分开的（离散的）正弦波
eg：
假设我们有曲线sin(3x)+sin(5x)图像，但我们不知道表达式，现在需要把sin(5x)的部分过滤掉，保留剩下的部分在频域则很简单。
1.2 相关辅助知识
1.频域
频域是描述信号在频率方面特性时用到的一种坐标系，指频率域；
频域：横轴是频率, 纵轴是该频率信号的幅度,也就是通常说的频谱图。
2.时域
在时域图中，横轴是时间，纵轴是振幅，图1是正弦波的时域图，示出了振幅与时间的关系。
时域图显示振幅随时间的变化，可以看出峰值振幅为5V，可以算出频率f=6 Hz。
3.相位
基础的正弦波A*sin(wt+θ)中，振幅，频率，相位缺一不可，不同相位决定了波的位置
4.补充
傅里叶级数，在时域是一个周期且连续的函数，而在频域是一个非周期离散的函数。
傅里叶变换，则是将一个时域非周期的连续信号，转换为一个在频域非周期的连续信号
5.欧拉公式
-
虚数的作用
乘一次 i，旋转了90度，获得了一个虚数轴，与实数轴共同构成复平面
-
欧拉公式
该公式将正弦波统一成了简单的指数形式
当x等于Π的时候，有
欧拉公式所描绘的，是一个随着时间变化，在复平面上做圆周运动的点，随着时间的改变，在时间轴上就成了一条螺旋线。如果只看它的实数部分，也就是螺旋线在左侧的投影，就是一个最基础的余弦函数。而右侧的投影则是一个正弦函数。
2.傅里叶变换及其反变换
后面的F都代表傅里叶变换
作用：
-
傅里叶变换将信号分成不同频率成份。类似光学中的分色棱镜把白光按波长(频率)分成不同颜色，称数学棱镜。
-
傅里叶变换的成份：直流分量和交流分量
-
信号变化的快慢与频率域的频率有关。噪声、边缘、跳跃部分代表图像的高频分量；背景区域和慢变部分代表图像的低频分量
2.1 一维FT及其反变换
傅里叶变换中出现的变量u和v通常称为频率变量。对图像信号而言，空间频率是指单位长度内亮度作周期性变化的次数。
连续函数f(x)的傅立叶变换F(u):
傅立叶变换F(u)的反变换:
2.2 一维DFT及其反变换
计算F(u)：
在指数项中代入
1）u=0，然后将所有x 值相加，得到F(0)；
2) u=1，对所有x 的相加，得到F(1)；
3) 对所有M 个u 重复此过程，得到全部完整的FT
离散函数f(x)(其中x，u=0,1,2,…,N-1)的傅立叶变换:
F(u)的反变换的反变换:
2.3 二维DFT傅里叶变换
一个图像尺寸为M×N的函数f(x,y)的离散傅立叶变换F(u,v):
F(u,v)的反变换:
其中，(u,v)=(0,0)位置的傅里叶变换值为
即f(x,y) 的均值，原点(0,0) 的傅里叶变换是图像的平均灰度。F(0,0) 称为频率谱的直流分量(系数)，
其它F(u,v) 值称为交流分量(交流系数)
例题
对每个点求傅里叶变换的值，所以要注意取平均，最后下面的F（u）才是完整的FT
3.幅度谱和相位谱
公式：
幅度谱又叫频率谱，在图像增强中主要关心的对象。
频域下每一点（u，v）的幅度，|F (u，v) |可用来表示该频率的波在叠加中所占的比例。直接反映频率信息，频率滤波的主要信息
4.傅里叶变换的性质
主要指二维的
以⇔表示函数和其傅里叶变换的对应性、DFT表示傅里叶变换、IDFT表示反傅里叶变换
1.线性性质
证明
加法分配律
2.平移性
（1）频域移位证明
（2）空域移位
在数字图像处理中，常常需要将F(u,v)的原点移到N*N频域的中心，以便能清楚地分析傅里叶谱的情况，平移前空域、频域原点均在左上方。要做到这点，只需令上面平移公式中的：u0=v0=N/2；
上式表明：如果需要将图像傅里叶谱的原点从左上角(0,0)移到中心点(N/2,N/2),只要f(x,y)乘上
因子进行傅里叶变换即可实现。
3.周期性和共轭对称性
周期性：由傅里叶变换的基本性质可以知道，离散信号的频谱具有周期性。离散傅里叶变换DFT和它的反变换都以傅里叶变换的点数N为周期的。
二维傅里叶变换（2D Fourier Transform）的周期性是指变换结果的频谱是周期性的。对于一个尺寸为 M×N 的图像 f(x,y)，其二维离散傅里叶变换（DFT）的周期性可以表示为：
其中 m 和 n 是任意整数。这意味着变换后的频谱会在 u 和 v 方向上以 M 和 N 为周期进行重复。这种周期性是由离散傅里叶变换的定义所决定的，它要求图像在两个方向上都是周期延拓的。
共轭对称性
对于二维来说
其中
表示复共轭。
这意味着频谱关于原点（0,0）是对称的。在频谱的显示中，通常只需要显示第一象限的数据，其余象限可以通过对称性得到。
从图中可以看出在0频率的值最大，即信号f(x)的直流分量(均值)，远离原点处的即为高频成份，高频成份的幅值较小，说明信号的大部分能量集中在低频部分。
对于二维图像的共轭对称：
4.旋转不变性
如果 f(x,y)旋转了一个角度，那么 f(x,y)旋转后的图像的傅立叶变换也旋转了相同的角度。平面直角坐标改写成极坐标形式：
替换则有：
如果f(x,y)被旋转W,则F(u,v)被旋转同一角度。即有傅里叶变换对：
5.卷积定理
卷积定理包括空间域卷积和频率域卷积，卷积是空间域滤波和频率域滤波之间的纽带：两个空域信号的卷积等价于其频域信号的乘积（*表示的是卷积）
（1）连续卷积
例题：
（2）离散卷积
空间域卷积和频率域卷积
注意：利用FFT计算卷积时，为防止频谱混叠误差，需对离散的二维函数补零，即周期延拓，对两个函数同时添加零，使它们具有相同的周期。
6.快速傅里叶变换（FFT）
1.原理
只考虑一维的情况，根据傅里叶变换的分离性可知，二维傅里叶变换可由连续2次一维傅里叶变换得到
2.需求原因
能使计算机计算离散傅里叶变换所需要的乘法次数大为减少，特别是被变换的抽样点数N越多，FFT算法计算量的节省就越显著
3.公式
FFT算法基于一个叫做逐次加倍的方法。通过推导将原始傅里叶转换成两个递推公式：
（这里面要注意一点的是Feven、Fodd分别是奇和偶，M其实是2^p，但是p为正整数然后可以表示为2K）
-
对u的M个值中的每一个都需进行M次复数乘法(将f(x)与 e− j2πux / M 相乘)和M-1次加法，即复数乘法和加法的次数都正比于M2
-
快速傅里叶变换(FFT)则只需要Mlog2M次运算（2是基数h）
-
FFT算法与原始变换算法的计算量之比是log2M/M，如M=1024≈103,则原始变换算法需要106次计算，而FFT需 要104次计算，FFT与原始变换算法之比是1：100
-
只考虑一维的情况，根据傅里叶变换的分离性可知，二维傅里叶变换可由连续2次一维傅里叶变换得到
具体一些举例和参考可以看https://blog.csdn.net/qq_33208851/article/details/94834614
第五章 频率域图像增强
1.频率域滤波
回忆一下：傅里叶变换的结果，与图像中的强度变化模式具有一定的联系。 例如，变化最慢的频率成分(u=v=0)对应一幅图像的平均灰度级
反映的是对图像每个像素点的灰度级求和然后除以MN，得到平均灰度级。低频对应着图像的总体灰度级的显示，高频对应图像中变化快的分量（图像的细节）。
频率域滤波的步骤：
用(-1)^(x+y)乘以输入图像来进行中心变换
由(1)计算图像的DFT，得到F(u，v)
用滤波器函数H(u, v)乘以F(u, v)
计算(3)中结果的反DFT
得到(4)中结果的实部(比如x = a+bi，那么就取a)
用(-1)^(x+y)乘以(5)中的结果
注：在(3)中并不是矩阵和矩阵的相乘，而是点和点的相乘（H和F的相乘在逐元素的基础上定义，即H的 第一个元素乘以F的第一个元素，H的第二个元素乘以F的第二个元素）。最后一步中的(-1)^(x+y)用以抵消(1)中的操作（带公式的版本）
思想：通过滤波器函数以某种方式来修改图像变换，然后通过取结果的反变换来获得处理后的输出图像
基本的滤波器：
-
低通（平滑）滤波器：使低频通过而使高频衰减的滤波器
作用：被低通滤波的图像比原始图像少尖锐的细节部分而突出平滑过渡部分
举例：对比空间域滤波的平滑处理，如均值滤波器
-
高通（锐化）滤波器：使高频通过而使低频衰减的滤波器
作用：被高通滤波的图像比原始图像少灰度级的平滑过渡而突出边缘等细节部分
举例：对比空间域的梯度算子、拉普拉斯算子
2.空间域滤波与频率域滤波之间的对应关系
空间域和频率域之间最基本的联系是由卷积定理的有关结论建立的。
在空间域中将滤波的模板在图像中逐像素移动，并对每个像素进行指定数量的计算的过程就是卷积过程。形式上，大小为M*N的两个函数f(x, y)和h(x, y)的离散卷积表示和定义如下：
我们如果从卷积定理来看
同时对于滤波器来说：
空间域和频率域中的滤波器组成了傅里叶变换对。
因此，给出在频率域的滤波器，可以通过将前者进行反傅里叶变换而得到在空间域相应的滤波器，反之亦然。
指定的频率域滤波器和空间域滤波器具有相同的尺寸。如果两个滤波器具有相同尺寸，通常在频率域进行滤波计算更为有效。而空间域更适合用于更小的滤波器。
滤波在频域中更为直观，但在空间域使用更小的滤波器模板更为明智。
可以在频率域指定滤波器，做反变换，然后在空间域使用结果滤波器作为在空间域构建更小的滤波器模板的指导。
3.基于高斯函数的滤波具有特殊重要性
-
高斯频率域低通滤波器函数
-
对应空间域高斯低通滤波器为
-
高斯频率域高通滤波器函数
-
对应空间域高斯高通滤波器为
（1）两函数组成傅里叶变换对，成分均为实高斯函数，非常有助于分析
（2）两个函数相互作用：
① 当 H(u) 有很宽的轮廓时（大的 σ 值），h(x) 有很窄的轮廓，反之亦然。
② 当 σ 接近无穷大时，H(u) 趋于常量函数，h(x) 趋于冲激函数。
对于低通滤波器来说：
两个低通滤波器的相似之处在于两个域中的值均为正。所以，在空间域使用带正系数的模板可以实现低通滤波
频率域低通滤波器越窄，滤除的低频成分就越多，使得图像就越模糊；在空间域，这意味着低通滤波器就越宽，模板就越大
4.频率域平滑滤波器
边缘和噪声等尖锐变化处于傅里叶变换的高频部分，平滑可以通过衰减高频成分的范围来实现
-
理想低通滤波器（尖锐）
截断傅里叶变换中的所有高频成分，这些高频成分处于指定距离D0之外，公式如下：
其中：
（表示为：从点 (u,v)到中心（原点）的距离）
频率矩形的中心在 (u,v) = (M/2,N/2)
在半径为 D(0) 的圆内，所有频率没有衰减的通过滤波器，而在此半径的圆之外的所有频率被完全衰减掉。
对于不同的低通滤波器，通过研究其在具有相同的截止频率时所表现的不同特性来进行比较。
建立一组标准截止频率位置的方法是计算包含图像总功率值 P(T) 特定量的圆环。图像总功率
具有的现象：
-
巴特沃思低通滤波器
n 级巴特沃斯低通滤波器（BLPF）的传递函数为：
（D0为截至频率距原点的距离，D(u,v)是点(u,v)距原点的距离）
与 ILBF （理想低通滤波器）相比，BLPF 变换函数在通带与被滤除的频率之间没有明显的截断。截断频率的位置位于 H(u,v)=0.5 的点。(最大值是1，当 D(u,v)=0)
可用于平滑处理，如图像由于量化不足产生虚假轮廓时，常可用低通滤波进行平滑以改进图像质量。通常，BLPF的平滑效果好于ILPF（振铃现象）。
如果需要严格控制低频和高频之间截至频率的过渡，选用BLPF，代价是可能产生振铃
-
高斯低通滤波器(GLPF)
高斯低通滤波器的二维形式：
D(u,v) 是距傅里叶变换原点的距离，σ 表示高斯曲线的扩散程度。
若使 σ = D(0)，则可表示为：
其中，D(0) 是截止频率，当 D(u,v) = D(0) 时，滤波器下降到它最大值的 0.607 处。
高斯曲线的傅里叶反变换也是高斯曲线，因此根据高斯低通滤波器的傅里叶反变换而得到的空间高斯滤波器将没有振铃。
-
应用实例
字符识别：通过模糊图像，桥接断裂字符的裂缝
印刷和出版业：从一幅尖锐的原始图像产生平滑、柔和的外观，如人脸，减少皮肤细纹的锐化程度和小斑点
处理卫星和航空图像：尽可能模糊细节，而保留大的可识别特征。低通滤波通过消除不重要的特征来简化感兴趣特征的分析
5.频率域锐化滤波器
-
理想高通滤波器(IHPF)
二维理想高通滤波器定义如下：
其中 D(0) 是指定的,非负数值频率矩形的中心在(u,v)=(M/2,N/2)，从点 (u,v)到中心（原点）的距离如下
这个滤波器与理想低通滤波器是相对的，它将以 D(0) 为半径的圆周内的所有频率置零，而毫不衰减的通过圆周外的任何频率。
IHPF 具有振铃性质。振铃：微小物体和线条呈白色。
-
巴特沃思高通滤波器(BHPF)
n 阶且截止频率距原点的距离为 D(0) 的巴特沃斯型高通滤波器（BHPF）的传递函数如下：
其中 D(0) 是指定的非负数值，
巴特沃斯型高通滤波器比理想高通滤波器更平滑，截至频值越高，越平滑。
-
高斯高通滤波器（GHPF）
截止频率距原点的距离为 D(0) 的高斯高通滤波器（GHPF）的传递函数如下：
GHPF的结果比BHBF和IHPF的结果更平滑
-
频率域的拉普拉斯算子
（老师ppt里面的对于算子的表示我和这个不一样，看大家习惯了）
一维傅里叶变换后的拉普拉斯算子：
二维傅里叶变换后的拉普拉斯算子：
即：
因此，频率域的拉普拉斯算子可以由如下滤波器实现：
由于 F(u,v) 的原点在进行变换前已由执行运算 f(x,y)(-1)(x+y) 中心化了，如果 f（和 F）是 MXN 大小，则将原点一点到频率矩形中的（M/2,N/2），因此滤波函数中心也需要被平移为：
空间域拉普拉斯算子过滤后的图像可由计算 H(u,v)F(u,v) 的反傅里叶变换得到：
对空间域拉普拉斯算子的计算结果进行傅里叶变换，等价于 F(u,v) 与 H(u,v) 相乘。
从原始图像中减去拉普拉斯算子部分，形成g(x,y)的增强图像
-
钝化模板、高频提升滤波和高频加强滤波
高频滤波后的图像，其背景平均强度减小到接近黑色（因为高通滤波器滤除了傅里叶变换的零频率成分: F(0,0)=f(x,y)=0），因此需要高频提升和加强，把原始图像加到过滤后的结果，如拉普拉斯算子增强，这种处理称为高频提升过滤
钝化模板
钝化模板(锐化或高通图像)简单地由从一幅图像减去自身模糊图像而生成的锐化图像构成。采用频域技术，这意味着从图像自身减去低通滤波后的图像而得到高通滤波的图像。
高频提升过滤通过将 f(x,y) 乘以一个大于 1 的常数 A 产生：
可改写成：
可以有定义：
补充：利用图像的高频成分强调增强的作用
在高通滤波器前简单地乘以一个常数，再增加一个偏移以便使零频率不被滤波器除掉。高频增强
a ≥ 0 且 b > a，a 的典型值在 0.25 到 0.5 之间，b 的典型值在 1.5 到 2.0 之间。当 a = (A-1) 且 b = 1 时高频加强转化为高频提升滤波。当 b > 1 时，高频得以加强。（a就是高频增强滤波，b就是高频提升滤波）
第六章 图像修复
1.图像退化/复原过程的模型
在成像过程中，由于成像系统各种因素的影响，可能使获得的图像不是真实景物的完善影像。图像在形成、传播和保存过程中使图像质量下降的过程，称为图像退化。
图像复原就是重建退化的图像，使其最大限度恢复景物原貌的处理。
引起图像退化的因素包括成像系统的散焦、成像设备与物体的相对运动、成像器材的固有缺陷、外部干扰等
图像复原可以看作图像退化的逆过程，是将图像退化的过程加以估计，建立退化的数学模型后，补偿退化过程造成的失真
图像复原的理论模型
2.噪声模型
数字图像的噪声主要来源于图像的获取和传输过程
图像获取的数字化过程，如图像传感器的质量和环境条件，图像传输过程中传输信道的噪声干扰，如通过无线网络传输的图像会受到光或其它大气因素的干扰。
种类：
-
高斯噪声
-
瑞利噪声
-
伽马（爱尔兰）噪声
-
指数分布噪声
-
均匀分布噪声
-
脉冲噪声（椒盐噪声）
高斯噪声
瑞利噪声
伽马（爱尔兰）噪声
指数分布噪声
均匀分布噪声
脉冲噪声（椒盐噪声）
脉冲噪声可以为正，也可为负
标定以后，脉冲噪声总是数字化为最大值（纯黑或纯白）通常，负脉冲以黑点（胡椒点）出现，正脉冲以白点（盐点）出现
上述噪声图像的直方图和它们的概率密度函数曲线对应相似，具体的噪声在直方图的体现很明显
应用
-
高斯噪声源于电子电路噪声和由低照明度或高温带来的传感器噪声
-
瑞利噪声对于表征远距离成像噪声有用
-
伽马分布和指数分布用于表征激光成像噪声
-
脉冲噪声用于成像中的短暂停留中，如错误的开关操作
3.空间域滤波复原（唯一退化是噪声）
（1）均值滤波器
对待处理的像素给定一个模板，该模板包括了其周围的邻近像素。用模板中的全体像素的均值来替代原来的像素值的方法就是均值滤波。它主要包括算术均值滤波、几何均值滤波、谐波均值滤波以及逆谐波均值滤波。算术均值滤波器和几何均值滤波器适合于处理高斯或均匀等随机噪声，谐波均值滤波器适合于处理脉冲噪声
缺点：必须事先知道噪声是暗噪声还是亮噪声，以便于选择合适的Q符号
-
算术均值滤波
-
几何均值滤波器
-
谐波均值滤波器
-
逆谐波均值滤波器
（2）统计排序滤波器
统计排序滤波器最常见的例子是中值滤波器，可以有效消除椒盐噪声。除此之外还有最大值最小值滤波器、中点滤波器等。
-
中值滤波器
-
最大值滤波器
-
最小值滤波器
-
中点滤波器
-
修正后的阿尔法均值滤波器
（3）自适应局部噪声消除滤波器
以上所提到的滤波器均机械地对图像中的所有像素点执行相同的操作，这样，在滤除噪声的同时，也为原有图像带来了模糊和失真。自适应滤波器优于目前所讨论的所有滤波器的性能。前述滤波器相比，性能更优，但也增加了算法复杂性，（由m×n矩形窗口）
(4)自适应中值滤波器
主要目的
-
除去“椒盐”噪声（冲激噪声）
-
平滑其它非冲激噪声
-
减少物体边界细化或粗化等失真
4.频率域滤波复原
带阻滤波器
带阻滤波器：阻止一定频率范围内的信号通过而允许其它频率范围内的信号通过，消除或衰减傅里叶变换原点处的频段
-
理想带阻滤波器
-
n阶巴特沃思带阻滤波器
-
高斯带阻滤波器
带通滤波器
陷波滤波器（削减周期性噪声）
阻止或通过事先定义的中心频率邻域内的频率。
由于傅里叶变换是对称的，陷波滤波器必须以关于原点对称的形式出现，如果陷波滤波器位于原点处，则以它本身形式出现
-
理想陷波带阻滤波器
-
巴特沃思陷波带阻滤波器
-
高斯陷波带阻滤波器
陷波带通滤波器
第七章 图像压缩
1.概述
为什么需要：图像的数据量通常很大，对存储、处理和传 输带来许多问题-------需要图像压缩
如何实现：消除冗余数据，从数学角度看，将原始图像转化为从统计角度看尽可能不相关的数据集
类别：
-
无损压缩：在压缩和解压缩过程中没有信息损失
-
有损压缩：能取得较高的压缩率，但压缩后不能通过解压缩恢复原状
-
其它：如根据需要，既可进行无损，也可进行有损压缩的技术；准无损技术
2.数据冗余
1.概念
数据是用来表示信息的。如果不同的方法为表示给定量的信息使用了不同的数据量，那么使用较多数据量的方法中，有些数据必然是代表了无用的信息，或者是重复地表示了其它数据已表示的信息，这就是数据冗余的概念。
相对数据冗余
如果n1和n2代表两个表示相同信息的数据集合中所携载信息单元的数量，则n1表示的数据集合的相对数据冗余RD定义为：
CR称为压缩率，定义为：
2.种类
处理下列三种冗余的一种或多种就可以压缩。
-
编码冗余
概念：如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余
实现：通过直方图处理进行图像增强的技术。我们将利用类似的表示方法介绍最佳信息编码。我们已知图像直方图的定义：
对M×N的图像进行编码所需的比特数为MNL avg
例题：
在此例中，如果使用8比特定长编码表示4种可能的灰度，则编码的平均比特数是8比特，数据冗余是77.4%，采用变长编码时，平均比特数是1.81比特，压缩率减少，数据冗余变大。
当用自然二进码表示一幅图像的灰度时，编码冗余几乎总是存在，当对事件集合（例如灰度值）分配码时，如果不取全部事件概率的优势，就会出现编码冗余。
-
像素间冗余
概念：反映图像中像素之间的相互关系，因为任何给定像素的值可以根据与这个像素相邻的像素进行预测，所以单个像素携带的信息相对较少，对于一幅图像，很多单个像素对视觉的贡献是冗余的。它的值可以通过与它相邻的像素值为基础进行预测
-
心理视觉冗余
概念：眼睛对所有视觉信息感受的灵敏度不同。在正常的视觉处理过程中各种信息的相对重要程度不同。那些不十分重要的信息称做心理视觉冗余。这些冗余在不会削弱图像感知质量的情况下可以消除。
心理视觉冗余来自先前讨论的冗余的基本差异。与编码冗余和像素间冗余不同，心理视觉冗余是与真实的或可定量的视觉信息相联系的。因为对于正常的视觉处理过程，信息本身不是本质，所以消除心理视觉冗余是可能的。消除心理视觉冗余数据会导致一定量信息的丢失，通常是在称为“量化”的过程，心理视觉冗余压缩是不可恢复的，量化的结果导致了数据有损压缩。使用这个过程，可以大大改善图像的表现效果。有些信息在通常的视觉过程中与另外一些信息相比并不那么重要，去除这些信息并不会明显降低图像质量
-
保真度准则
概念：需要评价信息损失的程度以描述解码图像相对于原始图像的偏离程度，这些测度称为保真度准则
种类：客观保真度准则、主观保真度准则
3.图像压缩模型
补充内容：
1.信道是连接信源和用户的物理媒介。
2.信源——》信道——》信宿
3.汉明(Hamming)编码：在编了码的码字后面增加足够的比特位以保证各个正确的码字之间至少有一定数量的比特位不相同
4.信源
1.信源编码器
信源编码器：减少或消除输入图像中的编码冗余、像素间冗余及心理视觉冗余
-
转换器：减少像素间冗余
-
量化器：减少心理视觉冗余，该步操作是不可逆的
-
符号编码器：减少编码冗余
并不是每个图像压缩系统都必须包含这3种操作，如进行无误差压缩时，必须去掉量化器
2.信源解码器
信源解码器：解码器执行解压缩操作
-
符号解码器：进行符号编码的逆操作
-
反向转换器：进行转换器的逆操作
因为量化过程导致了不可逆的信息损失，反向量化器模块不包含在通常的信源解码器模型中。
4.图像压缩方法
1.变长编码
减少编码冗余
变长编码，即把最短的码字赋予出现概率最大的灰度级
2.霍夫曼编码
霍夫曼(Huffman)编码是可变字长编码，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，常被称作Huffman编码
——通过减少编码冗余来达到数据压缩的目的。
a) 基本思想是统计各个符号出现的概率。
b) 建立一个概率统计表。
将最常出现(概率大的)的符号用最短的编码；最少出现的符号用最长的编码。
例题：
讲解视频
通过网盘分享的文件：讲解视频
链接: https://pan.baidu.com/s/116FUd8t-o7ucu_jzwaN9ew?pwd=p56f 提取码: p56f
同时可以查表来实现：
然而当对大量符号进行编码，构造霍夫曼编码比较复杂，因此即使霍夫曼编码仍然很好但是还是因为性能问题需要其他编码
3.算术编码
算术编码是信息保持型编码，它不像哈夫曼编码，无需为一个符号设定一个码字;
算术编码分为固定方式和自适应方式两种编码;
原理：
-
算术编码方法是将被编码的信源消息表示成0~1之间的一个间隔，即小数区间，消息越长，编码表示它的间隔就越小;
-
以小数表示间隔，表示的间隔越小所需的二进制位数就越多，码字就越长。反之，间隔越大，编码所需的二进制位数就少，码字就短。
-
算术编码将被编码的图像数据看作是由多个符号组成的字符序列，对该序列递归地进行算术运算后，成为一个二进制分数;
-
计算式
例题：（两个记得连起来看）
通过网盘分享的文件：讲解视频
链接: https://pan.baidu.com/s/116FUd8t-o7ucu_jzwaN9ew?pwd=p56f 提取码: p56f
4.LZW编码
LZW编码：消除像素间冗余
将原始数据中的重复字符串建立一个字串表，然后用该重复字串在字串表中的索引替代原始数据达到压缩的目的
每当表中没有的字符串第一次出现时，它就被原样保存，同时将分配给它的代码也保存
之后，当这个串再次出现时，只将它的代码保存，这就去掉了文件冗余信息
优点：
与字符出现频率无关，能有效利用字符出现频率冗余度进行压缩.
无附加信息，字典是自适应生成的，有较大改进空间。
缺点：
适用范围是原始数据串中有大量的子串多次重复出现。如果重复不多，反而会增加数据。
给不同的码字分配固定长度的整数，并且不考虑信息源的概率分布
5.行程编码
其中每个行程对指定一个新灰度的开始和具有该灰度的连续像素的数量。对二值很有效
6.预测编码
基本思想
-
去除像素冗余。
-
认为相邻像素的信息有冗余。当前像素值可以用先前的像素值来获得。
-
用当前像素值fn，通过预测器得到一个预测值，对当前值和预测值求差。对差编码，作为压缩数据流中的下一个元素。
5.有损压缩
牺牲图像复原的准确度以换取压缩能力的增加，如果产生的失真可以容忍，则压缩能力的增加是有效的
有损压缩方法的压缩比：
-
在图像压缩比大于30:1时，仍然能够重构图像。
-
在图像压缩比为10:1到20:1时，重构图像与原图几乎没有差别。
-
无损压缩的压缩比很少有能超过3:1的。
有损与无损压缩的根本差别在于有没有量化器模块。
1.量化器和相关
解码原理及过程
注意:上述方案的压缩编码中，预测器的输入是fn, 而解压中的预测器的输入是fn'，要使用相同的预测器，编码方案要进行修改。
修改后的有损预测编码：（这个为准确的一个）
最优预测器：
上述限制并不是必需的，但它们都极大地简化了分析，也减少了预测器的计算复杂性
基于上述条件的预测编码方法称为差值脉冲码调制法（DPCM）
总结如下：
那么对于预测器我们可以改写一下，简化为比较直观地选 择m个预测系数以最小化下式的问题：
系数和小于等于1是为了确保预测器的输出能够落到灰度级的允许范围内。
举例：
2.变换编码
-
基于图像变换的编码方法
-
用可逆的线性变换（如傅里叶变换）将图像映射成1组变换系数，然后将这些系数量化和编码
-
大多数图像变换得到的系数值都很小，这些系数可以较粗地量化，或忽略不计
-
虽然失真很小，信息仍然不能完全复原，所以还是有损压缩
变换选择
子图像尺寸选择
子图像尺寸是影响变换编码误差和计算复杂度的一个重要因素
一般满足下列2个条件
-
相邻子图像之间的相关（冗余）减少到可接受
-
子图像的长和宽都是2的整数次幂。这主要是为了简 化对子图像变换的计算
最常用的子图像尺寸是8×8和16×16
压缩标准
| G3、G4 （二值图像) |
|
| JPEG(二值图像) |
|
| H.261、H.263（电视） | |
| MPEG-1、MPEG-2、MPEG-4、MPEG-7 和MPEG-21（视频） |
补充：
I帧（Intra-picture）
不需要参考其它画面而独立进行压缩编码的画面
P帧（Predicted-picture）
参考前面已编码的I或P画面进行预测编码的画面
B帧（Bidirectional-picture）
既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面
第八章 形态学
形态学图像处理的应用可以简化图像数据， 保持它们基本的形状特性，并除去不相干的结构
形态学图像处理的基本运算有4个：膨胀、 腐蚀、开操作和闭操作
集合论补充知识
1.腐蚀
粗略的说，腐蚀可以使目标区域范围“变小”，其实质造成图像的边界收缩，可以用来消除小且无意义的目标物。
图像腐蚀的基本思想是将图像X中每一与结构元素B全等的子集S+x收缩为点x。具体就是比较S+x与结构元素B的像素，当完全相同时就保留像素点x，否则就删除该点（即将该点转换为背景色），对图像X的所有点处理完即完成了一次腐蚀过程。公式如下：
该式子表示用结构B腐蚀A，需要注意的是B中需要定义一个原点，【而B的移动的过程与卷积核移动的过程一致，同卷积核与图像有重叠之后再计算一样】当B的原点平移到图像A的像元(x,y)时，如果B在（x,y）处，完全被包含在图像A重叠的区域，(也就是B中为1的元素位置上对应的A图像值全部也为1)则将输出图像对应的像元(x,y)赋值为1，否则赋值为0。
我们看一个演示图。
B依顺序在A上移动（和卷积核在图像上移动一样，然后在B的覆盖域上进行形态学运算），当其覆盖A的区域为[1,1;1,1]或者[1,0;1,1]时，（也就是B中‘1’是覆盖区域的子集）对应输出图像的位置才会为1。
2.膨胀
图像膨胀的基本思想是对二值化图像的边界点扩充, 将X中的每一个点x扩大为B+x，将与物体接触的所有背景点合并到该物体中， 使边界向外部扩张。具体就是比较S+x与结构元素B的像素，只要有一个相同就就保留像素点x，否则处理为背景色。公式如下：
该式子表示用结构B膨胀A，将结构元素B的原点平移到图像像元(x,y)位置。如果B在图像像元(x,y)处与A的交集不为空（也就是B中为1的元素位置上对应A的图像值至少有一个为1），则输出图像对应的像元(x,y)赋值为1，否则赋值为0。
演示图为：
对图像膨胀操作可填充图像中的小孔(比结构元素小的孔洞)及图像边缘处的小凹陷部分。如果两个物体之间的距离比较近，会把两个物体连通到一起。对填补图像分割后物体中的空洞有用。
膨胀和腐蚀并不互为逆运算，可以级连结合使用。
3.开闭运算
开运算就是使用同一个结构元素先对图像进行腐蚀然后膨胀。
开运算能够去除孤立的小点，毛刺和小桥(即连通两块区域的小点)， 消除小物体、平滑较大物体的边界，同时并不明显改变其面积。不过这一恢复不是信息无损的，即它们通常不等于原始图像。
开运算的公式为：
闭运算就是使用同一个结构元素先对图像进行膨胀然后腐蚀。
闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界，同时不明显改变其面积。
闭运算的公式为：
4.边界提取
轮廓是对物体形状的有力描述，对于图像分析和识别十分有用。
集合A的边界用β(A)，可以通过先用B（结构元）对A腐蚀，然后用A减去腐蚀的结果获得。
腐蚀图像后，原图像的高亮区域会缩小一圈，然后用原图像减去腐蚀图像，就可以得到一个轮廓边界。随着结构元尺寸的增大，腐蚀后图像就会缩小的越厉害，得到的边界就会越粗。
第九章 图像分割
分割的目的：将图像划分为不同区域
三大类方法
-
根据区域间灰度不连续搜寻区域之间的边界：间断检测、边缘连接和边界检测
-
以像素性质的分布进行阈值处理：阈值处理
-
直接搜寻区域进行分割：基于区域的分割
特性可以是灰度、颜色、纹理等，目标可以对应单个区域，也可以对应多个区域
图像分割算法一般是基于亮度值的不连续性和相似性
-
不连续性是基于亮度的不连续变化分割图像，如图像的边缘
-
根据制定的准则将图像分割为相似的区域，如阈值处理、区域生长、区域分离和聚合
首先是基于区域间灰度值不连续搜寻边界的方法：
1.间断检测
-
点检测
概念：将嵌在一幅图像的恒定区域或亮度几乎不变的区域里的孤立点的检测，就是点检测。可以用点检测的模板来将孤立的点检测出来：这个模板的作用就是当模板中心是孤立点时，模板的相应最强，而在非模板中心时，相应为零。
如果一个孤立点与它周围的点不同，则可以使用上述模板进行检测。
其中，g是输出图像，T是一个非负的阈值，R是灰度值与像素值乘积之和； 该式可以简单的度量为一个像素及其8个相邻像素之间的加权差。
上图中，中间就检测到了一个点
-
线检测
第一个模板对水平线有最大响应
第二个模板对45°方向线有最大响应
第三个模板对垂直线有最大响应
第四个模板对-45°方向线有最大响应
-
边缘检测
区别“边缘”与“线”
-
边缘——图像局部区域特征不相同的那些区域间的分界线
-
线——具有很小宽度的其中间区域具有相同的图像特征的边缘对
什么是边缘检测？
图像灰度发生跳变的地方是“边缘”；
基于灰度图像像素的灰度值在空间的不连续性对图像作出的一种分割。
图像边缘的分类
1、边缘模型
（1）台阶边缘
台阶边缘是指在1个像素的距离上发生两个灰度级间理想的过渡。 如下图a为显示了一个垂直台阶边缘的一部分和通过该边缘的一个水平剖面。
（2）斜坡边缘
一个更接近灰度斜坡的剖面。 如图b所示，斜坡的斜度与边缘的模糊程度成反比，在这个模型中，不再存在一条细的（1像素宽）轨迹。相反，一个边缘点现在是斜坡中包含的任何点，而一条边缘线段是一组已连接起来的这样的点。
（3）屋顶模型
屋顶边缘是通过一个区域的线的模型，屋顶边缘的基底（宽度）由该线的宽度和尖锐度决定。在极限情况下。当其基底为1个像素宽时，屋顶边缘只不过是一条穿过图像中一个区域的一条1像素宽的线。
从左到右分别为一个台阶模型、一个斜坡模型和一个屋顶边缘模型及相应灰度的面 一阶导数的幅度可用于检测图像中的某个点处是否存在一个边缘。同样，二阶导数的符号可用于确定一个边缘像素位于该边缘的暗的一侧还是亮的一侧。
围绕一条边缘点二阶导数的两个附加性质：
（1）对图像中的每条边缘，二阶导数生成两个值（一条不希望的值）
（2）二阶导数的零交叉点可用于定位粗边缘的中心；
（3）二阶导数检测边缘相对于一阶导数更加敏感。
-
梯度算子（其实这个之前就讲过的，这边就当复习了）
Roberts交叉梯度算子
Roberts算子又称为交叉微分算法，它是基于交叉差分的梯度算法，通过局部差分计算检测边缘线条。常用来处理具有陡峭的低噪声图像，当图像边缘接近于正45度或负45度时，该算法处理效果更理想。
Roberts算子的模板分为水平方向和垂直方向，如下式所示，从其模板可以看出，Roberts算子能较好的增强正负45度的图像边缘。
Gx和Gy都是算子的梯度
Prewitt梯度算子
3x3的梯度模板
Sobel梯度算子
Prewitt和Sobel算子是计算数字梯度时最常用的算子
Prewitt模板比Sobel模板简单，但Sobel模板能够有效抑制噪声
Laplacian 算子（拉普拉斯算子）
拉普拉斯(Laplacian) 算子是n维欧几里德空间中的一个二阶微分算子，常用于图像增强领域和边缘提取。它通过灰度差分计算邻域内的像素。
2.边缘连接和边界检测
-
边缘链接
由于噪声、照明等产生边缘间断，使得一组像素难以完整形成边缘，因此，在边缘检测算法后，使用连接过程将间断的边缘像素组合成完整边缘。 分析图像中每个边缘点(x,y)的一个邻域内的像素，根据某种准则将相似点（确定边缘像素的相似性
：边缘像素梯度算子的响应强度、边缘像素梯度算子的方向）进行连接，由满足该准则的像素连接形成边缘。
-
边界检测
Hough变换
Hough变换问题的提出：
原理：
把图像平面上的点对应到参数平面上的线，最后通过统计特性来解决。假如图像平面上有两条直线，那么最终在参数平面上会看到两个峰值点
Hough变换的基本思想
3.阈值处理
什么是阈值？
基本全局阈值算法
基本自适应阈值
最佳全局和自适应阈值
4.基于区域的分割
第十章 CNN在图像处理
1.传统的简单神经网络
-
输入层：接收外部数据输入到网络中。
-
隐藏层：内部一层或多层，每层包含多个神经元，负责处理输入数据，抽象和提取特征。
-
输出层：将处理后的信息输出，用于实际的任务决策，如分类或回归。
每个神经元接收来自前一层的输入，通过加权求和后加上一个偏置项，然后通过一个非线性激活函数处理，以产生输出。这种结构使得神经网络可以逼近复杂的非线性关系，学习输入数据中的深层特征。
2. CNN
卷积神经网络（Convolutional Neural Network, CNN）是一种特别设计用于处理具有类似网格结构的数据（如图像）的神经网络。与普通的全连接神经网络相比，CNN在图像处理任务中表现更优，主要得益于其独特的结构，包括卷积层、激活层、池化层和全连接层。
-
卷积层：CNN的核心，用于提取输入图像的特征。使用一组可学习的滤波器（或称为卷积核），每个滤波器独立扫描输入图像并产生输出特征图（feature map），这有助于捕获图像的局部依赖性和尺度不变性。
-
激活层：通常跟在卷积层后面，引入非线性激活函数（如ReLU），增加网络的非线性表达能力，帮助网络学习更复杂的模式。
-
池化层：也称为下采样层，用于减少特征图的维度和参数数量，从而降低过拟合的风险，并提高模型的泛化能力。常见的池化操作有最大池化和平均池化。
-
全连接层：位于CNN的末端，其任务是将前面卷积层和池化层抽象出的特征图转化为最终的输出，如分类标签。与传统神经网络中的隐藏层类似，全连接层的每个节点都与前一层的所有激活输出相连接。
2.1 卷积层
直观理解就是一个滤波矩阵，普遍使用的卷积核大小为3×3、5×5等，设计的卷积核（convolution filter，也称为kernel）与图片做卷积运算（平移卷积核去逐步做乘积并求和）
2.2 池化层
池化层可对提取到的特征信息进行降维，一方面使特征图变小，简化网络计算复杂度；另一方面进行特征压缩，提取主要特征，增加平移不变性，减少过拟合风险。
(不一定max和avr 当然这个课要考虑不搞cv的同学，所以，知道是啥就行)
2.3 全连接层
在经过数次卷积和池化之后，我们最后会先将多维的图像数据进行压缩“扁平化”， 也就是把 (height,width,channel) 的数据压缩成长度为 height × width × channel 的一维数组，然后再与全连接层连接（这也就是传统全连接网络层，每一个单元都和前一层的每一个单元相连接，需要设定的超参数主要是神经元的数量，以及激活函数类型），通过全连接层处理“压缩的图像信息”并输出结果。
3.反向传播
反向传播（Backpropagation）是一种训练神经网络的算法。它通过计算损失函数对每个参数的偏导数，从输出层到输入层逐层传播误差，然后利用这些梯度信息来更新网络中的参数，以使得网络的输出尽可能地接近期望的输出。
训练的目的就是使得参数向误差最小的趋势变化
-
前向传播：加权输入通过激活函数生成预测。
-
误差计算：测量预测输出和目标输出之间的差异。
-
反向传播：使用误差来调整权重，迭代地减少误差直到输出收敛到目标值。
4.梯度下降
-
在机器学习模型中，损失函数通常是模型预测值与真实值之间的误差。
-
梯度下降（Gradient Descent）是一种优化算法，用于最小化损失函数。
-
梯度下降通过计算损失函数相对于模型参数的导数（梯度），来决定每一步如何调整参数，以逐步逼近最优解。
-
它通过计算损失函数对参数的梯度，并沿着梯度的反方向更新参数，以使损失函数逐渐减小。
请记住如下流程：
原文地址：https://blog.csdn.net/qq_73628499/article/details/145096907
免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！