作为CSDN的忠实用户，最近发现CSDN学院上了一些对新手比较友好的课程。以我的切身体会来看，对于想要了解机器学习算法或者python编程语言的同学，非常有帮助。还记得我最开始学习python的时候，看的是一本写给小孩子的书《趣学Python——教孩子学编程》。

虽然这本书不错，但是确实有些过于简单了，而CSDN提供的课程有两门对现在的我来讲还是有相当大的帮助，老师讲课水平高，配合丰富的例子，容易让人掌握知识点，下面推荐两门课程：

SIFT（Scale-invariant feature transform），也叫尺度不变特征变换算法，是David Lowe于1999年提出的局部特征描述子（Descriptor），并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。在Mikolajczyk对包括Sift算子在内的十种局部描述子所做的不变性对比实验中，Sift及其扩展算法已被证实在同类描述子中具有最强的健壮性。

其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。

• Sift特征是图像的局部特征 对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性。

• 独特性好 信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。

• 多量性 即使少数的几个物体也可以产生大量Sift特征向量。

• 速度相对较快 经优化的Sift匹配算法甚至可以达到实时的要求。

• 可扩展性强 可以很方便的与其他形式的特征向量进行联合。

SIFT算法的实质是：“不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向” ，SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

Lowe将SIFT算法分解为如下四步：

• ① 尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

  为了在不同的尺度空间检测关键点。这里，尺度空间的获取需要使用尺度空间滤波（scale-space filtering）来实现，Lindeberg等人已证明高斯卷积核是实现尺度变换的唯一变换核，并且是唯一的线性核。尺度规范化的LoG(Laplacion of Gaussian)算子具有真正的尺度不变性，但是由于LoG算法复杂度较高。因此，Lowe使用更为高效的高斯差分算子（Difference of Gaussians）近似LoG算子来进行极值检测，如下：
  $D(x,y,\sigma) = (G(x,y,k\sigma) - G(x,y,\sigma) ) * I(x,y) = L(x,y,k\sigma) - L(x,y,\sigma)$

  由上式可以看出，高斯差分算子（Difference of Gaussians）是使用两个不同的$\sigma$，$k\sigma$来做高斯模糊差异而得到的。这里，$*$表示卷积操作，$G(x,y,\sigma)$

  在实际计算时，使用高斯金字塔（Gaussian Pyramid）每组中相邻上下两层图像相减，得到高斯差分图像，如下图所示（关于高斯金字塔中的构建在内容延伸中会介绍）：
  

  $G(x,y,\sigma) = \frac{1}{2\pi\sigma^2}e^-\frac{(x - m/2)^2 + (y - n/2)^2}{2\sigma^2}$

• 基于python3.x + opencv3.x

import cv2
import numpy as np
from psd_tools import PSDImage

# 1) psd to png
psd1 = PSDImage.load('200x800.ai.psd')
psd1.as_PIL().save('psd_image_to_detect1.png')

psd2 = PSDImage.load('800x200.ai.psd')
psd2.as_PIL().save('psd_image_to_detect2.png')
# 2) 以灰度图的形式读入图片

psd_img_1 = cv2.imread('psd_image_to_detect1.png', cv2.IMREAD_GRAYSCALE)
psd_img_2 = cv2.imread('psd_image_to_detect2.png', cv2.IMREAD_GRAYSCALE)

# 3) SIFT特征计算
sift = cv2.xfeatures2d.SIFT_create()

psd_kp1, psd_des1 = sift.detectAndCompute(psd_img_1, None)
psd_kp2, psd_des2 = sift.detectAndCompute(psd_img_2, None)

# 4) Flann特征匹配
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)

flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(psd_des1, psd_des2, k=2)
goodMatch = []
for m, n in matches:
	# goodMatch是经过筛选的优质配对，如果2个配对中第一匹配的距离小于第二匹配的距离的1/2，基本可以说明这个第一配对是两幅图像中独特的，不重复的特征点,可以保留。
    if m.distance < 0.50*n.distance:
        goodMatch.append(m)
# 增加一个维度
goodMatch = np.expand_dims(goodMatch, 1)
print(goodMatch[:20])

img_out = cv2.drawMatchesKnn(psd_img_1, psd_kp1, psd_img_2, psd_kp2, goodMatch[:15], None, flags=2)

cv2.imshow('image', img_out)#展示图片
cv2.waitKey(0)#等待按键按下
cv2.destroyAllWindows()#清除所有窗口

如果把img_out中的参数goodMatch[:15]改为goodMatch，即展示所有匹配的特征，图为：

在SIFT算法特点与步骤的第一部分中，尺度空间在实现时使用高斯金字塔（Gaussian Pyramid）表示，这里介绍一下高斯金字塔的构造过程。高斯金字塔的构建分为两部分：

• 对图像做不同尺度（不同$\sigma$）的高斯模糊；
• 对图像做降采样(隔点采样)。

图像的金字塔模型是指：“将原始图像不断降采样（Downsampling），得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型。” ，原图像为金子塔的最底层（Octave 1），每次降采样所得到的新图像为金字塔的一层。金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定，其计算公式如下：

其中$M,N$为原图像的大小，$t$为塔顶图像的最小维数的对数值。如，对于大小为512512的图像，金字塔上各层图像的大小如下表所示，当塔顶图像为44时，n=7，当塔顶图像为2*2时，n=8。

octave–组，Layer–层，scale–尺度。为了让尺度体现其连续性，高斯金字塔在简单降采样的基础上加上了高斯滤波。如上图所示，将图像金字塔每层的一张图像使用不同尺度（scale）做高斯模糊，使得金字塔的每层含有多张高斯模糊图像，将金字塔每层的多张图像合称为一组(Octave)，金字塔每层只有一组图像，组数和金字塔层数相等。

注意：为了在每组中检测S个尺度的极值点，则DoG金字塔每组需S+2层图像，而DoG金字塔由高斯金字塔同组的相邻两层相减得到，则高斯金字塔每组需S+3层图像，实际计算时S在3到5之间。lowe推荐S取3。