非局部均值滤波（NON-LOCAL-mean)/注意力机制

一：非局部均值

均值滤波：以目标像素点x为中心，对其半径为r的范围内的像素加权求和取平均作为像素点x滤波后的值

非局部均值滤波：均值滤波是对目标像素点x范围内的像素点加权求和，但这个权重是人为设定的，一般就是取1，也就是说这个范围内的像素点对中心点x的影响是相同的，这明显不对。那各个像素点对中心点x的权重应该怎么设置呢？非局部均值滤波其实就是计算不同位置像素点对中心点x的影响权重，再进行加和取平均。这个权重怎么计算呢？

先参考下文：非局部均值滤波（一）_浅浅雨墨的博客-CSDN博客_非局部均值滤波

文章中已经讲的很清楚了，但有一个问题我觉得说的不是太好，他这里把图片大小设置为7*7，而搜索框也是7*7，就不太好理解，我这里补充一下。

我们可以把图片大小设置为256*256，这样我们设置搜索框为7*7，领域块设置为3*3；也就是说我们需要计算搜索框7*7内49个像素点对搜索框中心点x的影响权重，这个权重的计算方式是通过搜索框内每个点的领域快与中心点的领域快来计算的

二：注意力机制

注意力机制可以分为两种：一种是软注意力机制，一种是硬注意力机制，简单的理解可以认为软注意力学习到的注意力是连续的[0,1]之间的概率值，而硬注意力机制学习到的注意力只能是0，或者1。一般我们用的都是软注意力，而硬注意力一般需要用强化学习来得到。

参考自：Attention(注意力)机制 - 简书 (jianshu.io)

注意力机制的分类 | Soft Attention和Hard Attention_Ftwhale的博客-CSDN博客_注意力机制分类

CV中的Attention机制总结_一直特立独行的猫1994的博客-CSDN博客_cv中的attention

软注意力机制：比如计算通道之间的注意力关系，比较有代表性的就是SENet；或者是区域之间的注意力，通道注意力，空间注意力等。

硬注意力机制：计算点对点的注意力，代表性的就是Non-local Neural Networks这篇论文，是self-attention的一种典型应用，其思想是源于我们上面说的非局部均值滤波。

再着重一点：注意力我们可以理解为一种计算元素与元素之间相互影响因子的方式，而non-local是一种计算的方式：比如在论文“Camouflflaged Object Segmentation with Distraction Mining ”中所提到的这样：

It consists of a channel attention block and a spatial attention block. Both of them are implemented in a non-local way

补充：通道注意力和空间注意力

通道注意力：求通道与通道之间的相互影响权重，最终权重反映出哪个通道更重要

空间注意力：计算空间中哪个部分的特征更重要，最终权重反映的是哪个部分像素更重要