目录
一.注意力机制介绍
1 .浅谈注意力
2 .注意力机制类别
二.计算机视觉中的注意力机制
1 .看图说话
2 .存在的问题
3 .增加注意力机制
三.序列模型中的注意力机制
1.Seq2Seq的几个问题
2 .参与2.Seq2Seq注意力机制
四.自我提醒机制和Transformer
1 .注意力机制介绍
2 .注意力机制详情
3 .位置代码
总结
一、注意力机制介绍1 .注意力是人类学习中不可缺少的因素。 例如，我们读文章，试图理解书的作者想表达的意思。 我们通常不会在阅读过程中一一记住细节，而是把注意力集中在比较重要的部分。 人的记忆有限，抓住重点的学习方式往往能收获更多。
那么，既然注意力这么重要，有办法把它用于AI APP应用吗？ 答案是有的。 那就是注意力的机制。
注意力机制在过去几年中发展迅速，已经成为许多APP交流的标准化。 把注意力机制引入神经网络，实际上是让机器学习有选择地学习，同时知道如何把注意力集中在更重要的事情上。 例如，对一个字母来说，要理解它的含义可能只需要集中在几个中心单词上。
2 .注意机制的重要性既然在注释诞生之前，就已经有了CNN和RNN及其变体模型，为什么还要引入注释机制？ 主要原因有两个。 如下。
（1）计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。（2）优化算法的限制：LSTM只能在一定程度上缓解RNN中的长距离依赖问题，且信息“记忆”能力并不高
注意力机制在不同应用下的使用也大同小异。对于图片来讲，注意力需要放到某一个区域上; 对于文本来讲，注意力需要放在某几个单词上; 另外，这里所讲的自注意力机制跟传统的注意力机制有所不一样，能够更有效地解决梯度，并行化的问题。
二、计算机视觉中的注意力机制 1.看图说话看图说话是指，根据给定的图片生成一段文本描述，这个描述就是对于图片的理解。 实际上，这个问题可以理解为把一个图片转换成文本，图片理解这块可采用CNN模型，文本生成模块可采用LSTM模块。
2.存在的问题可以看到看图说话时，生成的文本依赖于全部图像的词向量，实际上并不需要这样，因为每一个文本其实对应图片的某一部分。
基于以上的问题，我们想把注意力机制加入到模型当中。对于看图说话，一个核心思想：对于每一个生成的单词实际上我们只需要关注图片中某一个模块就可以了。那这种注意力如何获取的？一种简单的操作方式是，把图片分成多个区域，然后学出针对于每个区域的权重。
3.加入注意力机制可以看到加入注意力机制后，还可以提升模型的解释性，也就是说生成文本的时候能够关注到其对应的图像区域是否正确。
三、序列模型中的注意力机制seq2seq根据字面意思来看就是序列到序列，再具体点就是输入一个序列（可以是一句话，一个图片等）输出另一个序列。的用途有很多，比如机器翻译，写诗，作曲，看图写文字等等用途很广泛。
1.Seq2Seq的一些问题由上图可知，虽然自然语言处理任务中引入了LSTM等一系列改进模型，但依然会因为长期依赖带来梯度消失问题，而且由于编码器最终学习生成一个向量，用这个向量来表示之前的一系列文本，这会使得该向量学习表示起来十分困难。
所以seq2seq存在以下两个问题：
梯度消失问题。瓶颈问题。所以我们可以将注意力机制引入到seq2seq。
2.Seq2Seq加入注意力机制这些黄色的深浅代表当翻译每个词的注意力的分配。
Encoder用的是是双向RNN，当RNN单元循环回来的时候都会有一个输出给了你将要翻译的词对应的attend，而此时肯定是它的最下方的词应该是注意力最集中的，所以它对应的权重肯定是最大的。
这里的权重分配公式为：
从最上面下来的是是第个Encoder隐层出来的记忆单元。
所有的分打出来后，要做下归一化：
这个跟Softmax差不多。
然后对他们进行求和传送给：
这个注意力机制大大提高了机器翻译的能力当然也包括其他的领域。
四、自注意力机制与Transformer 1.自注意力机制介绍self attention是注意力机制中的一种，也是transformer中的重要组成部分。
自注意力机制是注意力机制的变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。
自注意力机制在文本中的应用，主要是通过计算单词间的互相影响，来解决长距离依赖问题。
自注意力机制的计算过程：
1.将输入单词转化成嵌入向量；
2.根据嵌入向量得到q，k，v三个向量；
3.为每个向量计算一个score：score =q . k ；
4.为了梯度的稳定，Transformer使用了score归一化，即除以 ；
5.对score施以softmax激活函数；
6.softmax点乘Value值v，得到加权的每个输入向量的评分v；
7.相加之后得到最终的输出结果z ：z= v。
2. 自注意力机制细节对于一段文本来讲，自注意力机制可以计算每两个单词之间的关系，并根据这个关系来理解单词在上下文中的意思。通过上述可视化方式，我们也可以观察到这种关系。另外，这种方式的一个缺点在于复杂度会比较高，特别是对于很长的文本。
3.位置编码在文本中，单词之间是有顺序的，但上面提到的self-attention并没有把位置信息考虑了进来，只是计算了每两个单词之间的关系。那我们又如何把位置信息融合到模型当中呢?在Transformer中，我们在输入端额外地加入了位置向量。
总结注意力机制的优点
1.参数少：相比于 CNN、RNN ，其复杂度更小，参数也更少。所以对算力的要求也就更小。
2.速度快：Attention 解决了 RNN及其变体模型 不能并行计算的问题。Attention机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。
3.效果好：在Attention 机制引入之前，有一个问题大家一直很苦恼：长距离的信息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。
本文是从零开始学NLP系列文章第十四篇，希望小伙伴们多多支持，互相交流。
参考：
贪心学院nlp
基于注意力机制的seq2seq网络