【一起入门DeepLearning】中科院深度学习_期末复习题2018-2019第八题：注意力机制

发布时间：2024-04-07 14:01

专栏介绍：本栏目为 “2022春季中国科学院大学王亮老师的深度学习” 课程记录，这门课程与自然语言处理以及机器学习有部分知识点重合，重合的部分不再单独开博客记录了，有需要的读者可以移步自然语言处理专栏和机器学习专栏。如果感兴趣的话，就和我一起入门DL吧

2018-2019 学年第二学期期末试题
五、（10分）画出用于机器翻译（或者图像描述）的基于注意机制的编码器-解码器结构示意图，并简要描述注意机制的工作原理。

注意力机制的知识点可以参考：1️⃣【一起入门NLP】中科院自然语言处理第9课-NLP中的注意力机制（Attention）2️⃣【一起入门NLP】中科院自然语言处理第14课-Transfomer以及Transfomer架构生成模型

注意力机制是一个加权求和模块，输入：Q（query），K（key）输出：V（value），表示对于Q而言K有多重要，重要性用V来描述。
注意力机制分为三个步骤：1. F(Q,Ki)：打分函数描述Q和ki之间的关系。2. softmax（f(Q,Ki)）：得到Q对于各个Ki的权重。3. 加权求和：Att-V = 1ⅹK1+2ⅹK2+3ⅹK3+4ⅹK4+5ⅹK5

\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0