🌟 魔法文字塔 🌟
小猫咪咪带你认识 Transformer
👆 点击翻页

小猫咪咪住在词元小镇。这里每个字都住在自己的小屋里。
当一句话来到魔法塔,第一步就是把句子拆成一个一个的词元(Token)

1 / 7
[0.3, 0.7,
0.1, 0.9]
[0.8, 0.2,
0.5, 0.4]
[0.6, 0.3,
0.9, 0.1]
[0.1, 0.8,
0.7, 0.6]
[0.2, 0.9,
0.8, 0.5]

进入魔法塔之前,每个词元都会背上一个数字小背包(嵌入 Embedding)
背包里装着很多数字,告诉魔法塔:"我是谁,我代表什么意思!"

2 / 7

魔法塔最神奇的魔法叫注意力(Attention)
每个词元会看看其他朋友:"谁跟我关系最近?" "猫"和"咪"关系最紧密,连线最粗哦!

3 / 7
Q 提问
🙋
"我想找谁?" — 每个词元举手提问,
就像课堂上举手说"我有问题!"
K 名牌
🏷️
"我是谁!" — 每个词元都挂着名牌,
让提问的小朋友找到自己。
V 答案
💎
"这是我知道的!" — 找到匹配后,
把宝贵的信息分享给大家。

注意力有三个小帮手:Q(提问)K(名牌)V(答案)
Q 问问题,K 帮忙配对,V 给出宝贵信息!

4 / 7
📝
📝
📝
⬇️
⚙️
思考加工厂 前馈网络
⬇️

注意力之后,词元们来到思考加工厂(前馈网络 FFN)
这里每个词元都会被单独"加工升级",变得更聪明、理解更深!

5 / 7
🔍 注意力 + 🏭 加工
🔍 注意力 + 🏭 加工
🔍 注意力 + 🏭 加工
🔍 注意力 + 🏭 加工
🔍 注意力 + 🏭 加工
🔍 注意力 + 🏭 加工
入口 出口
一层一层往上爬
每层都更懂一点!

魔法塔不只有一层!它有很多很多层叫做Transformer 层
每一层都重复"注意力 + 加工",让理解一层比一层深!

6 / 7
🌟 💫 🌟 💫
输入: "我 喜 欢 猫 咪 ___"
输出:
"我喜欢猫咪呢!"

经过层层魔法,小猫咪咪帮大家找到了最好的下一个词!🎉
这就是Transformer的秘密 — 用注意力理解语言,用魔法创造文字!

7 / 7