MODEL
//
X-RAY
大模型内部结构 · 技术图纸
LLAMA 3.1
/
8B
32L · 4096d
全景
解剖
8 步导览
DECODER PASS · L17 / 32
TOKEN
05 · 垫子
RESIDUAL
4096-d
DTYPE
BF16
BLOCK INDEX
ACTIVE
17
/ 32
全部层级
↗
01
从 token 到下一个 token
拖动旋转 · 滚轮缩放 · 点击部件
Y
X
← 全景
QKV
头组
矩阵
W_O
FFN
Norm
全部
数据流
标注
环绕
爆炸
0%
60
FPS
拖拽旋转 · 滚轮缩放 · 单击任意部件
01 · 全景
1 / 8
先看整条残差高速公路
上一步
下一步
→
MODULE
多头自注意力
点击查看公式与参数
↗
MODEL
//
X-RAY
正在构建 32 层张量场
LLAMA 3.1 · 8B
8,030,261,248 PARAMS