标签: RoPE

带有这个标签的文章： "RoPE".

• 🕶️ 从位置编码到实际训练框架和模型架构中的多模态位置编码

  更新于:2026年10月18日

  从 Self-Attention 为什么缺位置信息讲起，逐步推到 Sinusoidal、RoPE、二维与三维 M-RoPE，以及 Qwen2-VL / Qwen3-VL 里的频率分配、Interleaving 和 YaRN。