RESEARCH LIBRARY

positional-encoding

按标签浏览论文。

共 5 篇论文 · 按研读更新时间排序

2509.10534v3 · r1

PoPE

Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings

PoPE 用非负内容幅值与位置相位解耦注意力匹配，在间接索引、序列建模和长上下文外推实验中优于 RoPE。

2601.22156v1 · r1

Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts

HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。

2511.17388v3 · r1

Selective Rotary Position Embedding

Selective RoPE 用输入相关的累计旋转补充遗忘门，改善合成召回与状态追踪，语言建模收益依架构与规模而异。

2601.15380v2 · r1

You Need Better Attention Priors

GOAT将可学习位置先验编码进标准SDPA，在1.23B实验中改善长度外推；收益伴随内容维度取舍与有条件的sink稳定性保证。

2610.10114v1 · r1

Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

混合位置分工解释外推与长训练的差异；扩窗与LongCE改善SWA，SWLA结合NoPE尺度修正增强LA外推。