RESEARCH LIBRARY
vector-search
按标签浏览论文。
共 1 篇论文 · 按研读更新时间排序
RetrievalAttention
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
没有找到匹配论文，试试其他关键词或标签。
按标签浏览论文。
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
没有找到匹配论文，试试其他关键词或标签。