Paper

做这期blog的动机很简单，分享一下自己如何快速的上手某个领域的论文。最核心的三个步骤我觉得分别是： 确定自己研究领域的key words，这里是要从上到下的，如LLM -> 微调 和 CoT 确定自己需要研究的题目，如 如何确定CoT的某个环节有益于微调中得到高的得分 根据“and”的检索思想，从小到大的进行检索 先检索key words，确定论文的范围 在页面内只看研究的问题是否符合自己的要求 快速确定自己需要的论文想要快速了解某个领域的论文，一个是问，问从业者，这是最快的，有人脉，直接问最核心的开发者，受益无穷，少走很多弯路。 ...

LLM 推理与服务优化 (LLM Inference and Serving Optimization) KV 缓存管理和优化 (KV Cache Management and Optimization) 这些论文聚焦于 KV 缓存的减少、量化或重用，以提升生成推理效率和降低内存消耗。 Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference (Keyformer：通过高效生成推理的关键令牌选择来减少 KV 缓存) - Muhammad Adnan 等 ...