2026/1/24 13:13:19

1. 抢占 显存不够的时候，某些request会被抢占。其KV cache被清除，腾退给其他request，下次调度到它，重新计算KV cache。 报这条消息，说明已被抢占： WARNING 05-09 00:49:33 scheduler.py:1057 Sequence gr…

2026/1/24 13:13:13

前言 GPT-4、Bloom 和 LLaMA 等大型语言模型（LLM）通过扩展至数十亿参数，实现了卓越的性能。然而，这些模型因其庞大的内存需求，在部署进行推理或微调时面临挑战。这里将探讨关于内存的优化技术，旨在估计并优…

2026/1/24 13:13:10

我上周在干什么，感觉我上周啥也没训，本来两天一次的vp也没v很寄啊，再这样下去真不行了先总结一下如何爆搜：先去确定好枚举的对象枚举的对象很重要！！这直接影响了复杂度然后就是去想递归树就好了一、确定状态…

2026/1/24 13:13:06

目录 一、正则简介 1.正则表达式分两类： 2.正则表达式的意义 二、Linux三剑客简介 1.文本处理工具，均支持正则表达式引擎 2.正则表达式分类 3.基本正则表达式BRE集合 4.扩展正则表达式ere集合 三、grep 1.简介 2.实践 3.贪婪匹配 四、sed …

2026/1/24 13:13:03

开放域闲聊场景 Prompted LLMs as Chatbot Modules for Long Open-domain Conversation 发布日期：2023-05-01 简要介绍：作者提出了 MPC（模块化提示聊天机器人），这是一种无需微调即可创建高质量对话代理的新方法&…

2026/1/24 13:12:59

概述 在Function Component项目中当我们需要操作dom的时候，第一时间想到的就是使用useRef这个Hook来绑定dom。但是这个仅仅是使用这个Hook而已，为了更好的学习React Hooks内部实现原理，知其所以然。所以本文根据源码从useRef的基础使用场景一…