vllm0.24.0版本,逻辑实在是太复杂了,用codex+deepseek帮忙理解,整理了部分初始化逻辑。最后面其实就是nano-vllm的思想,prefill和decode是分开的,目前vllm已经支持同时进行。抢占式其实就是把running队列最后面加进去的放在waiting队列;blockid只是本地存的一个id罢了,其实是对应一块真实的物理显存地址,如果发现可以复用,就直接取这个地址的数据,不可复用,就重新计算,然后把数据存在这个地址里面

阅读全文 »

以c++为例,举例子解析一下回调到底是啥。可以先看本文,再看rocket-rpc解析。需要有epoll、socket、c++11、CMake等基础。

阅读全文 »