DeepSeek蒸馏版模型VLLM高效部署指南
2025年9月26日 - conda create-n vllm_env python=3.9.git clone https://github.com/DeepSeek-AI/VLLM-Distilled.git.conda activate vllm_env...
cloud.baidu.com
github com vllm （第 2 页）
git下载安装教程进阶:vLLM源码编译指南-CSDN博客
2025年12月14日 - 但如果你只是用pip install vllm装个包就跑起来,那可能还远远没发挥出它的全部潜力.from vllm import LLM, SamplingParams llm = LLM( model= meta-ll...
blog.csdn.net
git下载安装教程升级版:加入vLLM推理加速模块-CSDN博客
20个收藏  发贴时间：2026年1月12日from vllm import LLM, SamplingParams # 设置采样参数 sampling_params = SamplingParams( temperature=0.7, top_p=0.95, max_tokens=256 ) ...blog.csdn.net反馈
blog.csdn.net
vLLM - 知乎
2024年8月29日 - 最近项目有这方面的需求,记录学习过程,会持续更新。 vllm的安装在 VLLM大模型推理优化中已经写过了,这里不赘述,这里主要写跟并发相关的内容。vLLM提供...
zhuanlan.zhihu.com
GitHub Actions自动构建vLLM推理镜像流水线-CSDN博客
2026年1月10日 - from vllm import LLM, SamplingParams # 初始化模型实例 llm = LLM( model= meta-llama/Llama-2-7b-chat-hf , quantization= gptq , # 支持 gptq, aw...
blog.csdn.net
DeepSeek专栏3:鲲鹏昇腾双引擎驱动vLLM×DeepSeek部署指南
2025年9月26日 - git clone https://github.com/vllm-project/vllm.git.fromvllm.model_executor.models.deepseekimportDeepSeekModel.https://github.com/gperftools/...
cloud.baidu.com
vLLM-prefix浅析(System Prompt,大模型推理加速)_vllm prefix-CSDN博客
2024年4月20日 - https://github.com/vllm-project/vllmgithub.com/vllm-project/vllm同时安利一下我在 Prefix 方面的一点小工作:添加了 Prefix 删除功能,使用了 Tri...
blog.csdn.net