Tag: vLLM
All the articles with the tag "vLLM".
-
华为昇腾 NPU 大模型部署实战:从踩坑到量产
记录本周在华为昇腾 910B NPU 上部署 Qwen3-4B、QED-Nano、GLM-OCR 等模型的完整过程,分享 vLLM 部署、内存优化、设备映射、流式输出等关键技术要点与踩坑经验
All the articles with the tag "vLLM".
记录本周在华为昇腾 910B NPU 上部署 Qwen3-4B、QED-Nano、GLM-OCR 等模型的完整过程,分享 vLLM 部署、内存优化、设备映射、流式输出等关键技术要点与踩坑经验