vLLM 命令

vLLM 使用 modelscope

1export VLLM_USE_MODELSCOPE=True
2export MODELSCOPE_CACHE=/custom/cache/path  # 若需要自定义缓存路径