请问使用api_demo的vllm模式和直接使用vllm OpenAI compatible server有差别吗？

[zuxin666]

非常非常棒的项目！
我想请教一下，在用此repo和某个特定的template训练完模型之后，使用本repo的deploy命令：

API_PORT=8000 python src/api_demo.py \ --model_name_or_path LLaMA_Factory_trained_model_path \ --template customized_template \ --infer_backend vllm \ --vllm_enforce_eager

和直接使用如下的vllm OpenAI compatible inference命令：

python -m vllm.entrypoints.openai.api_server --model LLaMA_Factory_trained_model_path --port 8000

会有区别吗？
主要是不确定此repo里面定义的 customized_template 会不会有影响。并且我只需要 chat 功能不需要 tool call。谢谢！

[hiyouga]

我们会把训练时的 template 保存在 tokenizer 中，理论上可以无损迁移到 vllm 引擎，不过最好还是验证一下两者是否会有差异