更新模型支持列表，整合模型转换文档

TylunasLi · Jul 19, 2024 · e58ca77 · e58ca77
1 parent 2a0e9d0
commit e58ca77
Show file tree

Hide file tree

Showing 5 changed files with 261 additions and 108 deletions.
diff --git a/README.md b/README.md
@@ -8,17 +8,18 @@ fastllm是纯c++实现，无第三方依赖的多平台高性能大模型推理
 
 部署交流QQ群： 831641348
 
-| [快速开始](#快速开始) | [模型获取](#模型获取) |
+| [快速开始](#快速开始) | [模型获取](docs/models.md) |
 
 ## 功能概述
 
 - 🚀 纯c++实现，便于跨平台移植，可以在安卓上直接编译
+- 🚀 无论ARM平台，X86平台，NVIDIA平台，速度都较快
 - 🚀 支持读取Hugging face原始模型并直接量化
 - 🚀 支持部署Openai api server
 - 🚀 支持多卡部署，支持GPU + CPU混合部署
 - 🚀 支持动态Batch，流式输出
 - 🚀 前后端分离设计，便于支持新的计算设备
-- 🚀 目前支持ChatGLM系列模型，Qwen2系列模型，各种LLAMA模型(ALPACA, VICUNA等)，BAICHUAN模型，MOSS模型，MINICPM模型等
+- 🚀 目前支持ChatGLM系列模型，Qwen系列模型，各种LLAMA模型(ALPACA, VICUNA等)，BAICHUAN模型，MOSS模型，MINICPM模型等
 
 ## 快速开始
 
@@ -66,7 +67,7 @@ python3 -m ftllm.webui -t 16 -p ~/Qwen2-7B-Instruct/ --port 8080
 
 目前模型的支持情况见: [模型列表](docs/models.md)
 
-有一些架构暂时无法直接读取Hugging face模型，可以参考 [模型转换文档](docs/convert_model.md) 转换fastllm格式的模型
+一些早期的HuggingFace模型无法直接读取，可以参考 [模型转换](docs/models.md#模型导出convert-offline) 转换fastllm格式的模型
 
 ### 运行demo程序 (c++)
 

diff --git a/docs/convert_model.md b/docs/convert_model.md
diff --git a/docs/fastllm_pytools.md b/docs/fastllm_pytools.md
diff --git a/docs/llama_cookbook.md b/docs/llama_cookbook.md
@@ -238,7 +238,7 @@ XVERSE-13B-Chat V1 版本需要对输入做NFKC规范化，fastllm暂不支持
                      user_role="[|Human|]:", bot_role="\n[|AI|]:", history_sep="\n", dtype=dtype)
 ```
 
-## Yi
+### Yi
 
 * 01-ai/[Yi-6B-Chat](https://huggingface.co/01-ai/Yi-6B-Chat)
 
@@ -249,6 +249,8 @@ XVERSE-13B-Chat V1 版本需要对输入做NFKC规范化，fastllm暂不支持
                      user_role="<|im_start|>user\n", bot_role="<|im_end|><|im_start|>assistant\n", history_sep="<|im_end|>\n", dtype=dtype)
 ```
 
+* [SUSTech/SUS-Chat-34B](https://huggingface.co/SUSTech/SUS-Chat-34B)
+
 ### WizardCoder
 
   * [WizardCoder-Python-7B-V1.0](https://huggingface.co/WizardLM/WizardCoder-Python-7B-V1.0)