运行 GLM-10B 的最低配置是多少？

[nguyenvanhoangphuc]

我正在使用一台16GB内存的CPU和一台4GB内存的GPU，但由于内存溢出而无法运行GLM-10B。 请问我需要什么确切的配置来运行它，而不会遇到内存溢出错误？

[fluxlinkage]

glm-10b-chinese模型：
直接GPU推理需要大约20GB显存。
使用如下方法可以8位量化，显存需要十几GB（具体多少忘了，11GB到15GB之间吧）。
直接CPU推理需要大约50-60GB内存。