visualglm进行QLoRA微调时报错，RuntimeError: mat1 and mat2 shapes cannot be multiplied (320x4096 and 1x25165824) [2024-03-07 07:26:17,037] [INFO] [launch.py:316:sigkill_handler] Killing subprocess 13210

[munDane117]

运行环境：colab v100
51G系统RAM
16G GPU RAM

python==3.10.13
bitsandbytes==0.42.0 已是最新版

运行 bash finetune/finetune_visualglm_qlora.sh 脚本时报错
RuntimeError: mat1 and mat2 shapes cannot be multiplied (320x4096 and 1x25165824) [2024-03-07 07:26:17,037] [INFO] [launch.py:316:sigkill_handler] Killing subprocess 13210

[2232141528]

同问，请问兄弟问题解决了吗？

[2232141528]

运行环境：colab v100 51G系统RAM 16G GPU RAM

python==3.10.13 bitsandbytes==0.42.0 已是最新版

运行 bash finetune/finetune_visualglm_qlora.sh 脚本时报错 RuntimeError: mat1 and mat2 shapes cannot be multiplied (320x4096 and 1x25165824) [2024-03-07 07:26:17,037] [INFO] [launch.py:316:sigkill_handler] Killing subprocess 13210

请问问题解决了吗兄弟

[2232141528]

运行环境：colab v100 51G系统RAM 16G GPU RAM

python==3.10.13 bitsandbytes==0.42.0 已是最新版本

运行 bashfinetune/finetune_visualglm_qlora.sh 脚本表述错 RuntimeError: mat1 and mat2 Shapes can be multiplied (320x4096 and 1x25165824) [2024-03-07 07:26:17,037] [INFO] [launch.py​​:316:sigkill_handler] Killing subprocess 13210

请问是怎么解决这个问题的？

[munDane117]

运行环境：colab v100 51G系统RAM 16G GPU RAM
python==3.10.13 bitsandbytes==0.42.0 已是最新版本
运行 bashfinetune/finetune_visualglm_qlora.sh 脚本表述错 RuntimeError: mat1 and mat2 Shapes can be multiplied (320x4096 and 1x25165824) [2024-03-07 07:26:17,037] [INFO] [launch.py​​:316:sigkill_handler] Killing subprocess 13210

请问是怎么解决这个问题的？

我没找到解决办法，换了张4090本地部署就没有再遇到这个问题

[2232141528]

运行环境：colab v100 51G系统RAM 16G GPU RAM
python==3.10.13 bitsandbytes==0.42.0 已是最新版本
运行 bashfinetune/finetune_visualglm_qlora.sh 脚本淀粉错RuntimeError: mat1 and mat2 Shapes can be multiplied (320x4096 and 1x25165824) [2024-03-07 07:26:17,037] [INFO] [launch.py​​​​:316:sigkill_handler] 杀死子进程 13210

请问这个问题是怎么解决的？

我没有找到解决办法，换了张4090本地部署就没有再遇到这个问题

我感觉像是我用的哪个huggingface的镜像网站的问题，我仔细看了那个网站里边的visualglm模型是HF版本的，而我用的是sat版本的，之前为了解决AttributeError: 'FakeTokenizer' object has no attribute 'encode'，偷懒用了镜像，估计应该是两个的encode不一样的。