TypeError: unsupported operand type(s) for +: 'int' and 'dict'

[AIR-hl]

我在 TruthfulQA 上评估 SimPO, 但出现了下面的报错：TypeError: unsupported operand type(s) for +: 'int' and 'dict'.

执行命令如下：

bash scripts/run_job_base.sh ../Mistral-7B-Base-SFT-SimPO 1 1 logs/Mistral-7B-Base-SFT-SimPO truthfulqa ppl -1

[Ming0310]

我在使用ppl模式测试piqa时出现了类似的报错，请问怎么解决呢？
命令如下：
bash scripts/run_job_base.sh /share/llama-7b 1 1 test piqa ppl -1
错误信息：

    process_outputs = [[-sum(inner) for inner in outer] for outer in result]
TypeError: unsupported operand type(s) for +: 'int' and 'str'

[AIR-hl]

我在使用ppl模式测试piqa时出现了类似的报错，请问怎么解决呢？ 命令如下： bash scripts/run_job_base.sh /share/llama-7b 1 1 test piqa ppl -1 错误信息：

    process_outputs = [[-sum(inner) for inner in outer] for outer in result]
TypeError: unsupported operand type(s) for +: 'int' and 'str'

@Ming0310 这个库感觉也不怎么维护了，去用lm-evaluation-harness吧，好用