生成式任务输入就是标签#

transformers在进入compute_metrics前会有一个判断，源码如下：

1
# 版本 transformers==4.41.2
2
# 在trainer.py 的 3842 行
3
# Metrics!
4
if (
5
    self.compute_metrics is not None
6
    and all_preds is not None
7
    and all_labels is not None
8
    and not self.args.batch_eval_metrics
9
):
10
    if args.include_inputs_for_metrics:
11
        metrics = self.compute_metrics(
12
            EvalPrediction(predictions=all_preds, label_ids=all_labels, inputs=all_inputs)
13
        )
14
    else:
15
        metrics = self.compute_metrics(EvalPrediction(predictions=all_preds, label_ids=all_labels))
16
elif metrics is None:
17
    metrics = {}

生成式任务如果没有标签字段，即labels那么这里的all_labels is not None就会是false，从而无法进入compute_metrics方法。此时可以在TrainingArguments中加入一个变量label_names把输入文本作为标签，如下：

1
training_args = TrainingArguments(
2
...
3
label_names=['input_ids'], # 这里假设我的文本输入叫 ‘input_ids’
4
...
5
)

这样就可以进入compute_metrics函数了。此外，若需要将输入的变量传入compute_metrics，可以在TrainingArguments中设置include_inputs_for_metrics=True

原文链接：CSDN