关于gen_kwargs["eos_token_id"]设置的问题

[wanghuii1]

Reminder

• I have read the README and searched the existing issues.

System Info

LLaMA Factory, version 0.7.2.dev0

Reproduction

这部分是用来设置gen_kwargs["eos_token_id"]

LLaMA-Factory/src/llamafactory/train/sft/workflow.py

Line 67 in 53b7436

gen_kwargs["eos_token_id"] = [tokenizer.eos_token_id] + tokenizer.additional_special_tokens_ids

请教一下，tokenizer.additional_special_tokens_ids添加至gen_kwargs["eos_token_id"]的考虑是什么。
用户自己扩展的additional_special_tokens_ids不一定表示结束标志，可能让模型predict时不符合预期地提前终止生成。

Expected behavior

No response

Others

No response

[hiyouga]

在本框架的语义内，additional_special_tokens 标志了除了 eos_token 以外的结束符