在做毕设的多模态大模型微调时，我遇到了一个很奇怪的问题：模型明明已经给出了正确回答，却会在正确回答后紧接着输出一大段乱码。
经探索发现：这一问题的根源是结尾符（EOS Token）的输出问题。大语言模型的推理以自回归概率输出为基础，判断回答结束的方法也是识别到输出结果中的结尾符，而Qwen base模型的微调过程中正会出现与之相关的问题，导致了本文所述现象的发生。本文将探讨这一问题的原因和解决方案。
Perception
(33)
Idea
(22)
影视作品
(19)
本科专业课程-信息管理与信息系统
(14)
Daily
(11)
见证历史
(10)
经验
(9)
博客开发
(5)
党课
(5)
运筹学
(4)
乡村振兴
(4)
Minecraft我的世界
(4)
Python
(2)
足球
(2)
生涯规划
(2)
军事
(1)
系统分析与设计
(1)
数据挖掘与商务智能
(1)
计量经济学
(1)
文学作品
(1)
信息安全管理
(1)
企业管理流程
(1)
管理信息系统
(1)
桌游
(1)
AI绘图
(1)
红色著作
(1)
AI工具
(1)
心理学
(1)
门将技术
(1)
战术小队Squad
(1)
毕设致谢
(1)
大语言模型
(1)
找到 93 篇文章