在做毕设的多模态大模型微调时，我遇到了一个很奇怪的问题：模型明明已经给出了正确回答，却会在正确回答后紧接着输出一大段乱码。
经探索发现：这一问题的根源是结尾符（EOS Token）的输出问题。大语言模型的推理以自回归概率输出为基础，判断回答结束的方法也是识别到输出结果中的结尾符，而Qwen base模型的微调过程中正会出现与之相关的问题，导致了本文所述现象的发生。本文将探讨这一问题的原因和解决方案。
Perception
(33)
Idea
(22)
影视作品
(19)
本科专业课程-信息管理与信息系统
(14)
Daily
(11)
见证历史
(10)
经验
(9)
博客开发
(5)
党课
(5)
运筹学
(4)
乡村振兴
(4)
Minecraft我的世界
(4)
Python
(2)
足球
(2)
生涯规划
(2)
军事
(1)
系统分析与设计
(1)
数据挖掘与商务智能
(1)
计量经济学
(1)
文学作品
(1)
信息安全管理
(1)
企业管理流程
(1)
管理信息系统
(1)
桌游
(1)
AI绘图
(1)
红色著作
(1)
AI工具
(1)
心理学
(1)
门将技术
(1)
战术小队Squad
(1)
毕设致谢
(1)
大语言模型
(1)
找到 93 篇文章
Qwen2.5模型微调 | 结尾符（EOS Token）的输出问题及其解决方案
期刊投稿经验 | ESWA投稿时间线
分列变阵、《请你检阅》与“定调之词”——九三阅兵观后记
作为一名总会把阅兵视频反复咀嚼的军事爱好者，我在看今年九三阅兵时，除了对入京排练时已几近揭露的若干新装备大饱眼福外，最期待的即是分列式前，变阵就绪的这一段了。自2019年国庆大阅兵起，央视的拍摄手法日渐开放，在《钢铁洪流进行曲》等阅兵曲目日益“出圈”的同时，坦克底盘视角、大范围摇运镜等镜头也屡见不鲜。
本次九三阅兵也没有让我们失望。最期待的这个分列变阵环节中，伴随着改编版前奏的《请你检阅》乐曲，如AI合成一般的镜头展现出人民军队的新面貌。同时，伴随着画面，央视的解说词也成为了我心目中，本次阅兵的“定调之词”，不可谓不精彩。
本篇结合央视解说词，以回顾这一环节为串联，作为九三阅兵观后记。
Perception | 《芳华》
开源大模型的远程部署与本地访问——以TableGPT2部署为例
上一学期，我在期末周前为了数据分析课程的结课项目，花大时间服务器部署、本地访问大模型。现在终于有时间整理出来。
这个项目中，我试图部署一个表格大模型，用于解析不同结构的表格信息、汇总为统一的格式。幸运的是，去年十一月份浙大开源了TableGPT2大模型及其Agent（相关介绍和体验将在另一篇文章呈现），让我有合适现成的模型可以使用；不幸的是，我可能也是全网第一篇尝试部署该模型的人，没有任何先例可供参考。
诚然，在一开始探索部署它的过程中，我确实在摸索中走了许多错路，但好在最后发现了VLLM的部署过程是共通的，并由此摸索出一条蹩脚的路径，本文将予以阐述。
最后，还要再Thanks to ChatGPT，作为我构建Agent的Agent，陪我走过了摸黑探路的过程。