在期末周前为了数据分析课程的结课项目，花大时间学了并首次尝试了服务器部署、本地访问大模型。现在终于有时间整理出来。
这个项目中，我试图部署一个表格大模型，用于解析不同结构的表格信息、汇总为统一的格式。幸运的是，去年十一月份浙大开源了TableGPT2大模型及其Agent（相关介绍和体验将在另一篇文章呈现），让我有合适现成的模型可以使用；不幸的是，我可能也是全网第一篇尝试部署该模型的人，没有任何先例可供参考。
诚然，在一开始探索部署它的过程中，我确实在摸索中走了许多错路，但好在最后发现了VLLM的部署过程是共通的，并由此摸索出一条蹩脚的路径，本文将予以阐述。
最后，还要再Thanks to ChatGPT，作为我构建Agent的Agent，陪我走过了摸黑探路的过程。