Bootstrap

使用pyinstaller打包pytorch踩的那些坑


花费了 亿点时间,终于在自己的电脑上搞定了pyinstaller的安装并且让它成功打包了一些小程序之后,尝试着用它打包pytorch这样的复杂程序,结果遇到的问题远比想象中要多,于是记个笔记,也避免后来人踩坑。

问题1:单个文件打包还是文件夹打包?

用pyinstaller打包pytorch的感觉就是大,这文件真的大……已经尽力用from import代替import之类的方式减少了导入的库内容,但还是打包出了一个巨大无比的应用程序。
没有使用upx压缩的情况下,打包为文件夹需要3G,而打包为单个exe文件则是需要1.3G,怎么看好像都是打包成一个exe比较划算的样子……?
大错特错!
首先是启动速度,打包为文件夹的情况下,启动基本是秒启动,但是打包为一整个exe文件,启动就需要将近30s才能print出第一行提示语句……
其次,借着这次机会也正好了解了一下exe的运行机制,打包为整个exe文件之后,它每次运行都会把相当于整个文件夹的内容释放到一个c盘的临时文件夹中,而且它不会马上删除!
你问我为什么发现了这件事?因为试运行了几次之后,我的C盘直接裂裂裂裂裂开了……
可怜弱小又无助的系统盘QvQ
在这里插入图片描述
经过测试发现,打包为整个文件夹的话,程序就会在当前路径直接运行,而不会创造一个巨大无比的临时文件在一次次运行中炸掉C盘,因此最后决定采用打包为一个文件夹的形式。

问题2:一起打包的数据文件找不到?

毕竟……是pytorch嘛,最终打包的肯定是只有测试模式的代码,而不会把训练模式的大段代码都塞进exe里面,所以,希望把一个.pth的模型数据文件一起打包进去,这样加载的网络模型只要直接从模型里面读数据就可以了。
很快,新的问题出现了,当把模型的路径设置为当前路径的时候,会出现一种非常诡异的情况:在本地计算机上运行正常,但是把整个打包好的文件夹放在别的电脑上运行的时候,它直接报错说,找不到该文件!
你总不会是把绝对路径给打包到exe里面去了吧???
好在查阅了一堆网络资料后,发现这可能是运行路径的问题,但是网上给出的写法五花八门,大部分试了之后发现根本没卵用, 另一个问题是,打包之后的文件夹过于杂乱,因此甚至想找到启动程序的exe文件都需要滚轮往下滑好几页,寻思之后,干脆在整个文件夹外面写一个.bat文件作为启动脚本:

start 文件夹/启动文件.exe

此时的目录结构如图所示:

|-测试工作区
    |-打包的整个项目文件夹
        |-打包后的数据文件
        |-打包后的启动程序.exe
    |-用于启动exe的脚本.bat

但是这又引出了新的问题:这个运行的路径到底是临时程序文件路径,还是exe启动程序路径,还是bat脚本路径???
我没看懂,但我大受震撼.jpg
猜测半天不如进行实测,于是把网上五花八门的写法都拉进来写了个测试代码打包到exe里面看看结果:

import os

print("当前程序路径",os.getcwd(), os.path.exists(os.getcwd()+'\\'+G_model_path))
print("当前脚本路径", sys.path[0], os.path.exists(sys.path[0]+'\\'+G_model_path))
print("当前默认所在路径", os.path.abspath('.'), os.path.exists(os.path.abspath('.')+'\\'+G_model_path))
print('临时执行路径',os.path.split(os.path.realpath(__file__))[0], os.path.exists(os.path.split(os.path.realpath(__file__))[0]+'\\'+G_model_path))

每一行都会显示这种写法得到的路径信息,与能否在这条路径上找到打包到文件夹里面的数据文件。

首先尝试直接双击exe启动,得到结果:

当前程序路径 测试工作区\打包的整个项目文件夹 True
当前脚本路径 测试工作区\打包的整个项目文件夹\base_library.zip False
当前默认所在路径 测试工作区\打包的整个项目文件夹 True
临时执行路径 测试工作区\打包的整个项目文件夹 True

然后试着用.bat启动exe,得到结果:

当前程序路径 测试工作区 False
当前脚本路径 测试工作区\打包的整个项目文件夹\base_library.zip False
当前默认所在路径 测试工作区 False
临时执行路径 测试工作区\打包的整个项目文件夹 True

实践出真知,全部测试之后的结果表明,sys.path[0]就是渣渣! 在直接双击运行exe的时候,有三种措施都能起效,但是通过bat运行exe的时候,只有最后一种写法os.path.split(os.path.realpath(__file__))[0]才能找到正确的数据文件所在路径。

问题3:GPU训练的模型要放到CPU环境跑?

这个问题相对来说比较简单,只需要修改加载模型参数的代码。
G_model.load_state_dict(load(G_model_path))
改为G_model.load_state_dict(load(G_model_path, map_location=device('cpu')))

问题4:直接打包还是用spec文件配置?

推荐先生成spec文件,完成配置后重新打包

然后在test.spec中修改参数:

4.1 添加PYTHONPATH

如果你需要import项目根目录中的文件夹作为库,需要将文件夹路径添加到该参数
必须用绝对路径!相对路径不生效!

pathex=['path']

4.2 添加数据文件

程序调用的相对路径中的数据文件

datas=[(oldpath1, newpath1), (oldpath2, newpath2)]

4.3 手动添加没有被识别到的调用库

hiddenimports=['libs']

问题全部解决之后,程序运行正常√

;