发布时间:2024-05-20 14:01
著名的诺贝尔物理学奖得主Richard Phillips Feynman提出一个著名的学习方法——“费曼学习法”,其核心可以总结为四个字:“以教促学”。
如果能把一件事讲清楚给其他人听明白,自己就是最大的受益者。
“路漫漫其修远兮,吾将上下而求索”。今天开始,通过公众号记录一下自己探索计算机视觉过程中的所学所记和所感。
本文介绍《如何在win10上配置深度学习环境》。对于想入门深度学习的同学来说,配置环境是必经之路(仍记得当初被各种环境问题折腾的痛苦)。
虽然现在已经有很多云服务器,简单选择一下就可以远程连接进行编码训练。但我建议最好还是在自己的电脑上配置一下环境,在自己电脑上编程,跑通代码,再放到服务器上进行训练。
以下的所有过程都亲手跑通,算是非常详细的。
本文的前提要求有:英伟达独立显卡(本实验基于NVIDIA 1050)、win10。配置的软件包括:CUDA 10.1、cuDNN 7.5.1、python 3.6、Pytorch 1.4.0以及opencv 4.1.1。这个版本配置也是我使用最多、比较稳定的环境配置。具体过程如下:
登录CUDA的下载官网。如果没有注册过的,需要先注册一个账号,使用QQ邮箱注册即可。
接着,需要选择10.1的版本驱动进行下载。我选择的是CUDA Toolkit 10.1 update2的版本。
需要注意的是,如果显卡是30系列的,需要安装CUDA 11.0以上的版本,相应的cuDNN,Pytorch版本都会不同。
点开后,分别选择:windows版本,version10以及exe(local)。这个文件一共2.5GB,下载比较吃力。我建议“右键”–>“复制链接”,然后使用迅雷进行下载,会相对于浏览器下载快很多。
耐心等待下载完成后,直接双击exe文件运行,然后一直next。等待的过程会比较久,甚至出现闪烁,这都是正常的现象,只需要安心等待。
如果安装过程中没有更改安装路径,则可以在路径C:\\Program Files\\NVIDIA GPU Computing Toolkit\\CUDA\\v10.1
下看到相应的驱动文件,表明安装cuda成功。
另外,训练时查看显卡的占比率,通常使用win键+r,输入cmd打开终端,然后输入nvidia-smi便可查看。
首先,打开官网。根据我自己的使用,我选择安装cuDNN 7.5.1版本,接着选择cuDNN Library for windows 10进行下载。这个文件只有240M,使用浏览器下载速度也是可以的。
下载完后,将其解压(推荐使用7-Zip解压)。然后将cuda下面的所有文件,全部拷贝至C:\\Program Files\\NVIDIA GPU Computing Toolkit\\CUDA\\v10.1
文件夹下,这样cuDNN就安装完成了。
如果想查看cuDNN的版本,可以打开C:\\Program Files\\NVIDIA GPU Computing Toolkit\\CUDA\\v10.1\\include
,找到cudnn.h文件,打开便可查看。
(一)简介
Anaconda是一个开源的Python发行版本,可以将其理解为一个管理各种软件包的平台。你可以轻松创建虚拟环境,在里面轻松安装各种需要的包。其中包含了conda、Python、numpy、pandas等180多个科学包及其依赖项。最重要的是各种环境相互独立,如果手上有两个项目,一个要求python3,一个要求python2,那么使用anaconda创建两个独立环境便可解决,极大方便了开发人员。
(二)下载
首先,进入官网,然后直接点Download下载即可。同理,文件有477MB,可以右键保存链接,然后使用迅雷进行下载。
(三)安装
下载完成后,是一个exe运行版本,直接双击运行安装包。在选择安装路径时,可以使用默认的C盘。但是我不建议这么做,我放在了更大空间的盘(注意路径上不要有中文,比如我的安装路径在E:\\Anaconda
)。
另外,还有一个特别需要注意的是,有一项“Add Anaconda3 to my PATH environment variable”需要勾上,这样在安装时会自动将Anaconda加入环境变量中,使用命令终端即可运行conda命令。接着就是一路Next,直到完成。
(四)验证
如果安装完成后,按win键+r,输入cmd打开终端。输入conda env list,如果显示现有环境,便说明conda安装完成。
但如果出现的是‘conda’不是内部或外部命令,说明conda未添加至环境变量。很有可能是一时手快,没有勾选加入环境变量的选项。
这时候有两种方法:第一,直接删掉已经装好的文件,重新运行安装包,再装一次(推荐)。第二,手动添加至环境变量。打开此电脑–>右键选择“属性”–>选择“高级系统设置”–>在打开的页面中点击“环境变量”。
接着,在用户变量那栏找到Path,双击打开,然后就可以“新建”–>“浏览”,找到相应的文件夹路径,分别添加进来。
注意:E:\\Anaconda
是我的安装路径,需要按照自己实际的安装路径进行选择。接着点确定即可。如果还是不行,则重启一下,再进行验证。打开终端,输入conda list验证一下。
(一)简介
pytorch是目前最受欢迎、最便捷使用的深度学习框架之一,由Facebook人工智能研究院发布。
(二)创建虚拟环境
对于开展一个新项目,通常都需要对应一个新的虚拟环境。刚才安装了anaconda,创建一个新环境只需要一句命令。同样,win键+r,输入cmd打开终端,输入:
conda create -n learnCV python=3.6 pip
其中,-n是-name的缩写,learnCV是我的环境名(自己改),然后在环境里面安装了python3.6以及pip库。
输入y进行确认下载,接着就是等待。下载完成后,根据提示,使用:
conda activate learnCV
便可进入环境。判断是否在环境中,只需要观察路径前面是否有个括号,里面是你的环境名。同理,使用命令:
conda deactivate
可以退出虚拟环境。测试一下环境,可以直接输入:python,便可进入python编辑器,输入:print(“hello cv”),回车。如果环境没问题,则会出现下面的画面,表示python环境安装完成。
(三)安装Pytorch1.4.1
第一步可以打开pytorch官网,查看各种版本的下载命令。官网网址,可以使用conda或者pip进行下载。注意,必须进入自己的虚拟环境进行下载。
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
但是由于我们使用cuda 10.1的,所以需要指定版本号。另外,torchaudio是语音库,做CV的基本用不上,所以不用下载。
我下载的命令是:
conda install pytorch torchvision cudatoolkit=10.1 -c pytorch
这个过程需要很漫长的等待,特别是下载pytorch时,大小大概是700多M,有时候网络太慢就会断掉。这时候要么使用国内镜像下载,要么等网络好的时候再安装。一次中断了,就运行多几次,直到成功。
另外,如果复现时对pytorch版本有严格的要求时(比如论文复现时代码要求torch版本是0.4.1),就可以指定版本。相应的命令如下:
conda install pytorch=0.4.1 torchvision cudatoolkit=9.0 -c pytorch
(四)验证pytorch
同理,安装完只需要打开终端,进入创建的虚拟环境,进行验证。
如上所示,可以成功导入torch,并且cuda可用,说明环境已经安装成功了。
opencv是计算机视觉学习者必须学习的一个图像处理库,包含了许多图像处理的操作,比如图片读取,二值化,图片保存等待操作。
安装opencv,使用便捷的pip即可。我通常使用的是清华源镜像,命令如下:
pip install --default-timeout=1000 -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python==4.1.1.26
其中,设置–default-timeout是防止下载时间过长而中断,-i则表示引用的源,最后面是下载的库。如果运行代码时,出现“No module name ***”,那么只需要替换命令后面的库名即可下载安装。