ubuntu20.04深度学习配置方案+常用软件

发布时间:2023-05-09 13:00

ubuntu20.04深度学习配置方案+常用软件

  • 目录
    • 基本说明
    • 安装后需要做什么
      • 换成国内源
      • 安装ssh服务
    • 1. 常用软件安装
      • 1.1 截图工具Shutter安装
      • 1.2 chrome安装方案
      • 1.3 WPS2019安装方案
      • 1.4 screen安装
      • 1.5 VSCode安装
      • 1.6 PyCharm安装
      • 1.7 LaTex安装
        • 1.7.1 安装texlive2020
        • 1.7.2 安装texstudio
      • 1.8 安装百度云
    • 2. CUDA,cudnn, pytorch配置流程
      • 2.1 CUDA安装和cudnn(nvidia-driver-400,cuda10.2)
        • CUDA安装
        • 安装cuDNN
      • 2.2 CUDA安装和cudnn(nvidia-driver-510,cuda11.6)
        • CUDA安装
        • cudnn安装(方法1:tar安装)
        • cudnn安装(方法2:deb,不推荐使用deb安装)
      • 2.3 安装miniconda和python
      • 2.4 安装Pytorch的虚拟环境
    • 其他
      • 无网络进行pip安装
    • 桌面美化

目录

基本说明

系统:ubuntu20.04
常用软件都安装在/opt目录下。(对大家公用的服务器)

安装后需要做什么

换成国内源

使用清华源:https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/,备份/etc/apt/sources.list文件,写入如下内容。

# 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse

# 预发布软件源,不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse

安装ssh服务

安装了ssh后,才能连接这台服务器。

sudo apt-get install openssh-server
ps -e | grep ssh # if success, you will find \'sshd\'
sudo service ssh start # start service, if not find.

1. 常用软件安装

1.1 截图工具Shutter安装

sudo apt-get install shutter

settings->Keyboard SHortcuts中添加快捷键
\"ubuntu20.04深度学习配置方案+常用软件_第1张图片\"设置(开机自启动,截图后不主动显示软件编辑界面)
\"ubuntu20.04深度学习配置方案+常用软件_第2张图片\"

1.2 chrome安装方案

直接从chrome官网下载deb安装包
然后使用(64 位安装命令)sudo dpkg -i google-chrome-stable_current_amd64.deb

会自动安装在/opt目录下。

1.3 WPS2019安装方案

  1. 卸载原生liboffice
sudo apt-get remove libreoffice-common

如果以后还要安装可以执行

sudo apt-get install libreoffice
  1. 安装wps
    下载wps deb包(https://www.wps.cn/product/wpslinux/)
    会出现字体问题(TODO: 待解决)

参考:ubuntu20.04 安装 WPS 2019

1.4 screen安装

  • screen
sudo apt install screen

1.5 VSCode安装

  • VSCode(下载deb,安装就行,但所在目录未知。)

1.6 PyCharm安装

  • PyCharm
  1. 解压,然后打开终端,进入bin目录
  2. sh ./pycharm.sh开始安装
  3. 输入pycharm账号,完成专业版激活。
  4. 安装插件Nyan progress bar
  5. 桌面快捷方式
    创建.Desktop文件
sudo gedit /usr/share/applications/pycharm.desktop

填写

[Desktop Entry]
Type=Application
Name=Pycharm
GenericName=Pycharm3
Comment=Pycharm3:The Python IDE
Exec=sh /opt/pycharm-2020.2.1/bin/pycharm.sh
Icon=/opt/pycharm-2020.2.1/bin/pycharm.png
Terminal=pycharm
Categories=Pycharm;

参考:Ubuntu安装pycharm后没有快捷方式的解决办法

  • v2: https://www.jianshu.com/p/04edc67ede78

1.7 LaTex安装

1.7.1 安装texlive2020

1.访问清华站,选择texlive2020.iso下载。
2.挂载sudo mount texlive2020.iso/mnt
3.开始安装

cd /mnt
sudo ./install-tl -gui

\"ubuntu20.04深度学习配置方案+常用软件_第3张图片\"
3.安装完成后卸载镜像文件。

cd ~
sudo umount /mnt

4.配置环境变量

sudo gedit ~/.bashrc

在文件最后添加

export PATH=/usr/local/texlive/2020/bin/x86_64-linux:$PATH
export PATH=/usr/local/texlive/2020/texmf-dist/scripts/latexindent:$PATH
export MANPATH=/usr/local/texlive/2020/texmf-dist/doc/man:$MANPATH
export INFOPATH=/usr/local/texlive/2020/texmf-dist/doc/info:$INFOPATH

5.使环境变量生效

source /etc/profile

Texlive安装完成。

1.7.2 安装texstudio

sudo apt-get install texstudio

可以在应用中,直接搜索到texstudio,安装完毕。

参考:

Ubuntu(20.04 LTS) OS 下 VS Code + LaTeX 快速配置指南

1.8 安装百度云

登陆https://pan.baidu.com/download,选择linux deb版本下载。

sudo dpkg -i baidunetdisk_3.4.1_amd64.deb

2. CUDA,cudnn, pytorch配置流程

2.1 CUDA安装和cudnn(nvidia-driver-400,cuda10.2)

CUDA安装

首先使用ubuntu-drivers devices命令查看自己的机器所需要安装的驱动版本,这里表示要安装430或者440。
\"ubuntu20.04深度学习配置方案+常用软件_第4张图片\"
检查显卡支持的cuda版本(当前我的为10.2)
\"ubuntu20.04深度学习配置方案+常用软件_第5张图片\"接下来去官网下载CUDA
https://developer.nvidia.com/cuda-toolkit-archive,选择10.2
\"ubuntu20.04深度学习配置方案+常用软件_第6张图片\"这么选择并依次执行下面的命令。\"ubuntu20.04深度学习配置方案+常用软件_第7张图片\"第一条安装指令\"ubuntu20.04深度学习配置方案+常用软件_第8张图片\"出现了Failed to verify gcc version,检查系统是否安装过gcc和g++。直接所使用命令 --version进行测试。ubuntu系统自带的应该是gcc9,而需要添加gcc7才可安装cuda10.2。(如果系统没有gcc,先安装一个最新的版本。sudo apt-get install gcc和g++)
对gcc进行降级
sudo apt-get install gcc-7 g++-7
使用update-alternatives进行版本切换,输入以下命令:

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 100
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 50

查看默认的gcc版本,默认gcc版本为7即可。
sudo update-alternatives --config gcc

再次尝试安装cuda,sudo sh cuda_10.2.89_440.33.01_linux.run

接受license
\"ubuntu20.04深度学习配置方案+常用软件_第9张图片\"
若是已有显卡驱动,不安装cuda安装包中自带的显卡驱动。(判断是否有显卡驱动只需要输入,若系统此时没有显卡驱动,则可以全部勾上。
\"ubuntu20.04深度学习配置方案+常用软件_第10张图片\"这里报了错。\"在这里插入图片描述\"具体错误内容如下:

[ERROR]: Unable to determine libdir
[ERROR]: Unable to determine libdir
[INFO]: Uninstall entry: file /usr/share/man/man3/NVML_ERROR_RESET_REQUIRED.3 7282b1f7013601a8f5aa8744bae74775
...
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"
[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/CUDA_Toolkit_10.2-components/CUDA_Tools_10.2-components/CUDA_Command_Line_Tools_10.2-components/\"

参考了这个回答求助!!ubuntu20.04安装CUDA10.2失败!(事实证明搜索也是有技巧的。搜[ERROR]: boost::filesystem::remove: Directory not empty: \"/var/log/nvidia/.uninstallManifests/\"这个就有相关结果了。)
将指令改为sudo ./cuda_10.2.89_440.33.01_linux.run --librarypath=/usr/local/cuda-10.2,重新运行。操作和上面的相同。

xuyc@xuyc-Super-Server:~/Desktop$ sudo ./cuda_10.2.89_440.33.01_linux.run  --librarypath=/usr/local/cuda-10.2
===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-10.2/
Samples:  Installed in /home/xuyc/, but missing recommended libraries

Please make sure that
 -   PATH includes /usr/local/cuda-10.2/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-10.2/lib64, or, add /usr/local/cuda-10.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.2/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.2/doc/pdf for detailed information on setting up CUDA.
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 440.00 is required for CUDA 10.2 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log

接下来配置环境变量。
输入gedit ~/.bashrc命令打开文件,在文件结尾输入以下语句,保存。

export PATH=/usr/local/cuda-10.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

更新环境变量配置

source ~/.bashrc

然后使用nvcc -V测试以下是否能检测到Cuda,出现以下的信息就是成功啦。
\"ubuntu20.04深度学习配置方案+常用软件_第11张图片\"

安装cuDNN

官网:https://developer.nvidia.com/rdp/cudnn-archive,需要注册个账号才能下载。
这里选择cuDNN V7.6.5版本,下载cuDNN Library for Linux,为什么不下载最新版呢?因为最新版只看到x86和power两个版本的cuDNN Library下载。
\"ubuntu20.04深度学习配置方案+常用软件_第12张图片\"
下载解压之后,将cuda/include/cudnn.h文件复制到/usr/local/cuda/include文件夹,将cuda/lib64/下所有文件复制到/usr/local/cuda/lib64文件夹中,并添加读取权限:

cp cuda/include/cudnn.h /usr/local/cuda/include
cp cuda/lib64/* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

cuDNN安装完成。

参考:Ubuntu 20.04 CUDA&cuDNN安装方法
Ubuntu 18.04 安装 NVIDIA 显卡驱动

2.2 CUDA安装和cudnn(nvidia-driver-510,cuda11.6)

CUDA安装

更新时间为2022.2.27,由于cuda驱动一直更新,现在已经到了nvidia-driver-510的版本。略有不同,再讲一下安装过程。

首先检查一下显卡驱动,在终端输入ubuntu-drivers devices。发现推荐我安装nvidia-driver-510 - distro non-free recommended.
我使用sudo ubuntu-drivers autoinstall指令直接安装了这个推荐的版本。
安装完成后,输入nvidia-smi,会出现了NVIDIA-SMI has failed because it couldn\'t communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.报错,这时候重启一下机器就可以。
重启完成后,再次使用nvidia-smi就可以找到显卡。

安装cuda,进入https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=deb_local安装
\"ubuntu20.04深度学习配置方案+常用软件_第13张图片\"
vim ~/.bashrc,在末尾加入

export PATH=/usr/local/cuda-11.6/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

使用nvcc -V测试通过。

cudnn安装(方法1:tar安装)

从官网上下载
\"ubuntu20.04深度学习配置方案+常用软件_第14张图片\"
下载后的文件是:cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive.tar.xz,由于我们cuda下载的是11.6版本,所以相关文件都放入cuda-11.6的文件夹即可。

tar -xzvf cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive.tar.xz
cd cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive
sudo cp include/cudnn*.h /usr/local/cuda-11.6/include/
sudo cp -P lib/libcudnn* /usr/local/cuda-11.6/lib64
sudo chmod a+r /usr/local/cuda-11.6/include/cudnn*.h /usr/local/cuda-11.6/lib64/libcudnn*

参考:ubuntu 安装cuda11.5+cudnn8.3.1 - 西红柿番了个茄的文章 - 知乎

cudnn安装(方法2:deb,不推荐使用deb安装)

官网登陆下载https://developer.nvidia.com/rdp/cudnn-archive
\"ubuntu20.04深度学习配置方案+常用软件_第15张图片\"
下载完成后,在服务器上使用sudo dpkg -i cudnn-local-repo-ubuntu2004-8.3.1.22_1.0-1_amd64.deb安装。

误用deb安装的卸载方法:

dpkg -l | grep cudnn
sudo dpkg -r [上一步的已安装Deb版本名称]

2.3 安装miniconda和python

ubuntu20.04是不自带
从清华源https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/下载miniconda,运行。
选择安装在/opt/miniconda3路径安装。需要配置Python的环境变量。

  1. 用vim打开vim ~/.bashrc

  2. 在尾部添加export PATH=/opt/miniconda3/bin:$PATH,保存退出(注意:这里写PYTHONPATH我试了,没用的。)

  3. source ~/.bashrc刷新一下注册表。
    测试完成。
    \"在这里插入图片描述\"

  4. 切换conda源

# 1,2是Anaconda官方库的镜像
# 3是Anaconda第三方库 Conda Forge的镜像
# 4是for linux(Pytorch)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes

\"ubuntu20.04深度学习配置方案+常用软件_第16张图片\"conda的设置在文件~/.condarc中。

参考:conda 换国内的镜像源

完全卸载Miniconda或conda需要删除这些文件

rm -rf ~/anaconda3 
rm -rf ~/.condarc 
rm -rf ~/.conda 

2.4 安装Pytorch的虚拟环境

conda create -n torch python=3.6

换源了之后,下载非常快。

source activate torch
# CUDA 10.2
conda install pytorch==1.5.1 torchvision==0.6.1 cudatoolkit=10.2 -c pytorch
pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2

其他

无网络进行pip安装

# 有网络的机子
pip download tensorboard_logger
# 无网络的机子
pip install tensorboard_logger-0.1.0-py2.py3-none-any.whl -f ./ --no-index

桌面美化

暂时不做。

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号