建网站的公司起什么名好,ps切片工具做网站,黑马程序员培训机构怎么样,wordpress编辑页面的颜色文章目录1.底层驱动的安装1.1 操作系统的安装1.2 显卡驱动的安装1.3 cuda的安装2.使用docker配置深度学习开发环境2.1 docker的安装2.2 nvidia_docker的安装2.3 安装过程中的问题2.3.1 docker和nvidia_docker的版本不匹配的问题。2.3.2 解决每次运行docker命令的时候要加sudo.2…
文章目录1.底层驱动的安装1.1 操作系统的安装1.2 显卡驱动的安装1.3 cuda的安装2.使用docker配置深度学习开发环境2.1 docker的安装2.2 nvidia_docker的安装2.3 安装过程中的问题2.3.1 docker和nvidia_docker的版本不匹配的问题。2.3.2 解决每次运行docker命令的时候要加sudo.2.3.3 解决每次docker pull镜像速度慢的问题。2.2.4 解决docker无法运行容器的问题。3.nvidia_docker的使用3.1 docker 的常用的命令3.2 docker使用过程中的注意事项4.dockerfile的使用4.1 dockerfile的例子4.2基于dockerfile创建镜像深度环境的搭建对于深度学习是非常重要的。其中深度学习开发环境中因为用到非常多的第三方库往往搭建起来非常费劲如果有一个工具能够往我们只需要搭建一次以后换了开发环境后直接copy过去就能用该多好docker就是用于解决这个问题的好方法。下面将介绍一下如何使用docker配置深度学习开发环境。 1.底层驱动的安装
1.1 操作系统的安装
参考文章Linux操作系统的安装
1.2 显卡驱动的安装
参考文章英伟达显卡驱动的安装
1.3 cuda的安装
参考文章cuda的安装
2.使用docker配置深度学习开发环境
2.1 docker的安装 注意docker和nvidia_docker的版文好要对应 参考文章docker的安装 运行sudo docker run hello-world 测试docker是否安装和启动成功
如果之前或者系统自带的有docker,一定要卸载掉之前的docker然后运行上面的命令安装docker
2.2 nvidia_docker的安装 注意docker和nvidia_docker的版文好要对应 参考文章nvidia_docker的安装 运行docker run --runtimenvidia --rm nvidia/cuda nvidia-smi命令测试nvidia_docker是否安装成功。
上面的测试命令需要你下载nvidia/cuda镜像这个镜像比较大下载非常耗时所以一般查看是否拥有nvidia_docker命令即可如果有这个命令说明安装成功
2.3 安装过程中的问题
2.3.1 docker和nvidia_docker的版本不匹配的问题。
问题提示
docker-ce ( 5:18.09.0~3-0~ubuntu-xenial) but 18.06.0~ce~3-0~ubuntu is to be installed解决方法 卸载掉原先安装的docker一定要注意卸载干净一般的卸载方法是无法卸载干净的请自行百度然后运行上面给的命令就可以不出现上面的错误了。一般如果系统没有自带docker或者后面没有安装docker直接运行上面给出的命令是不会出问题的。
2.3.2 解决每次运行docker命令的时候要加sudo.
参考文章 其实就是常见一个docker用户组然后将用户都加入进去即可。 2.3.3 解决每次docker pull镜像速度慢的问题。
参考文章 我觉得这是比较好的方法网上还有直接添加镜像网站的方法效果不是很好此处建议使用上面的方法。 2.2.4 解决docker无法运行容器的问题。
错误提示
Error response from daemon: Unknown runtime specified nvidia.参考文章注意事项 一定要保证nvidia_docker安装成功查看/usr/bin/nvidia-container-runtime执行文件是否存在按照上面的要求修改文件/etc/systemd/system/docker.service.d/override.conf查看该/etc/docker/daemon.json是否出错记住一定只能有一个一级的大括号不能出现并集的两个。
## /etc/docker/daemon.json
{ registry-mirrors: [http://f136**2.m.daocloud.io], runtimes: { nvidia: { path: /usr/bin/nvidia-container-runtime, runtimeArgs: [] } }
}
## /etc/systemd/system/docker.service.d/override.conf
[Service]
ExecStart ExecStart/usr/bin/dockerd --hostfd:// --add-runtimenvidia/usr/bin/nvidia-container-runtime 3.nvidia_docker的使用
3.1 docker 的常用的命令 启动容器命令示例 通过运行命令“nvidia_docker run --rm --it --name“myTorch” --volume”/home/deep_wfy/project:/home/deep_wfy/workspace:rw pytorch:latest /bin/bash
–rm表示在退出使用快捷键Ctrld退出时同时删除该镜像文件的缓存如果不加该选项则该镜像的缓存会存在电脑中通过运行命令“docker start myTorch”可以重新进入到该镜像的环境中可以使用命令“docker rm myTorch”将缓存删除此时使用命令“docker ps -a”查看发现没有。“–it”表示该镜像运行在终端环境中不加则无法进入到该镜像中。“–name”表示给该镜像命名为myTorch同一个镜像可以在不同运行时起不同的名字用于区分不同的环境。“–volume”表示有镜像创建的虚拟环境和物理环境中文件的共享映射此处表示将物理环境中的“/home/deep_wfy/project”路径下的文件和虚拟环境中的“/home/deep_wfy/workspace”文件相对应而且具有读写的权限即在虚拟环境中修改文件在物理环境中也会改变这样即使把镜像创建的虚拟环境删除文件依然保存。“pytorch:latest”是你要运行的镜像的名称“/bin/bash”表示执行镜像环境中的bin文件夹下的bash可执行文件这个可以通过查看该镜像的dockerFile看出进行入到镜像的虚拟环境中便可以完成相应的操作,可以直接使用该镜像中环境了。与使用真实的环境并无差异。 只记录docker命令在大部分情境下的使用如果想了解每一个选项的细节请参考官方文档 Docker环境信息 — docker [info|version]容器生命周期管理 — docker [create|exec|run|start|stop|restart|kill|rm|pause|unpause]容器操作运维 — docker [ps|inspect|top|attach|wait|export|port|rename|stat]容器rootfs命令 — docker [commit|cp|diff]镜像仓库 — docker [login|pull|push|search]本地镜像管理 — docker [build|images|rmi|tag|save|import|load]容器资源管理 — docker [volume|network]系统日志信息 — docker [events|history|logs] 退出某个镜像的操作是CTRL D其实docker中的很多命令与Linux是非常相似的所以用起来非常简单docker help [command]可以查看具体命令的一些详细信息 3.2 docker使用过程中的注意事项
镜像查找网站,一般网站中会给出镜像拉取和容器创建的命令如果要开启GUI声音等权限需要去查相关的命令如果要使用tensorboard则需要指明容器与服务器的端口映射。
4.dockerfile的使用
4.1 dockerfile的例子
Ubuntu 16.04
FROM scratch
ADD ubuntu-xenial-core-cloudimg-amd64-root.tar.gz /
# delete all the apt list files since theyre big and get stale quickly
RUN rm -rf /var/lib/apt/lists/*
# this forces apt-get update in dependent images, which is also good
# (see also https://bugs.launchpad.net/cloud-images/bug/1699913)# a few minor docker-specific tweaks
# see https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap
RUN set -xe \\
# https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap#L40-L48 echo #!/bin/sh /usr/sbin/policy-rc.d \ echo exit 101 /usr/sbin/policy-rc.d \ chmod x /usr/sbin/policy-rc.d \\
# https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap#L54-L56 dpkg-divert --local --rename --add /sbin/initctl \ cp -a /usr/sbin/policy-rc.d /sbin/initctl \ sed -i s/^exit.*/exit 0/ /sbin/initctl \\
# https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap#L71-L78 echo force-unsafe-io /etc/dpkg/dpkg.cfg.d/docker-apt-speedup \\
# https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap#L85-L105 echo DPkg::Post-Invoke { rm -f /var/cache/apt/archives/*.deb /var/cache/apt/archives/partial/*.deb /var/cache/apt/*.bin || true; }; /etc/apt/apt.conf.d/docker-clean \ echo APT::Update::Post-Invoke { rm -f /var/cache/apt/archives/*.deb /var/cache/apt/archives/partial/*.deb /var/cache/apt/*.bin || true; }; /etc/apt/apt.conf.d/docker-clean \ echo Dir::Cache::pkgcache ; Dir::Cache::srcpkgcache ; /etc/apt/apt.conf.d/docker-clean \\
# https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap#L109-L115 echo Acquire::Languages none; /etc/apt/apt.conf.d/docker-no-languages \\
# https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap#L118-L130 echo Acquire::GzipIndexes true; Acquire::CompressionTypes::Order:: gz; /etc/apt/apt.conf.d/docker-gzip-indexes \\
# https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debootstrap#L134-L151 echo Apt::AutoRemove::SuggestsImportant false; /etc/apt/apt.conf.d/docker-autoremove-suggests# make systemd-detect-virt return docker
# See: https://github.com/systemd/systemd/blob/aa0c34279ee40bce2f9681b496922dedbadfca19/src/basic/virt.c#L434
RUN mkdir -p /run/systemd echo docker /run/systemd/container# overwrite this with CMD [] in a dependent Dockerfile
CMD [/bin/bash]ubuntu 18.04 cuda10 tensorflow1.13
# Copyright 2018 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the License);
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an AS IS BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
#
# THIS IS A GENERATED DOCKERFILE.
#
# This file was assembled from multiple pieces, whose use is documented
# throughout. Please refer to the TensorFlow dockerfiles documentation
# for more information.ARG UBUNTU_VERSION18.04ARG ARCH
ARG CUDA10.0
FROM nvidia/cuda${ARCH:-$ARCH}:${CUDA}-base-ubuntu${UBUNTU_VERSION} as base
# ARCH and CUDA are specified again because the FROM directive resets ARGs
# (but their default value is retained if set previously)
ARG ARCH
ARG CUDA
ARG CUDNN7.4.1.5-1# Needed for string substitution
SHELL [/bin/bash, -c]
# Pick up some TF dependencies
RUN apt-get update apt-get install -y --no-install-recommends \build-essential \cuda-command-line-tools-${CUDA/./-} \cuda-cublas-${CUDA/./-} \cuda-cufft-${CUDA/./-} \cuda-curand-${CUDA/./-} \cuda-cusolver-${CUDA/./-} \cuda-cusparse-${CUDA/./-} \curl \libcudnn7${CUDNN}cuda${CUDA} \libfreetype6-dev \libhdf5-serial-dev \libzmq3-dev \pkg-config \software-properties-common \unzipRUN [ ${ARCH} ppc64le ] || (apt-get update \apt-get install nvinfer-runtime-trt-repo-ubuntu1804-5.0.2-ga-cuda${CUDA} \ apt-get update \ apt-get install -y --no-install-recommends libnvinfer55.0.2-1cuda${CUDA} \ apt-get clean \ rm -rf /var/lib/apt/lists/*)# For CUDA profiling, TensorFlow requires CUPTI.
ENV LD_LIBRARY_PATH /usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATHARG USE_PYTHON_3_NOT_2
ARG _PY_SUFFIX${USE_PYTHON_3_NOT_2:3}
ARG PYTHONpython${_PY_SUFFIX}
ARG PIPpip${_PY_SUFFIX}# See http://bugs.python.org/issue19846
ENV LANG C.UTF-8RUN apt-get update apt-get install -y \${PYTHON} \${PYTHON}-pipRUN ${PIP} --no-cache-dir install --upgrade \pip \setuptools# Some TF tools expect a python binary
RUN ln -s $(which ${PYTHON}) /usr/local/bin/python # Options:
# tensorflow
# tensorflow-gpu
# tf-nightly
# tf-nightly-gpu
# Set --build-arg TF_PACKAGE_VERSION1.11.0rc0 to install a specific version.
# Installs the latest version by default.
ARG TF_PACKAGEtensorflow
ARG TF_PACKAGE_VERSION
RUN ${PIP} install ${TF_PACKAGE}${TF_PACKAGE_VERSION:${TF_PACKAGE_VERSION}}COPY bashrc /etc/bash.bashrc
RUN chmod arwx /etc/bash.bashrc4.2基于dockerfile创建镜像
参考文章
