DevOps

内容 在Ubuntu 22.04 上安装 conda，修改conda路径至数据盘，配置使用国内镜像源，以及打包环境至离线环境方法。 安装包 使用wget或者直接点击下载安装包 将conda添加至PATH以持久化使用 # 查看 conda 命令的位置 which conda # 查看 conda 的安装根目录 conda info --base # 打开 ~/.bashrc并在最下面加入 export PATH="/home/ubuntu/miniconda3/bin:$PATH" #运行 source ~/.bashrc conda init #重开一下窗口 配置conda的env和package的存储路径 # 打开 ~/.condarc并加入 envs_dirs: - /your/path/to/conda/envs pkgs_dirs: - /your/path/to/conda/pkgs 配置conda默认使用国内镜像源 # 使用阿里源为例 conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/ conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/ conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/bioconda/ #查看结果 conda config --show channels 创建conda环境 # 创造一个conda环境（指定路径或者使用默认路径） conda create --prefix /your/path/to/conda/envs/my_env python=3.12 conda create -n my_env python=3.12 #激活 新环境 conda activate my_env 查看已存在conda环境 conda info --envs conda内使用pip/uv示例 #使用pip pip install tqdm -i https://mirrors.aliyun.com/pypi/simple/ #使用uv可以加速 uv pip install tqdm -i https://mirrors.aliyun.com/pypi/simple/ 打包conda环境 # 打包一个已经存在的conda环境: conda pack -n my_env # 将压缩包传至目标服务器，解压打包好的conda环境 tar -xvzf my_env.tar.gz -C /your/conda/envs/my_env 将本地conda环境打包成docker镜像以实现容器化部署 Dockerfile 示例 ...

内容 在Ubuntu 22.04 上安装 docker，修改docker镜像存放位置至数据盘，配置使用国内镜像源，以及配置英伟达驱动使用方法。 安装必要工具 sudo apt update && sudo apt install -y ca-certificates curl gnupg lsb-release 添加阿里源 Docker 镜像仓库证书证书 curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/aliyun-docker.gpg 添加仓库 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/aliyun-docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu \ $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null 安装docker sudo apt update sudo apt install -y docker-ce # Ubuntu系统安装完以后自动启动，WSL可能需要额外一行命令： sudo service docker start 验证docker启动 sudo docker info 当前用户加入docker用户组 #如果没有docker group sudo groupadd docker sudo usermod -aG docker $USER newgrp docker 运维相关 #查看所有的container示例 docker ps -a #查看所有的镜像 docker images #查看docker运行日志，在启动失败时可用于排查问题 dockerd #用于修改docker镜像的名称,请自行修改<image-name-1>,<tag-1>,<image-name-2>, <tag-2>的内容 docker tag <image-name-1>:<tag-1> <image-name-2>:<tag-2> #移除docker镜像名 / 移除docker镜像 docker rmi A1:tag1 #查看一个容器的日志,使用ctrl+C 退出 docker logs -f <container-1> #查看一个容器的信息 docker inspect <container-1> #删除一个容器 docker rm -f <container-1> 镜像储存位置修改 #docker 镜像 迁移存储路径 sudo rsync -aP /var/lib/docker/ /mnt/data0/docker #修改docker配置 打开 /etc/docker/daemon.json #加入新位置,,维持daemon.json的语法 { ["data-root":"/your/new/path"] } #重启docker sudo systemctl daemon-reload sudo systemctl restart docker # 确认docker文件位置 docker info | grep "Docker Root Dir" 换国内源 打开 /etc/docker/daemon.json 加入源地址,维持daemon.json的语法 { "registry-mirrors": [ "https://docker.m.daocloud.io", "https://dockerproxy.com", "https://docker.hlmirror.com", "your-other-source.com" ] } # 加载并重启docker sudo systemctl daemon-reload sudo systemctl restart docker #确认换源成功 docker info -------------------------------------------------- #或者可以一次性使用源： docker pull docker.1ms.run/<image>:<tag> 打包至离线环境 #打包镜像 docker save -o my-docker-image.tar my-docker-image:tag #上传至目标服务器并加载 docker load -i my-docker-image.tar 配置Nvidia-Container-Toolkit # 确认 Nvidia 驱动已经安装： nvidia-smi 在线下载方法 ...