易用的做网站软件,完整的网站开发流程,东莞网站制作很好 乐云践新,seo整站优化+WordPress简介
https://huggingface.co/是一个AI社区#xff0c;类似于github的地位。它开源了许多机器学习需要的基础组件如#xff1a;Transformers, Tokenizers等。 许多公司也在不断地往上面提交新的模型和数据集#xff0c;利用它你可以获取以下内容#xff1a;
Datasets : 数…简介
https://huggingface.co/是一个AI社区类似于github的地位。它开源了许多机器学习需要的基础组件如Transformers, Tokenizers等。 许多公司也在不断地往上面提交新的模型和数据集利用它你可以获取以下内容
Datasets : 数据集Models : 预训练好的模型Docs : 各种文档。
名词解释
名词解释NLPNatural Language Processing自然语言处理是一种人工智能技术用于使计算机能够理解、解析和生成人类语言计算图在机器学习和深度学习中用于描述计算过程的图结构。它由节点Node和边Edge组成节点表示计算操作矩阵乘法、卷积、激活函数等边表示数据流向数据在节点之间的传递和依赖关系。动态图在运行时动态构建和执行计算图的方式可以在每个计算步骤中动态地定义、修改和执行计算节点。这 种方式使得模型的开发和调试更加灵活和直观可以方便地使用控制流语句和条件语句更容易进行动态的模型结构调整和组合静态图在编译时构建和优化计算图的方式计算图的定义和执行是分离的首先需要定义计算图的结构然后通过编译和优化过程生成可执行的计算图PyTorch一个开源的深度学习框架以动态图的方式进行计算图的构建和执行。它提供了丰富的工具和库使得在Python环境中进行张量计算和构建神经网络更加简单和高效TensorFlow一个开源的深度学习框架以静态图的方式进行计算图的构建和执行。它具有广泛的生态系统和强大的分布式计算支持适用于大规模模型训练和部署JAX一个用于高性能数值计算和机器学习的开源库。它结合了NumPy的易用性和灵活性以及XLA的自动加速能力。JAX支持自动微分和GPU加速适合构建高性能的机器 学习模型Transformers一个在NLP领域中广泛使用的模型架构用于处理文本相关的任务。提供API和工具可轻松下载和训练训练模型并支持PyTorch、TensorFlow和JAX之间的框架互操作性conda跨平台且支持多语言的软件包管理系统它可以安装、更新和删除各种编程语言的软件包并支持环境隔离CUDACompute Unified Device Architecture是一种并行计算平台和编程模型由NVIDIA开发。它允许开发者使用NVIDIA GPU图形 处理器进行通用目的的并行计算。
环境安装
conda
conda用于对包进行环境管理分为三个版本
Anacoda : 用于科学计算包含了Vonda、Python和超过150个可选软件包及其依赖项。Miniconda : Anaconda 的轻量级版本只包含了 Python 和 Conda以及它们的依赖项Conda : 只包含自身。
可以去国内镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/ 或者去官网下载https://docs.conda.io/projects/miniconda/en/latest/
使用文档https://conda.io/projects/conda/en/latest/user-guide/getting-started.html 安装
# 去https://repo.anaconda.com/miniconda上查找匹配的python版本
wget https://repo.anaconda.com/miniconda/Miniconda3-py39_23.10.0-1-Linux-x86_64.sh
chmod x Miniconda3-py39_23.10.0-1-Linux-x86_64.sh
./Miniconda3-py39_23.10.0-1-Linux-x86_64.sh -b -f -p install director常用命令
conda --verison
conda update conda
where conda
# 查看环境
conda info --envs
# 创建myEnvName环境并安装python包,如果不指定版本则使用的是conda中的python版本
conda create --name myEnvName python3.9
conda activate myEnvName
conda remove --name myEnvName --all
# 查找和安装软件包
conda search transformers
conda install transformers
conda list
# 查看conda配置
conda config --set show_channel_urls yes #生成配置文件
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --show channels
conda info | grep -i config
vim ~/.condarc配置代理 vim .condarc (windows下必须是gbk编码)
channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/- defaults
show_channel_urls: true
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpip
在配置完conda进行环境隔离后除了使用conda去安装依赖包之外也可以使用python自带的pip(会自动使用conda env下的pip)管理工具。
# pip install package[(|)version] [-i mirror url]
pip install transformers4.30.2 -i https://mirrors.aliyun.com/pypi/simple/
# 一次下载文件中写的依赖每个依赖占一行
pip install -r requirements.txt常用工具
在线测试模型环境https://colab.research.google.com/
# 查看gpu情况
nvidia-smi
