Windows安装CUDA环境

# 描述
CUDA（Compute Unified Device Architecture）是NVIDIA推出的并行计算平台和编程模型，允许开发者利用GPU进行计算。

在大模型微调中的作用：
- 高效利用GPU资源：CUDA为GPU提供了高效的内存管理和计算调度机制，能够充分利用GPU的计算能力。
- 加速深度学习框架：常用的深度学习框架（如PyTorch和TensorFlow）都支持CUDA。通过CUDA，这些框架可以将计算任务从CPU卸载到GPU，从而实现加速。

# 基础环境
首先，需要安装好Python，最低Python版本要求是3.9

B21-Windows安装python3.x
https://wiki.bafangwy.com/doc/604/

# 查看显卡是否支持GPU
命令
`nvidia-smi`

可以看到显示CUDA Version为12.2，说明该显卡最高支持到12.2

![](/media/202503/2025-03-05_104312_1715450.03017433389345725.png)

或者打开任务管理器

![](/media/202503/2025-03-05_104047_3203630.09556326945536076.png)

# 安装CUDA

在Nvidia官网下载cuda安装包
https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local

这里选择Win10 64位，根据你的系统情况选择

![](/media/202503/2025-03-05_104603_5827840.007959708639001084.png)

基本上没有需要修改的内容，一直下一步即可。

# 安装支持gpu的pytorch
https://pytorch.org/get-started/locally/

![](/media/202503/2025-03-05_104740_0175090.6005929858295374.png)

复制命令，在后面加上：
` -i https://pypi.tuna.tsinghua.edu.cn/simple`
 
完整命令：
`pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 -i https://pypi.tuna.tsinghua.edu.cn/simple`

这里会遇到一个问题，用pip命令下载2G多的文件，速度只有200多KB，太慢了

![](/media/202503/2025-03-05_105911_7976110.8327715216286706.png)

我们把图中这个链接复制到迅雷下载，只要几分钟：
（也可以在这里复制链接：https://download.pytorch.org/whl/torch_stable.html ）

版本号说明：
cu124代表是：cuda 12.4
cp39 代表： python 3.9，需要跟你电脑的python版本一致
![](/media/202503/2025-03-05_105959_3022740.406642977306122.png)

Ctrl+C退出，或者直接关掉原来的cmd窗口。

然后重新打开一个cmd窗口，直接安装（修改为你下载后的路径）：
`pip install D:\appuse\xunlei\torch-2.6.0+cu124-cp39-cp39-win_amd64.whl`

![](/media/202503/2025-03-05_110733_4303730.42752996457675363.png)

# 验证
创建test.py文件
```
import torch
print(torch.cuda.is_available())
print(torch.__version__)
print(torch.version.cuda)
```

运行验证代码
（第一行显示True代表CUDA环境安装成功）
![](/media/202503/2025-03-05_110754_4044860.7560436549200673.png)