Bootstrap

【用GPT记录的笔记】linux多线程下载

在 Linux 上使用多线程下载文件,你可以使用工具如 aria2wget 来实现。

1. 使用 aria2 进行多线程下载

aria2 是一个轻量级的多线程下载工具,支持 HTTP、FTP 和其他协议,适合用来进行多线程下载。

安装 aria2

在终端中执行以下命令安装 aria2

sudo apt-get install aria2
使用 aria2 进行多线程下载:

使用 aria2c 命令下载文件,并指定线程数量。你可以通过 -x 选项来指定并发连接数(线程数)。

aria2c -x 16 https://developer.nvidia.com/compute/cudnn/secure/8.6.0/local_installers/11.8/cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz

上面的命令将使用 16 个并发连接下载文件。你可以根据网络状况调整线程数。

2. 使用 wget(不支持多线程)

虽然 wget 是非常常用的下载工具,但它并不支持多线程下载。你可以使用 wget 进行下载,但下载速度可能比 aria2 稍慢:

wget https://developer.nvidia.com/compute/cudnn/secure/8.6.0/local_installers/11.8/cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz

3. 使用 curl 进行分段下载并合并(模拟多线程)

虽然 curl 也不支持多线程,但可以通过分段下载的方式来模拟多线程操作。以下是一个简单示例:

# 使用 curl 分段下载文件的不同部分
curl -o part1 -r 0-50000000 https://developer.nvidia.com/compute/cudnn/secure/8.6.0/local_installers/11.8/cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
curl -o part2 -r 50000001-100000000 https://developer.nvidia.com/compute/cudnn/secure/8.6.0/local_installers/11.8/cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz

# 合并文件
cat part1 part2 > cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz

但这种方法需要你手动计算分段大小,并且不是非常方便。

总结:

最推荐使用的是 aria2,它是一个轻量且支持多线程下载的工具,能够极大加快下载速度。

;