折腾：
期间，
需要从远程的CentOS服务器中，下载一个1G多的大文件。
之前对于普通小文件，直接用命令行的sz即可下载。
现在对于大文件，需要看看是否有更好的办法。
用sz或sftp？
不过还是先去试试sz速度如何
速度稳定在128KB/s
[root@xxx-01 xxx]# sz glove_6b.7z rz Starting zmodem transfer. Press Ctrl+C to cancel. Transferring glove_6b.7z... 1% 5762 KB 125 KB/sec 02:24:54 ETA 0 Errors
再去找找是否有别的办法
download big file from centos
curl – Download big file over bad connection – Unix & Linux Stack Exchange
linux – how can I use wget to download large files? – Super User
linux – CentOs 6, rsync/scp of big file stop at 40% (2.4G) – Super User
linux – How can I use wget to download large files? – Unix & Linux Stack Exchange
都是说用curl或wget
且wget支持-c == –continue 去断点恢复继续下载
Linux ultra fast command line download accelerator – nixCraft
去试试这个所谓的axel
本地是Mac，去看看能否方便的安装axel
先去把文件移动到nginx的www的目录下面，使得浏览器可以打开：
http:/xxx/glove_6b.7z
结果Safari浏览器下载速度从100多降到80多KB了：
是够慢的。
➜ Downloads brew install axel ==> Downloading https://homebrew.bintray.com/bottles-portable-ruby/portable-ruby-2.3.7.leopard_64.bottle.tar.gz ######################################################################## 100.0% ==> Pouring portable-ruby-2.3.7.leopard_64.bottle.tar.gz Updating Homebrew... ==> Downloading https://homebrew.bintray.com/bottles/axel-2.15.high_sierra.bottle.tar.gz ######################################################################## 100.0% ==> Pouring axel-2.15.high_sierra.bottle.tar.gz 🍺 /usr/local/Cellar/axel/2.15: 17 files, 149.8KB
先去wget看看速度：
➜ Downloads wget http://xxx/glove_6b.7z zsh: command not found: wget ➜ Downloads brew install wget Warning: wget 1.19.4_1 is already installed, it's just not linked You can use `brew link wget` to link this version. ➜ Downloads brew link wget Linking /usr/local/Cellar/wget/1.19.4_1... 45 symlinks created ➜ Downloads wget http://xxx/glove_6b.7z --<2018-08-16 10:02:38-- http://xxx/glove_6b.7z 正在连接 47.96.131.109:80... 已连接。 已发出 HTTP 请求，正在等待回应... 200 OK 长度：1121079991 (1.0G) [application/x-7z-compressed] 正在保存至: “glove_6b.7z” glove_6b.7z 0%[ ] 919.98K 87.7KB/s 剩余 4h 56m
速度不到100KB/S
试试axel：
Downloads ➜ Downloads axel http://xxx/glove_6b.7z 正在初始化下载：http://xxxx/glove_6b.7z 文件大小：1121079991 字节 正在打开输出文件 glove_6b.7z.0 正在开始下载 [ 0%] .......... .......... .......... .......... .......... [ 87.9KB/s] [ 0%] .......... .......... .......... .......... .......... [ 90.7KB/s] [ 0%] .......... .......... .......... .......... .......... [ 100.7KB/s] [ 0%] .......... .......... .......... .......... .......... [ 110.6KB/s] ... [ 0%] .......... .......... .......... .......... .......... [ 110.9KB/s]
好像速度也就这样，不过是比80KB要好点
但是无法超过此处阿里云服务器的1Mbps=128KB/s的限制
那只能继续等待了。
如果不是服务器端网速受限制，那么axel应该的确可以加速的感觉。
最后终于下载完了：
连接 2 完成下载 ,,,,,,,,,, ,,,,,,,,,, .......... .......... ...... 连接 1 完成下载 ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,.... [ 130.5KB/s] [ 99%] .......... .......... .......... .......... .......... [ 130.5KB/s] [ 99%] .......... .......... .......... .......... ....... 连接 3 完成下载 ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,... [ 130.5KB/s] [ 99%] .......... .......... .......... .......... .......... [ 130.5KB/s] [ 99%] .......... 连接 1 完成下载 ,,,,,,,,,, .......... .......... . 连接 2 完成下载 ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,......... .......... [ 130.5KB/s] [ 99%] .......... .......... .......... .......... .......... [ 130.5KB/s] [100%] .... 连接 0 完成下载 已下载 1.0 吉字节，用时 2 时 19 分 51 秒。（130.47 KB/s）
另外，如果有需要可以去试试：
prozilla
【后记】
折腾
【记录】备份腾讯云香港CVM的crifan.com网站全部文件和数据库
期间，去强制中断下载：
[ 6%] .......... .......... .......... .......... .......... [ 108.9KB/s] [ 6%] .......... .......... ..........^C ..... 已下载 740.3 兆字节，用时 1 时 55 分 59 秒。（108.92 KB/s）
然后看到：
➜ backups ll -lha ... -rw-r--r-- 1 crifan staff 8.4G 5 10 20:47 www.crifan.com_allFiles_20190509.7z -rw-r--r-- 1 crifan staff 74B 5 10 20:47 www.crifan.com_allFiles_20190509.7z.st
里面有.st文件。
然后继续用同样命令去下载：
➜ backups axel http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
正在初始化下载：http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
文件大小：11698810070 字节
正在打开输出文件 www.crifan.com_allFiles_20190509.7z
找到状态文件：已下载 776279750 字节，剩余 10922530320 字节。
正在开始下载
,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,..... .......... [ 11.1KB/s]
[ 6%] .......... .......... .......... .......... .......... [ 22.5KB/s]
即，可以断点续传。
后来发现，wget也可以：
先搜索，wget是否支持断点续传
wget mac 断点续传
wget支持断点续传的linux命令 – neptune – ITeye博客
wget -c -t 0 -O new_name.tar.gz http://www.cnscn.org/old_name.tar.gz -c 断点续传 -t 0 反复尝试的次数，0为不限次数 --passive-ftp 使用pasv即被动模式下载，只有在搭配保全系统而遇到问题时，才要加此参数 --proxy-user=username 设置登陆代理服务器的用户名 --proxy-passwd=123456 设置登陆代理服务器的密码
wget命令详解,断点续传 – RichardYSteven的专栏 – CSDN博客
Linux wget断点续传，限速下载 – 喋喋为何叫不休。 – CSDN博客
wget参数详解
去下载
wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
详细log：
➜ use_wget_download wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z --2019-05-16 16:39:11-- http://book.crifan.com/www.crifan.com_allFiles_20190509.7z 正在解析主机 book.crifan.com (book.crifan.com)... 150.109.113.228 正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:80... 已连接。 已发出 HTTP 请求，正在等待回应... 301 Moved Permanently 位置：https://book.crifan.com/www.crifan.com_allFiles_20190509.7z [跟随至新的 URL] --2019-05-16 16:39:11-- https://book.crifan.com/www.crifan.com_allFiles_20190509.7z 正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。 已发出 HTTP 请求，正在等待回应... 200 OK 长度：11698810070 (11G) [application/x-7z-compressed] 正在保存至: “www.crifan.com_allFiles_20190509.7z” www.crifan.com_allFiles_20190509.7z 0%[ ] 3.26M 8.66KB/s 剩余 13d 15h
就这么慢慢下载吧。
抽空回家再继续下载。
➜ use_wget_download wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z --2019-05-22 22:02:03-- http://book.crifan.com/www.crifan.com_allFiles_20190509.7z 正在解析主机 book.crifan.com (book.crifan.com)... 150.109.113.228 正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:80... 已连接。 已发出 HTTP 请求，正在等待回应... 301 Moved Permanently 位置：https://book.crifan.com/www.crifan.com_allFiles_20190509.7z [跟随至新的 URL] --2019-05-22 22:02:03-- https://book.crifan.com/www.crifan.com_allFiles_20190509.7z 正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。 已发出 HTTP 请求，正在等待回应... 206 Partial Content 长度：11698810070 (11G)，剩余 3671601452 (3.4G) [application/x-7z-compressed] 正在保存至: “www.crifan.com_allFiles_20190509.7z” www.crifan.com_allFiles_20190509.7z 69%[+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ] 7.54G 5.20KB/s 用时 13m 34s 2019-05-22 22:15:37 (77.9 KB/s) - 在 8092082863 字节处连接关闭。重试中。 --2019-05-22 22:15:38-- (尝试次数： 2) https://book.crifan.com/www.crifan.com_allFiles_20190509.7z 正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。 已发出 HTTP 请求，正在等待回应... 206 Partial Content 长度：11698810070 (11G)，剩余 3606727207 (3.4G) [application/x-7z-compressed] 正在保存至: “www.crifan.com_allFiles_20190509.7z” www.crifan.com_allFiles_20190509.7z 100%[+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++===========================>] 10.89G 232KB/s 用时 6h 51m 2019-05-23 05:06:57 (143 KB/s) - 已保存 “www.crifan.com_allFiles_20190509.7z” [11698810070/11698810070])
终于下载完毕了。
【总结】
mac中断点续传：
可以用wget加c参数：
wget -c url
如果想要断了重连，且不限次数，可以再加：-t 0
wget -t 0 -c url
比如：
wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
即可。
转载请注明：在路上 » 【已解决】Mac中从远程CentOS服务器中加速下载大文件