由于爬取数据,最终发现可能超过4T,所以现有4T硬盘坑你就不够保存了。
所以干脆买更大的,8T的,号称桌面级移动硬盘:
【记录】外置桌面级8T的Seagate Backup Plus Hub移动硬盘
然后继续去使用:
插到Mac或Win上,去格式化为NTFS
再用于保存爬取的数据。
其中对于Mac,还要打开Paragon,才能写入NTFS的硬盘的数据。
然后现在换到Mac中,去插上此8T硬盘,去格式化为NTFS
插上电源后,结果都看不到电源灯亮。
后来是把USB数据线插入电脑(Mac)后,才看到灯亮:
![](https://www.crifan.com/files/pic/uploads/2021/04/ba7ed4b539484ca1a9b9b76604895e6b.jpg)
插上后,mac中提示:
![](https://www.crifan.com/files/pic/uploads/2021/04/d21d25fc59b74e72817c3a6bfc7eae2b.jpg)
选择 不使用
![](https://www.crifan.com/files/pic/uploads/2021/04/6d68e7a91a104e518ed89cbe3d6b58fe.jpg)
已经默认格式为NTFS了。
此处需要去安装Paragon NTFS,否则无法写入:
【记录】Mac中安装Paragon用于写入NTFS的8T硬盘
然后继续去爬取数据
周末一共爬取了:
- 已爬117万/当前共330万
- 数据量:800多G
![](https://www.crifan.com/files/pic/uploads/2021/04/d1f8bff2c51d4b55ad375c0802a8b984.jpg)
![](https://www.crifan.com/files/pic/uploads/2021/04/c6996e49bd63462ca3041598bb0c2612.jpg)
然后继续下载了1天,后来下载了1.34T
昨晚 20181029晚上,继续换用5G网络下载,当时速度很不错,而且fail和retry也很少
下载了一晚上,第二天早上:20181030,出现问题:
此Mac又卡死了,查看网络和Safari都无法正常打开
只能去重启Mac,结果重启Mac点击了几次都没用
只能强制按电源重启
重启后,Paragon 安装后,可以看到8T的硬盘,数据是正常的1.34T
但是:
刚才无意间,好像是把之前pyspider的8T的那个源码(和pyspider的data等目录,包含了进度的)
移动到别的什么地方了,但是整个电脑中,死活找不到移动到哪里了
包括废纸篓,都找不到:
![](https://www.crifan.com/files/pic/uploads/2021/04/21673a1a1bd8450a896aa12bcbd4fe11.jpg)
很是诡异
所以现在缺了之前的8T的源码了:
![](https://www.crifan.com/files/pic/uploads/2021/04/a639ed17487b40c0a1c853df2faf965b.jpg)
然后也没法继续下载了。。。
难道是被移动到了隐藏文件夹?
突然想到,用系统全局的搜索,真的搜索到了:
![](https://www.crifan.com/files/pic/uploads/2021/04/84e7eb7fb11043aea21dde3915fbb381.jpg)
竟然被无意间被移动到应用程序了:
![](https://www.crifan.com/files/pic/uploads/2021/04/9d628f653bb5407ba9051dad4a5a8264.jpg)
去拖回来
![](https://www.crifan.com/files/pic/uploads/2021/04/5169d117ae2e432d92261742c7fc335a.jpg)
然后继续下载
20181030 晚上9点:
共437万,已爬185万,42.4%,1.87T
![](https://www.crifan.com/files/pic/uploads/2021/04/ca3373d1f8264f4da970196159dccdf0.jpg)
20181031 早上9点:
昨晚用的5G网络,早起发现Mac又卡死了:点击网络卡死,没反应,之后整个系统中很多应用都无法操作
只能强制关机后重启,重新继续爬取,现在是:
共457万,已爬199万,43.5%,1.87T
![](https://www.crifan.com/files/pic/uploads/2021/04/84a76211927442da867451db1daac187.jpg)
20181101 早上8点:
![](https://www.crifan.com/files/pic/uploads/2021/04/0653f7e5ff814034b81bae393caf679b.jpg)
20181102早上:
![](https://www.crifan.com/files/pic/uploads/2021/04/4e2eff4e8b40423e8ba63e63583208e5.jpg)
对于8T的硬盘,插入到Mac中,过了几十秒,Finder中还是没有盘符
以为就是没有自动加载
而去看了NTFS for Mac
也的确看到硬盘是 没有加载
安装 按钮是可以点击
-》以后需要自己点击才能安装
-》后来某次无意间发现:
等待足够长时间(大概2,3分钟左右)
然后是可以自动安装加载盘符 :
![](https://www.crifan.com/files/pic/uploads/2021/04/5f3c89b34fe74886a9bafd2de0f5b842.jpg)
而无需手动点击操作
-》心得:
对于容量很大的移动硬盘,比如这里的8T的希捷硬盘,在安装了NTFS for Mac后,需要等待足够长时间,大约3分钟左右,然后会自动加载的。
真的不能自动加载,再去点击 安装 去加载。
20181103 早上8点:
![](https://www.crifan.com/files/pic/uploads/2021/04/26e312e58ff64cb8a79de01ba03bf3be.jpg)
20181105早上9点:
![](https://www.crifan.com/files/pic/uploads/2021/04/8c4254d4cde443c6b6c911df80607203.jpg)
20181105 晚上:
![](https://www.crifan.com/files/pic/uploads/2021/04/ec8a0d78632246749830368db851b67a.jpg)
20181106 早上8点:
![](https://www.crifan.com/files/pic/uploads/2021/04/bcbf95cbdd644da4bb72ecb2fbb8a174.jpg)
20181107早上8点:
![](https://www.crifan.com/files/pic/uploads/2021/04/d932f2665bd349eebfa74c5aa89b65db.jpg)
20181108 早上8点:
![](https://www.crifan.com/files/pic/uploads/2021/04/31171041f243407a8f02c41ab1e37b97.jpg)
20181109 早上9:00
![](https://www.crifan.com/files/pic/uploads/2021/04/cce9f81156a64f34adfab0128632061a.jpg)
20181109 23:40
![](https://www.crifan.com/files/pic/uploads/2021/04/eacf3fb60d7749a381d29cbcc8e44838.jpg)
20181111 10:30
![](https://www.crifan.com/files/pic/uploads/2021/04/ddcf8689ab834cf4bca015a03c9aa3a8.jpg)
20181112 13:00
![](https://www.crifan.com/files/pic/uploads/2021/04/1ea2c5d3e71944aebd7eab2837309716.jpg)
20181114 8:30
![](https://www.crifan.com/files/pic/uploads/2021/04/934175c4090a47b5ab4fc70c617079bd.jpg)
20181115 19:00
![](https://www.crifan.com/files/pic/uploads/2021/04/857d5f7346e1472690e7ec982bc87b90.jpg)
20181116 08:30
![](https://www.crifan.com/files/pic/uploads/2021/04/21dadb5d2452488ab52e03ac30f7d551.jpg)
转载请注明:在路上 » 【记录】使用外置8T的桌面级移动硬盘Seagate Backup Plus Hub保存爬取的数据