IDMnb

发布于 2020,12,24  81 次阅读


起因:之前有人说过我api图片链接经常挂
这两天寻思着把图片都下出来,以后有好服务器了,做成本地调用,不用别人的外链了

刚开始想着用py写一个简单的下载器
代码写好-运行-下载成功-…过一会…-502报错
然后我想着,难道是这个站限制一段时间内单ip访问次数?
然后我去找了代理ip池的代码……

for i<∞
找到代码-运行-报错-修改下代码-运行-报错-换个代理ip站点-运行-报错……

最后我放弃了批量爬取,自己手搓
批量提速代理ip-测试-不可用,不可用,不可用
最后搓了十几个代理ip出来
放进代码-运行-报错-修改-运行-502
淦!!!劳资不写了

然后我想到了去找一个下载器,突然看到了我经常用的idm寻思着,应该可以从文本中提取链接下载吧
试了试,找了找,发现有一个导入按钮,导入我爬出来的txt文件,未响应,然后开始了漫长的等待
10分钟过去了…还是没加载出来,我想是不是我链接太多了(那里面有14w条链接)提了几千条出来,再导入,等了一分钟,ok了!!!选择文件夹,下载,调整同时下载数100,冲!

这时候问题又来了,我不可能手搓那些链接自己分隔吧
然后我开始测试idm最快读取的最大数量,发现1w条正合适
vsc打开-py代码-cv-搞定
搞定了,这下总没问题了吧,开始疯狂导入-3w条后-idm再也没响应起来,淦,又出问题,算了算了,先下着这些吧
随后我打开百度-多线程下载器-xdom,aria2-下载
然后发现aria2竟然可以一次性导入很多,而且最大支持128条任务同时进行,此时我觉得idm突然不香了
导入-冲!- wrong-任务从导入的10w+变成了1000+

认命了,慢慢手搓吧

最后分享一个idm批量修改referer的方法
导入任务-导出为idm导出文件-文本文档打开就有refere的参数了,批量修改再保存-导入任务选idm导出文件-ok了
单任务就在参见那里直接填写就好了

破茧冲出日,攻玉归来时