业余爱好『Favourite』

秀人集爬虫 【22.09.04】【Windows】

95 条评论 

更新日志：
22.9.4
1.调整超时时间为10秒
2.换了个进度条
3.下载异常处理可能不生效的问题
22.4.12
增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。
22.1.18
1.兼容更新后的秀人集网站，支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。
2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> （该参数会重新排列分类列表，可以开启多个进程同时进行爬取）
         -c <single category url> （支持单分类爬取，如果只想爬取某一个分类请使用该参数）
         -e <early stop, work in site crawl mode only> （配合整站爬取使用，多次检测到已经下载自动跳过该分类）
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
************************************************************************************
效果：
(venv) PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py  -a -r -s https://www.xiurenb.cc -e -p I:\test
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.09.04
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始分析分类信息......
[*] 2022-09-04 20:06:42 CAT: 分析完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 重新排列分类信息
[*] 2022-09-04 20:06:42 CAT: 重新索引完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 MFStar模范学院: https://www.xiurenb.cc/MFStar/
[*] 2022-09-04 20:06:42 LeYuan星乐园: https://www.xiurenb.cc/LeYuan/
[*] 2022-09-04 20:06:42 最新更新: https://www.xiurenb.cc/new.html
[*] 2022-09-04 20:06:42 HuaYang花漾: https://www.xiurenb.cc/HuaYang/
[*] 2022-09-04 20:06:42 MintYe薄荷叶: https://www.xiurenb.cc/MintYe/
[*] 2022-09-04 20:06:42 MiStar魅妍社: https://www.xiurenb.cc/MiStar/
[*] 2022-09-04 20:06:42 站长推荐: https://www.xiurenb.cc/hot.html
[*] 2022-09-04 20:06:42 Candy糖果画报: https://www.xiurenb.cc/Candy/
[*] 2022-09-04 20:06:42 Taste顽味生活: https://www.xiurenb.cc/Taste/
[*] 2022-09-04 20:06:42 Uxing优星馆: https://www.xiurenb.cc/Uxing/
[*] 2022-09-04 20:06:42 YouWu尤物馆: https://www.xiurenb.cc/YouWu/
[*] 2022-09-04 20:06:42 XiaoYu画语界: https://www.xiurenb.cc/XiaoYu/
[*] 2022-09-04 20:06:42 MyGirl美媛馆: https://www.xiurenb.cc/MyGirl/
[*] 2022-09-04 20:06:42 MiiTao蜜桃社: https://www.xiurenb.cc/MiiTao/
[*] 2022-09-04 20:06:42 Imiss爱蜜社: https://www.xiurenb.cc/IMiss/
[*] 2022-09-04 20:06:42 YouMi尤蜜荟: https://www.xiurenb.cc/YouMi/
[*] 2022-09-04 20:06:42 HuaYan花の颜: https://www.xiurenb.cc/HuaYan/
[*] 2022-09-04 20:06:42 BoLoli兔几盟: https://www.xiurenb.cc/BoLoli/
[*] 2022-09-04 20:06:42 XingYan星颜社: https://www.xiurenb.cc/XingYan/
[*] 2022-09-04 20:06:42 FeiLin嗲囡囡: https://www.xiurenb.cc/FeiLin/
[*] 2022-09-04 20:06:42 DKGirl御女郎: https://www.xiurenb.cc/DKGirl/
[*] 2022-09-04 20:06:42 Micat猫萌榜: https://www.xiurenb.cc/Micat/
[*] 2022-09-04 20:06:42 MTMeng模特联盟: https://www.xiurenb.cc/MTMeng/
[*] 2022-09-04 20:06:42 WingS影私荟: https://www.xiurenb.cc/WingS/
[*] 2022-09-04 20:06:42 XiuRen秀人网: https://www.xiurenb.cc/XiuRen/
[*] 2022-09-04 20:06:42 CAT: 索引完成，分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始处理分类：MFStar模范学院
https://www.xiurenb.cc/MFStar/index2.html
****************************************************************************************************
[*] 2022-09-04 20:06:43 PAGE: 开始分析页面链接
[*] 2022-09-04 20:06:43 DOWNLOAD: 开始下载：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:43 DOWNLOAD: https://www.xiurenb.cc/MFStar/11358.html
[*] 2022-09-04 20:06:43 DOWNLOAD: 下载目录：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:44 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1B203526524.jpg
[*] 2022-09-04 20:06:44 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\54d1d2f846ee064daa68847da20301e8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 342025/342025 [00:00<00:00, 399207.13it/s]
[*] 2022-09-04 20:06:47 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/6C203527304.jpg
[*] 2022-09-04 20:06:47 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\eba3991257639d66dc5481a96b951a15.jpg
[*] 2022-09-04 20:06:57 EXP: 发生异常，HTTPSConnectionPool(host='www.xiurenb.cc', port=443): Read timed out. (read timeout=10) ,继续处理后续图片
[*] 2022-09-04 20:06:57 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/75203527823.jpg
[*] 2022-09-04 20:06:57 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\4adc3b81a1a93a72a60eaf15d9b3f490.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 425431/425431 [00:01<00:00, 418986.23it/s]
[*] 2022-09-04 20:07:05 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_1.html
[*] 2022-09-04 20:07:10 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1C203527335.jpg
[*] 2022-09-04 20:07:10 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\fe61fc4b418d3ec33b363ca606a24955.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 429434/429434 [00:00<00:00, 554490.08it/s]
[*] 2022-09-04 20:07:16 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527463.jpg
[*] 2022-09-04 20:07:16 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\74f2c534364597cef60fc1add84c14d8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277942/277942 [00:00<00:00, 438395.10it/s]
[*] 2022-09-04 20:07:18 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527388.jpg
[*] 2022-09-04 20:07:18 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\83a287de221a08b60139ec82b30f9534.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 375962/375962 [00:00<00:00, 533614.42it/s]
[*] 2022-09-04 20:07:21 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_2.html
[*] 2022-09-04 20:07:23 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/51203527685.jpg
[*] 2022-09-04 20:07:23 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\7939ba78e0619a41ec2dfdf51137bd10.jpg

下载地址：

温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）

☆版权☆

* 网站名称：obaby@mars
* 网址：https://h4ck.org.cn/
* 个性：https://oba.by/
* 本文标题： 《秀人集爬虫 【22.09.04】【Windows】》
* 本文链接：https://h4ck.org.cn/2022/09/10443
* 短链接：https://oba.by/?p=10443
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。

obaby

obaby

爱好广泛的火星小妖精，有问题欢迎留言交流啊~(✪ω✪) 爬虫类工具请先点击这个链接查看用法https://oba.by/?p=12240 闺蜜圈APP下载 https://guimiquan.cn

You may also like

95 comments

1 2 3
    1. 公主 Queen 
      Google Chrome 102 Google Chrome 102 Mac OS X 10.15 Mac OS X 10.15 cn山东省青岛市 联通

      不过比较蛋疼的是我这里不能直接访问了，需要翻墙下载。不知道你们那边大墙有没有屏蔽这个网站~~

      回复
        1. 公主 Queen 
          Google Chrome 102 Google Chrome 102 Mac OS X 10.15 Mac OS X 10.15 cn山东省青岛市 联通

          青岛联通，现在秀人集的网站都打不开，有时候能打开网站，但是图片全挂。~~

          回复
            1. 公主 Queen 
              Google Chrome 102 Google Chrome 102 Mac OS X 10.15 Mac OS X 10.15 cn山东省青岛市 联通

              那看来就是山东大墙节点，或者联通把这个域名给屏蔽了~~~

              回复
  14.  Level 1
    Google Chrome 105 Google Chrome 105 Windows 10 Windows 10 cn黑龙江省牡丹江市 中移铁通

    支持一下，回来看又有资源了

    回复
    1. 公主 Queen 
      Google Chrome 104 Google Chrome 104 Android 10 Android 10 cn山东省青岛市 联通

      算是吧，什么东西都有比较杂。你想找哪一方面的？

      回复
  21.  Level 2
    Google Chrome 96 Google Chrome 96 Android 12 Android 12 cn江苏省苏州市 电信

    请问博主，最近用程序下载一直卡住没反应，是有问题吗？

    回复
    1. 公主 Queen 
      Google Chrome 104 Google Chrome 104 Android 10 Android 10 cn山东省临沂市 联通

      基本是网络问题，直接浏览器打开网址看看。不行就挂vpn

      回复
  23. Level 3
    Google Chrome 105 Google Chrome 105 Windows 10 Windows 10 cn浙江省杭州市 移动

    我的评论有啥问题吗，审核一直没过

    回复
    1. 公主 Queen 
      Google Chrome 104 Google Chrome 104 Windows 10 Windows 10 us美国

      没看到之前的评论~~ 垃圾评论里没有，这一条自动通过了~~ yes

      回复
      1. Level 3
        Google Chrome 105 Google Chrome 105 Windows 10 Windows 10 cn浙江省杭州市 移动

        ‘Connection aborted.’, ConnectionResetError(10054, ‘远程主机强迫关闭了一个现有的连接。’, None, 10054, None) 一直报这个是啥情况哦大佬，大墙都挂了

        回复
1 2 3

回复 obaby 取消回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

Close Menu