秀人集爬虫 【22.04.12】【Windows】【Mac M1】

更新日志:
22.4.12
增加-e early stop参数,配合整站爬取使用,单独无效.如果没有完成整站爬取不要使用该参数,终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环,开多进程处理。
22.1.18
1.兼容更新后的秀人集网站,支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net(暂时可以不使用-s 参数)。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数,支持分类重拍,可以开启多个进程进行爬取。说实话就是姐姐太懒了,不想写多线程。
2.增加-c参数,支持爬取特定分类,请直接-c 分类地址。具体参数见下方使用说明。

使用参数:

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取)
         -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数)
         -e <early stop, work in site crawl mode only> (配合整站爬取使用,多次检测到已经下载自动跳过该分类)
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
*************************************************************************************

效果:

C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\xiurenji\xiurenji.exe -a -e -r
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.04.12
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始分析分类信息......
[*] 2022-04-12 21:40:03 CAT: 分析完成,分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 重新排列分类信息
[*] 2022-04-12 21:40:03 CAT: 重新索引完成,分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-04-12 21:40:03 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-04-12 21:40:03 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-04-12 21:40:03 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-04-12 21:40:03 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-04-12 21:40:03 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-04-12 21:40:03 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-04-12 21:40:03 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-04-12 21:40:03 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-04-12 21:40:03 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-04-12 21:40:03 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-04-12 21:40:03 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-04-12 21:40:03 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-04-12 21:40:03 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-04-12 21:40:03 最新更新: https://www.xiurenji.net/new.html
[*] 2022-04-12 21:40:03 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-04-12 21:40:03 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-04-12 21:40:03 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-04-12 21:40:03 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-04-12 21:40:03 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-04-12 21:40:03 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-04-12 21:40:03 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-04-12 21:40:03 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-04-12 21:40:03 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-04-12 21:40:03 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-04-12 21:40:03 CAT: 索引完成,分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始处理分类:MiiTao蜜桃社
https://www.xiurenji.net/MiiTao/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9503.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9158.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9106.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6914.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6725.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6665.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6164.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************

[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.128_嫩模梦恬私房真空肚兜小厨娘半脱露傲人豪乳极致诱惑写真51P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:08 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: MiiTao蜜桃社下载完成,
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: 开始处理分类:XingYan星颜社
https://www.xiurenji.net/XingYan/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 开始分析页面链接

[*] 2022-04-12 21:40:11 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:11 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: XingYan星颜社下载完成,
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: 开始处理分类:站长推荐
****************************************************************************************************
[*] 2022-04-12 21:40:19 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:19 DOWNLOAD: 开始下载:[XiuRen秀人网]No.1967_女神王雨纯&周于希Sandy春节合集剧情性感姐妹花斗乳诱惑写真105P
[*] 2022-04-12 21:40:19 DOWNLOAD: https://www.xiurenji.net/XiuRen/5595.html

[*] 2022-04-12 21:40:20 DOWNLOAD: 下载目录:[XiuRen秀人网]No.3022_女神杨晨晨sugar浴池里真空灰色服饰配开档丝袜湿身诱惑写真52P
[*] 2022-04-12 21:40:20 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:20 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:20 CAT: 站长推荐下载完成,

下载地址:

温馨提示: 此处隐藏内容需要发表评论,并且审核通过后才能查看。
(发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址,以便下次评论时使用。
(请仔细检查自己的昵称和评论内容,以免被识别为垃圾评论而导致无法正常审核。)

☆版权☆

* 网站名称:obaby@mars
* 网址:https://h4ck.org.cn/
* 个性:https://oba.by/
* 本文标题: 《秀人集爬虫 【22.04.12】【Windows】【Mac M1】》
* 本文链接:https://h4ck.org.cn/2022/04/10066
* 短链接:https://oba.by/?p=10066
* 转载文章请标明文章来源,原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。


猜你喜欢:

119 comments

  1. Google Chrome 103 Google Chrome 103 Windows 10 Windows 10 cn广东省深圳市 电信

    感谢大佬,还是比较喜欢这个网站哈哈哈,真是造福lsp

  2. Microsoft Edge 103 Microsoft Edge 103 Windows 10 Windows 10 cn内蒙古呼和浩特市 联通

    发完评论不可以关浏览器吗,怎么还是显示需要评论。。。

  3. Google Chrome 102 Google Chrome 102 Windows 10 Windows 10 cn四川省成都市 电信

    感谢分享,观摩学习,初学…

  4. Safari 15 Safari 15 iPhone iOS 15.6.1 iPhone iOS 15.6.1 cn山东省烟台市 联通

    第一次使用爬虫,学习一下

  5. Google Chrome 114 Google Chrome 114 Windows 10 Windows 10 cn福建省福州市 联通

    学习分享!干系而楼主

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注