秀人集爬虫【22.04.12】【Windows】【Mac M1】

2022年4月12日 115条评论

更新日志：
22.4.12
增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。
22.1.18
1.兼容更新后的秀人集网站，支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。
2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。

使用参数：

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> （该参数会重新排列分类列表，可以开启多个进程同时进行爬取）
         -c <single category url> （支持单分类爬取，如果只想爬取某一个分类请使用该参数）
         -e <early stop, work in site crawl mode only> （配合整站爬取使用，多次检测到已经下载自动跳过该分类）
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
*************************************************************************************

效果：

C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\xiurenji\xiurenji.exe -a -e -r
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.04.12
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始分析分类信息......
[*] 2022-04-12 21:40:03 CAT: 分析完成，分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 重新排列分类信息
[*] 2022-04-12 21:40:03 CAT: 重新索引完成，分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-04-12 21:40:03 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-04-12 21:40:03 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-04-12 21:40:03 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-04-12 21:40:03 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-04-12 21:40:03 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-04-12 21:40:03 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-04-12 21:40:03 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-04-12 21:40:03 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-04-12 21:40:03 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-04-12 21:40:03 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-04-12 21:40:03 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-04-12 21:40:03 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-04-12 21:40:03 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-04-12 21:40:03 最新更新: https://www.xiurenji.net/new.html
[*] 2022-04-12 21:40:03 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-04-12 21:40:03 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-04-12 21:40:03 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-04-12 21:40:03 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-04-12 21:40:03 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-04-12 21:40:03 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-04-12 21:40:03 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-04-12 21:40:03 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-04-12 21:40:03 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-04-12 21:40:03 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-04-12 21:40:03 CAT: 索引完成，分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始处理分类：MiiTao蜜桃社
https://www.xiurenji.net/MiiTao/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9503.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9158.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9106.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6914.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6725.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6665.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6164.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************

[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.128_嫩模梦恬私房真空肚兜小厨娘半脱露傲人豪乳极致诱惑写真51P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:08 NEXT: 下一页地址：None
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: MiiTao蜜桃社下载完成，
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: 开始处理分类：XingYan星颜社
https://www.xiurenji.net/XingYan/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 开始分析页面链接

[*] 2022-04-12 21:40:11 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:11 NEXT: 下一页地址：None
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: XingYan星颜社下载完成，
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: 开始处理分类：站长推荐
****************************************************************************************************
[*] 2022-04-12 21:40:19 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:19 DOWNLOAD: 开始下载：[XiuRen秀人网]No.1967_女神王雨纯&周于希Sandy春节合集剧情性感姐妹花斗乳诱惑写真105P
[*] 2022-04-12 21:40:19 DOWNLOAD: https://www.xiurenji.net/XiuRen/5595.html

[*] 2022-04-12 21:40:20 DOWNLOAD: 下载目录：[XiuRen秀人网]No.3022_女神杨晨晨sugar浴池里真空灰色服饰配开档丝袜湿身诱惑写真52P
[*] 2022-04-12 21:40:20 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:20 NEXT: 下一页地址：None
****************************************************************************************************
[*] 2022-04-12 21:40:20 CAT: 站长推荐下载完成，

下载地址：

温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）

☆版权☆

* 网站名称：obaby@mars
* 网址：https://h4ck.org.cn/
* 个性：https://oba.by/
* 本文标题：《秀人集爬虫【22.04.12】【Windows】【Mac M1】》
* 本文链接：https://h4ck.org.cn/2022/04/%e7%a7%80%e4%ba%ba%e9%9b%86%e7%88%ac%e8%99%ab-%e3%80%9022-04-12%e3%80%91%e3%80%90windows%e3%80%91/
* 短链接：https://oba.by/?p=10066
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。

分享文章：

spider 性感美女爬虫美女

Previous Post Next Post

obaby

爱好广泛的火星小妖精，有问题欢迎留言交流啊~(✪ω✪) 爬虫类工具请先点击这个链接查看用法https://oba.by/?p=12240

115 comments

« 上一页 1 2

kkyycc123说道：

2022年7月6日 10:49

Google Chrome 103 Windows 10 江西省联通
观摩学习的

回复
Leo说道：

2022年7月12日 14:25

Google Chrome 86 Windows 7 山东省潍坊市联通
支持一下

回复
Zoster说道：

2022年7月21日 10:55

Firefox 102 Windows 7 广东省东莞市电信
适合爱好者的工具

回复
ffff团说道：

2022年7月22日 23:39

Google Chrome 103 Windows 10 广东省深圳市电信
感谢大佬，还是比较喜欢这个网站哈哈哈，真是造福lsp

回复
水果简介说道：

2022年7月29日 16:20

QQbrowser 11 Windows 10 甘肃省兰州市电信
感谢大佬

回复
dlpo说道：

2022年8月4日 11:38

Microsoft Edge 103 Windows 10 内蒙古呼和浩特市联通
感谢大佬分享

回复
dlpo说道：

2022年8月5日 17:28

Microsoft Edge 103 Windows 10 内蒙古呼和浩特市联通
发完评论不可以关浏览器吗，怎么还是显示需要评论。。。

回复
沉没说道：

2022年8月11日 23:31

Google Chrome 102 Windows 10 四川省成都市电信
感谢分享，观摩学习，初学…

回复
Leo说道：

2022年8月17日 16:55

Google Chrome 86 Windows 7 山东省潍坊市联通
支持一下

回复
xuxuxu111说道：

2022年8月18日 20:16

Google Chrome 104 Windows 10 浙江省杭州市移动
下载一下

回复
xuxuxu111说道：

2022年8月18日 22:39

Google Chrome 104 Windows 10 浙江省杭州市移动
下载

回复
me说道：

2022年8月20日 09:51

Microsoft Edge 104 Windows 10 内蒙古呼伦贝尔市电信
感谢大佬

回复
cm说道：

2022年8月20日 11:17

Google Chrome 74 Windows 10 广东省广州市珠江宽频
观摩学习的

回复
cm说道：

2022年8月20日 11:17

Google Chrome 74 Windows 10 广东省广州市珠江宽频
观摩学习的，希望可以爬到

回复
LT说道：

2022年9月20日 23:50

Google Chrome 105 Windows 10 香港电讯盈科有限公司
感谢博主

回复
ndw说道：

2022年9月27日 16:40

Google Chrome 86 Windows 10 河北省保定市电信

回复
秋思说道：

2022年11月27日 09:45

Google Chrome 90 Android 11 四川省成都市移动
感谢

回复
jackTom说道：

2022年12月1日 16:11

Firefox 107 Windows 10 北京市移动
下载学习一下

回复
papa说道：

2022年12月21日 11:18

Google Chrome 108 Windows 10 广东省深圳市联通
下载学习一下

回复
NIni说道：

2022年12月21日 11:20

Google Chrome 108 Windows 10 广东省深圳市联通
感谢，学习了学习了

回复
刚刚开始玩说道：

2023年1月27日 17:26

Safari 15 iPhone iOS 15.6.1 山东省烟台市联通
第一次使用爬虫，学习一下

回复
zhuyh说道：

2023年2月9日 22:30

Google Chrome 109 Mac OS X 10.15 安徽省合肥市蜀山区电信
感谢，学习了

回复
ferfrfw说道：

2023年3月8日 00:24

Microsoft Edge 110 Windows 10 广西省南宁市联通
666

回复
wtlei说道：

2023年4月22日 14:42

Google Chrome 112 Windows 10 上海市联通
试一下

回复
SGDHFGFNGFMNGGFMHFFDU说道：

2023年7月11日 11:55

Microsoft Edge 114 Windows 10 陕西省移动/全省通用
感谢分享

回复
复读机啊龙卷风说道：

2023年7月16日 06:32

Google Chrome 114 Windows 10 福建省福州市联通
学习分享！干系而楼主

回复