秀人集爬虫 【22.1.24】【Windows】

我增加了几个重要的参数:
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取)
         -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数)
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************

更新日志:

22.1.18
1.兼容更新后的秀人集网站,支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net(暂时可以不使用-s 参数)。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数,支持分类重拍,可以开启多个进程进行爬取。说实话就是姐姐太懒了,不想写多线程。
2.增加-c参数,支持爬取特定分类,请直接-c 分类地址。具体参数见下方使用说明。

实际效果:

PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -a -r
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.1.20
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-01-24 21:18:30 CAT: 开始分析分类信息......
[*] 2022-01-24 21:18:30 CAT: 分析完成,分类数:25
****************************************************************************************************
[*] 2022-01-24 21:18:30 CAT: 重新排列分类信息
[*] 2022-01-24 21:18:30 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-01-24 21:18:30 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-01-24 21:18:30 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-01-24 21:18:30 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-01-24 21:18:30 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-01-24 21:18:30 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-01-24 21:18:30 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-01-24 21:18:30 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-01-24 21:18:30 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-01-24 21:18:30 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-01-24 21:18:30 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-01-24 21:18:30 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-01-24 21:18:30 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-01-24 21:18:30 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-01-24 21:18:30 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-01-24 21:18:30 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-01-24 21:18:30 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-01-24 21:18:30 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-01-24 21:18:30 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-01-24 21:18:30 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-01-24 21:18:30 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-01-24 21:18:30 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-01-24 21:18:30 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-01-24 21:18:30 最新更新: https://www.xiurenji.net/new.html
[*] 2022-01-24 21:18:30 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-01-24 21:18:30 CAT: 重新索引完成,分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-01-24 21:18:30 CAT: 开始处理分类:WingS影私荟
https://www.xiurenji.net/WingS/index2.html
****************************************************************************************************
PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -a -r
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.1.20
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-01-24 21:18:48 CAT: 开始分析分类信息......
[*] 2022-01-24 21:18:48 CAT: 分析完成,分类数:25
****************************************************************************************************
[*] 2022-01-24 21:18:48 CAT: 重新排列分类信息
[*] 2022-01-24 21:18:48 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-01-24 21:18:48 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-01-24 21:18:48 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-01-24 21:18:48 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-01-24 21:18:48 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-01-24 21:18:48 最新更新: https://www.xiurenji.net/new.html
[*] 2022-01-24 21:18:48 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-01-24 21:18:48 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-01-24 21:18:48 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-01-24 21:18:48 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-01-24 21:18:48 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-01-24 21:18:48 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-01-24 21:18:48 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-01-24 21:18:48 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-01-24 21:18:48 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-01-24 21:18:48 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-01-24 21:18:48 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-01-24 21:18:48 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-01-24 21:18:48 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-01-24 21:18:48 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-01-24 21:18:48 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-01-24 21:18:48 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-01-24 21:18:48 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-01-24 21:18:48 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-01-24 21:18:48 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-01-24 21:18:48 CAT: 重新索引完成,分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-01-24 21:18:48 CAT: 开始处理分类:MTMeng模特联盟
****************************************************************************************************
PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -a -r                              
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.1.20
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-01-24 21:21:07 CAT: 开始分析分类信息......
[*] 2022-01-24 21:21:07 CAT: 分析完成,分类数:25
****************************************************************************************************
[*] 2022-01-24 21:21:07 CAT: 重新排列分类信息
[*] 2022-01-24 21:21:07 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-01-24 21:21:07 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-01-24 21:21:07 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-01-24 21:21:07 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-01-24 21:21:07 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-01-24 21:21:07 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-01-24 21:21:07 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-01-24 21:21:07 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-01-24 21:21:07 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-01-24 21:21:07 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-01-24 21:21:07 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-01-24 21:21:07 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-01-24 21:21:07 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-01-24 21:21:07 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-01-24 21:21:07 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-01-24 21:21:07 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-01-24 21:21:07 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-01-24 21:21:07 最新更新: https://www.xiurenji.net/new.html
[*] 2022-01-24 21:21:07 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-01-24 21:21:07 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-01-24 21:21:07 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-01-24 21:21:07 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-01-24 21:21:07 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-01-24 21:21:07 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-01-24 21:21:07 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-01-24 21:21:07 CAT: 重新索引完成,分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-01-24 21:21:07 CAT: 开始处理分类:DKGirl御女郎
PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -c https://www.xiurenji.net/HuaYan/
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.1.20
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-01-24 21:21:09 CAT: 单分类爬取,分类地址:https://www.xiurenji.net/HuaYan/
https://www.xiurenji.net/HuaYan/index2.html
****************************************************************************************************
[*] 2022-01-24 21:21:11 PAGE: 开始分析页面链接
[*] 2022-01-24 21:21:11 DOWNLOAD: 开始下载:[HuaYan花の颜]Vol.074_女神绯月樱-Cherry马尔代夫旅拍蕾丝情趣内衣惹火诱惑写真60P
[*] 2022-01-24 21:21:11 DOWNLOAD: https://www.xiurenji.net/HuaYan/6049.html
[*] 2022-01-24 21:21:11 DOWNLOAD: 下载目录:[HuaYan花の颜]Vol.074_女神绯月樱-Cherry马尔代夫旅拍蕾丝情趣内衣惹火诱惑写真60P
[*] 2022-01-24 21:21:11 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-01-24 21:21:11 DOWNLOAD: 开始下载:[HuaYan花の颜]Vol.073_嫩模Emily顾奈奈私房黑色蕾丝情趣内衣秀火辣身材诱惑写真50P
[*] 2022-01-24 21:21:11 DOWNLOAD: https://www.xiurenji.net/HuaYan/5549.html
[*] 2022-01-24 21:21:11 DOWNLOAD: 下载目录:[HuaYan花の颜]Vol.073_嫩模Emily顾奈奈私房黑色蕾丝情趣内衣秀火辣身材诱惑写真50P
[*] 2022-01-24 21:21:11 SKP: 已经存在该目录,跳过。
****************************************************************************************************

文件哈希:

名称: xiurenji_20210124.7z
大小: 6571911 字节 (6417 KiB)
CRC32: 5C1076F5
CRC64: 9C51FB5BC6BEE268
SHA256: 74a77606876cf033e9b0b8a5c2b23f273522977af248c4f68e21a4f106bc6156
SHA1: 3e4ea99f3238b7ff6c7196a139a48fdaefb7f2b0
BLAKE2sp: 14be19e352344b1f47094012fc10f458e123a589cfb487c8ebc2b2c0264f6496

下载地址:

温馨提示: 此处隐藏内容需要发表评论,并且审核通过后才能查看。
(发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址,以便下次评论时使用。
(请仔细检查自己的昵称和评论内容,以免被识别为垃圾评论而导致无法正常审核。)

文件进度:

下载效果:


分享文章:

猜你喜欢:

72条评论

发表评论

您的电子邮箱地址不会被公开。