我增加了几个重要的参数: **************************************************************************************************** USAGE: spider -h <help> -a <all> -q <search> Arguments: -a <download all site images> -q <query the image with keywords> -h <display help text, just this> Option Arguments: -p <image download path> -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取) -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数) -s <site url eg: http://www.xiurenji.vip (no last backslash "/")> ****************************************************************************************************
更新日志:
22.1.18 1.兼容更新后的秀人集网站,支持搜索以及全站爬取。 2.修改默认域名为https://www.xiurenji.net(暂时可以不使用-s 参数)。 22.1.20 1.修复页面异常可能导致的异常终止 22.1.24 1.增加-r参数,支持分类重拍,可以开启多个进程进行爬取。说实话就是姐姐太懒了,不想写多线程。 2.增加-c参数,支持爬取特定分类,请直接-c 分类地址。具体参数见下方使用说明。
实际效果:
PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -a -r **************************************************************************************************** _ _ ____ ___ | |__ __ _| |__ _ _ / __ \ _ __ ___ __ _ _ __ ___ / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __| | (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | | \__ \ \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_| |___/ |___/ \____/ 秀人集爬虫 Verson: 22.1.20 Blog: http://www.h4ck.org.cn **************************************************************************************************** **************************************************************************************************** [*] 2022-01-24 21:18:30 CAT: 开始分析分类信息...... [*] 2022-01-24 21:18:30 CAT: 分析完成,分类数:25 **************************************************************************************************** [*] 2022-01-24 21:18:30 CAT: 重新排列分类信息 [*] 2022-01-24 21:18:30 WingS影私荟: https://www.xiurenji.net/WingS/ [*] 2022-01-24 21:18:30 Imiss爱蜜社: https://www.xiurenji.net/IMiss/ [*] 2022-01-24 21:18:30 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/ [*] 2022-01-24 21:18:30 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/ [*] 2022-01-24 21:18:30 HuaYan花の颜: https://www.xiurenji.net/HuaYan/ [*] 2022-01-24 21:18:30 站长推荐: https://www.xiurenji.net/hot.html [*] 2022-01-24 21:18:30 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/ [*] 2022-01-24 21:18:30 Uxing优星馆: https://www.xiurenji.net/Uxing/ [*] 2022-01-24 21:18:30 XingYan星颜社: https://www.xiurenji.net/XingYan/ [*] 2022-01-24 21:18:30 MintYe薄荷叶: https://www.xiurenji.net/MintYe/ [*] 2022-01-24 21:18:30 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/ [*] 2022-01-24 21:18:30 HuaYang花漾: https://www.xiurenji.net/HuaYang/ [*] 2022-01-24 21:18:30 DKGirl御女郎: https://www.xiurenji.net/DKGirl/ [*] 2022-01-24 21:18:30 XiuRen秀人网: https://www.xiurenji.net/XiuRen/ [*] 2022-01-24 21:18:30 LeYuan星乐园: https://www.xiurenji.net/LeYuan/ [*] 2022-01-24 21:18:30 YouWu尤物馆: https://www.xiurenji.net/YouWu/ [*] 2022-01-24 21:18:30 MiStar魅妍社: https://www.xiurenji.net/MiStar/ [*] 2022-01-24 21:18:30 Micat猫萌榜: https://www.xiurenji.net/Micat/ [*] 2022-01-24 21:18:30 Taste顽味生活: https://www.xiurenji.net/Taste/ [*] 2022-01-24 21:18:30 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/ [*] 2022-01-24 21:18:30 Candy糖果画报: https://www.xiurenji.net/Candy/ [*] 2022-01-24 21:18:30 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/ [*] 2022-01-24 21:18:30 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/ [*] 2022-01-24 21:18:30 最新更新: https://www.xiurenji.net/new.html [*] 2022-01-24 21:18:30 MFStar模范学院: https://www.xiurenji.net/MFStar/ [*] 2022-01-24 21:18:30 CAT: 重新索引完成,分类数:25 **************************************************************************************************** **************************************************************************************************** [*] 2022-01-24 21:18:30 CAT: 开始处理分类:WingS影私荟 https://www.xiurenji.net/WingS/index2.html **************************************************************************************************** PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -a -r **************************************************************************************************** _ _ ____ ___ | |__ __ _| |__ _ _ / __ \ _ __ ___ __ _ _ __ ___ / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __| | (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | | \__ \ \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_| |___/ |___/ \____/ 秀人集爬虫 Verson: 22.1.20 Blog: http://www.h4ck.org.cn **************************************************************************************************** **************************************************************************************************** [*] 2022-01-24 21:18:48 CAT: 开始分析分类信息...... [*] 2022-01-24 21:18:48 CAT: 分析完成,分类数:25 **************************************************************************************************** [*] 2022-01-24 21:18:48 CAT: 重新排列分类信息 [*] 2022-01-24 21:18:48 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/ [*] 2022-01-24 21:18:48 MintYe薄荷叶: https://www.xiurenji.net/MintYe/ [*] 2022-01-24 21:18:48 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/ [*] 2022-01-24 21:18:48 HuaYan花の颜: https://www.xiurenji.net/HuaYan/ [*] 2022-01-24 21:18:48 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/ [*] 2022-01-24 21:18:48 最新更新: https://www.xiurenji.net/new.html [*] 2022-01-24 21:18:48 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/ [*] 2022-01-24 21:18:48 Candy糖果画报: https://www.xiurenji.net/Candy/ [*] 2022-01-24 21:18:48 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/ [*] 2022-01-24 21:18:48 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/ [*] 2022-01-24 21:18:48 WingS影私荟: https://www.xiurenji.net/WingS/ [*] 2022-01-24 21:18:48 HuaYang花漾: https://www.xiurenji.net/HuaYang/ [*] 2022-01-24 21:18:48 MiStar魅妍社: https://www.xiurenji.net/MiStar/ [*] 2022-01-24 21:18:48 YouWu尤物馆: https://www.xiurenji.net/YouWu/ [*] 2022-01-24 21:18:48 DKGirl御女郎: https://www.xiurenji.net/DKGirl/ [*] 2022-01-24 21:18:48 MFStar模范学院: https://www.xiurenji.net/MFStar/ [*] 2022-01-24 21:18:48 LeYuan星乐园: https://www.xiurenji.net/LeYuan/ [*] 2022-01-24 21:18:48 XiuRen秀人网: https://www.xiurenji.net/XiuRen/ [*] 2022-01-24 21:18:48 Micat猫萌榜: https://www.xiurenji.net/Micat/ [*] 2022-01-24 21:18:48 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/ [*] 2022-01-24 21:18:48 站长推荐: https://www.xiurenji.net/hot.html [*] 2022-01-24 21:18:48 Taste顽味生活: https://www.xiurenji.net/Taste/ [*] 2022-01-24 21:18:48 XingYan星颜社: https://www.xiurenji.net/XingYan/ [*] 2022-01-24 21:18:48 Uxing优星馆: https://www.xiurenji.net/Uxing/ [*] 2022-01-24 21:18:48 Imiss爱蜜社: https://www.xiurenji.net/IMiss/ [*] 2022-01-24 21:18:48 CAT: 重新索引完成,分类数:25 **************************************************************************************************** **************************************************************************************************** [*] 2022-01-24 21:18:48 CAT: 开始处理分类:MTMeng模特联盟 **************************************************************************************************** PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -a -r **************************************************************************************************** _ _ ____ ___ | |__ __ _| |__ _ _ / __ \ _ __ ___ __ _ _ __ ___ / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __| | (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | | \__ \ \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_| |___/ |___/ \____/ 秀人集爬虫 Verson: 22.1.20 Blog: http://www.h4ck.org.cn **************************************************************************************************** **************************************************************************************************** [*] 2022-01-24 21:21:07 CAT: 开始分析分类信息...... [*] 2022-01-24 21:21:07 CAT: 分析完成,分类数:25 **************************************************************************************************** [*] 2022-01-24 21:21:07 CAT: 重新排列分类信息 [*] 2022-01-24 21:21:07 DKGirl御女郎: https://www.xiurenji.net/DKGirl/ [*] 2022-01-24 21:21:07 MiStar魅妍社: https://www.xiurenji.net/MiStar/ [*] 2022-01-24 21:21:07 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/ [*] 2022-01-24 21:21:07 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/ [*] 2022-01-24 21:21:07 Uxing优星馆: https://www.xiurenji.net/Uxing/ [*] 2022-01-24 21:21:07 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/ [*] 2022-01-24 21:21:07 MFStar模范学院: https://www.xiurenji.net/MFStar/ [*] 2022-01-24 21:21:07 XingYan星颜社: https://www.xiurenji.net/XingYan/ [*] 2022-01-24 21:21:07 Taste顽味生活: https://www.xiurenji.net/Taste/ [*] 2022-01-24 21:21:07 MintYe薄荷叶: https://www.xiurenji.net/MintYe/ [*] 2022-01-24 21:21:07 LeYuan星乐园: https://www.xiurenji.net/LeYuan/ [*] 2022-01-24 21:21:07 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/ [*] 2022-01-24 21:21:07 WingS影私荟: https://www.xiurenji.net/WingS/ [*] 2022-01-24 21:21:07 站长推荐: https://www.xiurenji.net/hot.html [*] 2022-01-24 21:21:07 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/ [*] 2022-01-24 21:21:07 YouWu尤物馆: https://www.xiurenji.net/YouWu/ [*] 2022-01-24 21:21:07 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/ [*] 2022-01-24 21:21:07 最新更新: https://www.xiurenji.net/new.html [*] 2022-01-24 21:21:07 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/ [*] 2022-01-24 21:21:07 Imiss爱蜜社: https://www.xiurenji.net/IMiss/ [*] 2022-01-24 21:21:07 Candy糖果画报: https://www.xiurenji.net/Candy/ [*] 2022-01-24 21:21:07 HuaYang花漾: https://www.xiurenji.net/HuaYang/ [*] 2022-01-24 21:21:07 HuaYan花の颜: https://www.xiurenji.net/HuaYan/ [*] 2022-01-24 21:21:07 Micat猫萌榜: https://www.xiurenji.net/Micat/ [*] 2022-01-24 21:21:07 XiuRen秀人网: https://www.xiurenji.net/XiuRen/ [*] 2022-01-24 21:21:07 CAT: 重新索引完成,分类数:25 **************************************************************************************************** **************************************************************************************************** [*] 2022-01-24 21:21:07 CAT: 开始处理分类:DKGirl御女郎 PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -c https://www.xiurenji.net/HuaYan/ **************************************************************************************************** _ _ ____ ___ | |__ __ _| |__ _ _ / __ \ _ __ ___ __ _ _ __ ___ / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __| | (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | | \__ \ \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_| |___/ |___/ \____/ 秀人集爬虫 Verson: 22.1.20 Blog: http://www.h4ck.org.cn **************************************************************************************************** **************************************************************************************************** [*] 2022-01-24 21:21:09 CAT: 单分类爬取,分类地址:https://www.xiurenji.net/HuaYan/ https://www.xiurenji.net/HuaYan/index2.html **************************************************************************************************** [*] 2022-01-24 21:21:11 PAGE: 开始分析页面链接 [*] 2022-01-24 21:21:11 DOWNLOAD: 开始下载:[HuaYan花の颜]Vol.074_女神绯月樱-Cherry马尔代夫旅拍蕾丝情趣内衣惹火诱惑写真60P [*] 2022-01-24 21:21:11 DOWNLOAD: https://www.xiurenji.net/HuaYan/6049.html [*] 2022-01-24 21:21:11 DOWNLOAD: 下载目录:[HuaYan花の颜]Vol.074_女神绯月樱-Cherry马尔代夫旅拍蕾丝情趣内衣惹火诱惑写真60P [*] 2022-01-24 21:21:11 SKP: 已经存在该目录,跳过。 **************************************************************************************************** [*] 2022-01-24 21:21:11 DOWNLOAD: 开始下载:[HuaYan花の颜]Vol.073_嫩模Emily顾奈奈私房黑色蕾丝情趣内衣秀火辣身材诱惑写真50P [*] 2022-01-24 21:21:11 DOWNLOAD: https://www.xiurenji.net/HuaYan/5549.html [*] 2022-01-24 21:21:11 DOWNLOAD: 下载目录:[HuaYan花の颜]Vol.073_嫩模Emily顾奈奈私房黑色蕾丝情趣内衣秀火辣身材诱惑写真50P [*] 2022-01-24 21:21:11 SKP: 已经存在该目录,跳过。 ****************************************************************************************************
文件哈希:
名称: xiurenji_20210124.7z 大小: 6571911 字节 (6417 KiB) CRC32: 5C1076F5 CRC64: 9C51FB5BC6BEE268 SHA256: 74a77606876cf033e9b0b8a5c2b23f273522977af248c4f68e21a4f106bc6156 SHA1: 3e4ea99f3238b7ff6c7196a139a48fdaefb7f2b0 BLAKE2sp: 14be19e352344b1f47094012fc10f458e123a589cfb487c8ebc2b2c0264f6496
下载地址:
文件进度:
153 comments
学习一下
学习一下
大佬给力!
感谢大神的无私奉献啊..省去了我自己敲代码的苦恼了!
下来试试
太棒了,谢谢大佬
复杂啊,学习一下
大佬真的强
大佬真的强
太6了
真的强
大佬真的强,真的66
厉害厉害
学习一下
大佬我是来学习的。。。
大佬牛X,太赞了。。20210124,20220412二个版本都好用!!!
大神,我是python新人,期望能观摩源码一二,有个学习的师傅带入门。感激不尽!
妹子图爬虫 之前的简单代码,可参考。现在的代码比较麻烦,想看的话搜索下怎么反编译py编译的exe文件,可以看到源码。
学习一下
学习学习
学习一下
学习一下
学习两下
牛掰啊,学习一下
求下载地址,如何下的
学习学习
学习一下
学习学习
学习一下
学习下
没看懂怎么下载 py源文件在哪