微软『Windows』

秀人集爬虫 【22.04.12】【Windows】【Mac M1】

119 条评论 

更新日志：
22.4.12
增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。
22.1.18
1.兼容更新后的秀人集网站，支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。
2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。

使用参数：

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> （该参数会重新排列分类列表，可以开启多个进程同时进行爬取）
         -c <single category url> （支持单分类爬取，如果只想爬取某一个分类请使用该参数）
         -e <early stop, work in site crawl mode only> （配合整站爬取使用，多次检测到已经下载自动跳过该分类）
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
*************************************************************************************

效果：

C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\xiurenji\xiurenji.exe -a -e -r
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.04.12
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始分析分类信息......
[*] 2022-04-12 21:40:03 CAT: 分析完成，分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 重新排列分类信息
[*] 2022-04-12 21:40:03 CAT: 重新索引完成，分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-04-12 21:40:03 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-04-12 21:40:03 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-04-12 21:40:03 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-04-12 21:40:03 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-04-12 21:40:03 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-04-12 21:40:03 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-04-12 21:40:03 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-04-12 21:40:03 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-04-12 21:40:03 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-04-12 21:40:03 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-04-12 21:40:03 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-04-12 21:40:03 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-04-12 21:40:03 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-04-12 21:40:03 最新更新: https://www.xiurenji.net/new.html
[*] 2022-04-12 21:40:03 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-04-12 21:40:03 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-04-12 21:40:03 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-04-12 21:40:03 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-04-12 21:40:03 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-04-12 21:40:03 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-04-12 21:40:03 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-04-12 21:40:03 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-04-12 21:40:03 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-04-12 21:40:03 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-04-12 21:40:03 CAT: 索引完成，分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始处理分类：MiiTao蜜桃社
https://www.xiurenji.net/MiiTao/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9503.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9158.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9106.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6914.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6725.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6665.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载：[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6164.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************

[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录：[MiiTao蜜桃社]Vol.128_嫩模梦恬私房真空肚兜小厨娘半脱露傲人豪乳极致诱惑写真51P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:08 NEXT: 下一页地址：None
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: MiiTao蜜桃社下载完成，
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: 开始处理分类：XingYan星颜社
https://www.xiurenji.net/XingYan/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 开始分析页面链接

[*] 2022-04-12 21:40:11 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:11 NEXT: 下一页地址：None
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: XingYan星颜社下载完成，
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: 开始处理分类：站长推荐
****************************************************************************************************
[*] 2022-04-12 21:40:19 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:19 DOWNLOAD: 开始下载：[XiuRen秀人网]No.1967_女神王雨纯&周于希Sandy春节合集剧情性感姐妹花斗乳诱惑写真105P
[*] 2022-04-12 21:40:19 DOWNLOAD: https://www.xiurenji.net/XiuRen/5595.html

[*] 2022-04-12 21:40:20 DOWNLOAD: 下载目录：[XiuRen秀人网]No.3022_女神杨晨晨sugar浴池里真空灰色服饰配开档丝袜湿身诱惑写真52P
[*] 2022-04-12 21:40:20 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:20 NEXT: 下一页地址：None
****************************************************************************************************
[*] 2022-04-12 21:40:20 CAT: 站长推荐下载完成，

下载地址：

温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）

☆版权☆

* 网站名称：obaby@mars
* 网址：https://h4ck.org.cn/
* 个性：https://oba.by/
* 本文标题： 《秀人集爬虫 【22.04.12】【Windows】【Mac M1】》
* 本文链接：https://h4ck.org.cn/2022/04/10066
* 短链接：https://oba.by/?p=10066
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。

obaby

obaby

爱好广泛的火星小妖精，有问题欢迎留言交流啊~(✪ω✪) 爬虫类工具请先点击这个链接查看用法https://oba.by/?p=12240 闺蜜圈APP下载 https://guimiquan.cn

You may also like

119 comments

1 2 3
  1.  Level 3
    Microsoft Edge 100 Microsoft Edge 100 Windows 10 Windows 10 cn广东省深圳市 电信

    感谢博主。另外，请教下能否利用现有的下载工具，比如博主此前提及的蚂蚁下载器，结合一下python，多线程下载

    回复
      1.  Level 3
        Microsoft Edge 100 Microsoft Edge 100 Windows 10 Windows 10 cn广东省深圳市 电信

        好的，另外，xiurenji的图基本在300-400k，我在磁链接下过一下，单图都不小至少2-3m，请问博主有没有高清的xiuren网站，我们去爬一下

        回复
          1.  Level 3
            Microsoft Edge 100 Microsoft Edge 100 Windows 10 Windows 10 cn广东省深圳市 电信

            我信息了解不多，能否推荐一下？当然不能是收费那种，哈哈

            回复
  2. Level 1
    Microsoft Edge 99 Microsoft Edge 99 Android 10 Android 10 cn四川省成都市 电信

    是成品打包的软件吗？小白不懂代码使用

    回复
    1.  Level 3
      Microsoft Edge 100 Microsoft Edge 100 Windows 10 Windows 10 cn广东省深圳市 电信

      我信息了解不多，能否推荐一下？当然不能是收费那种，哈哈

      回复
  5. Level 1
    Google Chrome 90 Google Chrome 90 Windows 7 Windows 7 us罗马尼亚

    The most challenging part of SEO is making backlinks, and the more hard thing is getting Quality Backlinks. I’m offering competitors down High Domain Authority (DA) backlinks. If your keyword is medium hard, these backlinks will place your website on Google First Page.

    GET This Limited Time Offer: https://mranker.me/u/fvrweb

    Why Should You take this Offering?
    -Improve Your Website Ranking
    -Backlinks from High Authority Website
    -85% Dofollow backlinks for backlink Strategy]
    -135 Article/Contextual Backlink 00% Dofollow]
    -100% 5 Star Reviews Service]
    -Service Provider from Fiverr 00% Safe and Secure Payment]

    Diamond Package
    -All Types Of Backlinks
    -Contextual/Article Backlink: 135
    -Total Backlinks: 1300
    -Referring Domain: 1300
    -Referring IPs: 1280
    -85% Dofollow Backlinks
    -3 URLs & 5 Keywords
    -Details Reports: XLSX,CSV,TEXT,PDF

    Get this Exclusive Backlink Package for only $15
    Get it from FIVERR: https://mranker.me/u/fvrweb
    #1 Freelancing Site, 100% Secure Payment

    回复
  13.  Level 1
    Microsoft Edge 100 Microsoft Edge 100 Windows 10 Windows 10 cn上海市 联通

    难得找到大神写的程序，厉害！

    回复
  17.  Level 2
    Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn四川省 电信

    Traceback (most recent call last):
    File “xiurenji.py”, line 433, in
    File “xiurenji.py”, line 423, in main
    File “xiurenji.py”, line 312, in site_crawler
    File “xiurenji.py”, line 253, in get_sub_pages
    File “xiurenji.py”, line 163, in make_dir
    File “os.py”, line 213, in makedirs
    File “os.py”, line 213, in makedirs
    File “os.py”, line 223, in makedirs
    FileNotFoundError: [WinError 3] 系统找不到指定的路径。: ‘G:/’
    [37724] Failed to execute script xiurenji

    回复
  20.   Level 6
    Google Chrome 101 Google Chrome 101 Mac OS X 10.15 Mac OS X 10.15 cn浙江省杭州市余杭区 电信

    windows 下直接运行报找不到目录 g: ，需要 -p 指定路径。

    回复
  22.  Level 2
    Google Chrome 78 Google Chrome 78 Windows 10 Windows 10 cn陕西省西安市 移动

    博主，请教下载进度条都成一条，下载的图片格式都打不开，图片大小都是几个字节的，怎么解决

    回复
    1. 公主 Queen 
      Google Chrome 100 Google Chrome 100 Android 10 Android 10 cn山东省青岛市 联通

      网络超时了，可以尝试访问下网站 看下最新的域名替换一下。或者换下dns，或者挂个vpn

      回复
      1.  Level 2
        Google Chrome 78 Google Chrome 78 Windows 10 Windows 10 cn陕西省西安市 移动

        网站可以正常访问，域名也换了，问题还是存在，博主能正常下载吗

        回复
            1.  Level 2
              Google Chrome 78 Google Chrome 78 Windows 10 Windows 10 cn陕西省西安市 移动

              博主，换了dns还是不行，会不会是网站的下载路径变了

              回复
              1. 公主 Queen 
                Google Chrome 100 Google Chrome 100 Android 10 Android 10 cn山东省青岛市 联通

                图片路径 有个重定向 下载不了基本是这个重定向挂了 跟网络有关

                回复
  23.   Level 6
    Google Chrome 101 Google Chrome 101 Mac OS X 10.15 Mac OS X 10.15 cn浙江省杭州市余杭区 电信

    下载图片失效了，变成 0k ，实际图片地址域名被改成了 pic.xiurenb.net

    回复
        1. 公主 Queen 
          Google Chrome 100 Google Chrome 100 Mac OS X 10.15 Mac OS X 10.15 cn山东省青岛市 联通

          faild
          网页本身的那个图片也打卡开，图片换了域名了。这个需要更新下，替换下图片的域名。等后续更新把~~

          回复
            1. 公主 Queen 
              Google Chrome 100 Google Chrome 100 Windows 10 Windows 10 cn山东省青岛市 联通

              works 晚上我在家试了以下，是ok的。这个重定向无法访问和网络关系比较大，另外这个重定向的域名并不固定，所以不能通过指定图片域名的方式进行下载。还是要访问原始路径由系统进行重定向。我这里是联通，你的宽带是哪家运营商？

              回复
              1.   Level 6
                Google Chrome 101 Google Chrome 101 Mac OS X 10.15 Mac OS X 10.15 cn浙江省杭州市余杭区 电信

                现在又跑了一下，可以正常抓取了。

                回复
  28. Level 1
    Google Chrome 66 Google Chrome 66 Windows 10 Windows 10 cn四川省成都市 电信/四川水利职业技术学院

    微图坊的图，要比秀人集的分辨率高一些。推荐大佬考虑试试。

    回复
    1. 公主 Queen 
      Google Chrome 100 Google Chrome 100 Mac OS X 10.15 Mac OS X 10.15 cn山东省青岛市 联通

      pic图片分辨率不错，文件大小区别不大。安排~~

      回复
  29.   Level 6
    Google Chrome 101 Google Chrome 101 Windows 10 Windows 10 cn浙江省杭州市余杭区 电信

    现在报这个错：
    [*] 2022-05-17 12:00:57 EXP: 发生异常，HTTPSConnectionPool(host=’p.xiurenb.com’, port=443): Max retries exceeded with url: /uploadfile/202001/13/8313444343.jpg (Caused by SSLError(SSLCertVerificationError(“hostname ‘p.xiurenb.com’ doesn’t match either of ‘xiurenb.com’, ‘www.xiurenb.com'”))) ,继续处理后续图片

    回复
      1.   Level 6
        Google Chrome 101 Google Chrome 101 Windows 10 Windows 10 cn浙江省杭州市余杭区 电信

        可以了。他是不是有封 ip 的机制，跑一段时间就会限速，越来越慢

        回复
  30.  Level 1
    Google Chrome 101 Google Chrome 101 Windows 10 Windows 10 cn广东省东莞市 电信

    十分感谢楼主的无私奉献啊..!

    回复
1 2 3

回复 eralmtice 取消回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

Close Menu