美女图片整理【异常图片】

2023年3月14日 27 条评论

由于爬虫比较多，有的爬虫在下载的时候没有处理网络问题或者图片本山链接错误导致的图片异常。有的是处理了的，不要问为什么没加异常检测，问就是懒。

下载的图片会出现下面的问题，其实预览的时候就会发下问题了，另外打开这个图片其实会显示404或者502之类的错误页面。所以写了一段处理代码，主要两个功能：

1.删除小文件，至于多小自己去调整代码
2.如果目录下所有的文件都有问题，删除文件后同时删除目录

错误图片效果：

自动清理之后效果：

代码如下：

# 妹子图整理工具 by obaby
# http://h4ck.org.cn
# http://nai.dog
# 按 Shift+F10 执行或将其替换为您的代码。
# 按 双击 Shift 在所有地方搜索类、文件、工具窗口、操作和设置。
import os
from pathlib import Path
import hashlib
import shutil
from pyfiglet import Figlet

source_file_paths = [
    Path(r'I:\iknmv'),
]

dest_file_path = Path('I:\Beauty_Images')




def print_hack():
    print('*' * 100)
    # f = Figlet(font='slant')
    f = Figlet()
    print(f.renderText('obaby@mars'))
    print('美女图片清理工具 V1.0')
    print('Verson: 23.03.14')
    print('Blog: http://www.h4ck.org.cn')
    print('      http://nai.dog')
    print('*' * 100)

def check_empty_by_scandir(path):
    with os.scandir(path) as it:
        return not any(it)

def clean_images_in_dir(p):
    global done_paths
    print('=' * 200)
    print('[M] 开始复制目录' + p.name + ' ......')
    for dir in p.iterdir():

        for img in dir.glob('*.*'):
            # print(img)
            # 处理小于100k文件
            if int(img.stat().st_size) < 10000:
                # image_name = img.name
                # shutil.delete(img)
                try:
                    img.unlink()
                except :
                    pass
                print('[*]' + img.name + ' 已经删除')

        print('[*]' + dir.name + ' 目录清理完成')
        print('-' * 200)
        if check_empty_by_scandir(dir):
            try:
                dir.rmdir()
            except :
                pass

# 按间距中的绿色按钮以运行脚本。
if __name__ == '__main__':
    print_hack()
    # append_done_paths('c/dir')
    # done_list = get_done_paths()
    # print(done_list)
    # test_path = Path(r'G:\秀人集')
    # tp = Path(r'G:\秀人集\[XINGYAN星颜社]VOL.154_女神王雨纯脱深色日式和服露性感白色内衣配超薄肉丝诱惑写真82P')
    # print(tp.name)
    # ml = get_image_md5_in_path(Path(r'G:\秀人集\[XINGYAN星颜社]VOL.154_女神王雨纯脱深色日式和服露性感白色内衣配超薄肉丝诱惑写真82P'))
    # print(ml)
    print('*' * 100)
    print('[S] 开始处理图片：')
    for p in source_file_paths:
        clean_images_in_dir(p)

    print('[D] 所有目录完成清理。请欣赏图片吧。')
    print('*' * 100)

☆版权☆

* 网站名称：obaby@mars
* 网址：https://h4ck.org.cn/
* 个性：https://oba.by/
* 本文标题：《美女图片整理【异常图片】》
* 本文链接：https://h4ck.org.cn/2023/03/11509
* 短链接：https://oba.by/?p=11509
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。

Python 妹子图美女图片

Previous Post Next Post

obaby

爱好广泛的火星小妖精，有问题欢迎留言交流啊~(✪ω✪) 爬虫类工具请先点击这个链接查看用法https://oba.by/?p=12240 闺蜜圈APP下载 https://guimiquan.cn

27 comments

小熊说道：

2023年3月14日 22:52

Microsoft Edge 110 iPhone iOS 16.3 中国–四川–雅安电信
大佬存图片的硬盘得有多大呀

回复
1. obaby说道：
  
  2023年3月15日 08:44
  
  Google Chrome 102 Mac OS X 10.15 中国–山东–济南移动
  原来有个2T的硬盘塞满了，有加了一块4T的硬盘专门用来下东西~~
  
  回复
  1. 威言威语说道：
    
    2023年3月15日 17:55
    
    Firefox 111 Windows 10 中国–上海–上海–徐汇区电信
    这么多图片怎么看得过来
    
    回复
    1. obaby说道：
      
      2023年3月15日 18:51
      
      Google Chrome 102 Mac OS X 10.15 中国–山东–济南移动
      说实话呢，就是看不完啊，实在太多了，收集了很多。嘿嘿，不过看图也是一项体力活~~~
      
      回复
Teacher Du说道：

2023年3月14日 23:21

Microsoft Edge 111 GNU/Linux 中国–海南–海口联通
我跑了半个月，只爬了100G图片！

回复
1. obaby说道：
  
  2023年3月15日 08:42
  
  Google Chrome 102 Mac OS X 10.15 中国–山东–济南移动
  杜老师可以开多进程啊，-r参数可以随机重排分类。如果网络好的话，开8个进程两三天就下载完了~~
  
  回复
  1. Teacher Du说道：
    
    2023年3月15日 20:24
    
    Microsoft Edge 111 GNU/Linux 中国–海南–海口联通
    用的是群辉虚拟机，跑四个就明显慢了！
    
    回复
    1. obaby说道：
      
      2023年3月15日 21:02
      
      Google Chrome 110 Windows 10 中国–山东–青岛联通
      酱紫，你用的那个爬虫啊，我给你打包一个群辉的版本。
      
      回复
      1. Teacher Du说道：
        
        2023年3月15日 21:30
        
        Microsoft Edge 111 GNU/Linux 中国–海南–海口联通
        230302的，还有群辉专用版吗？
        
        回复
        
        obaby说道：
        
        2023年3月15日 21:31
        
        
        Google Chrome 110 Windows 10 中国–山东–青岛联通
        爱看美女网那个吗？
        
        回复
        
        TeacherDu说道：
        
        2023年3月16日 18:09
        
        Microsoft Edge 111 Windows 10 中国中国移动
        我是x86的，跑win10！
        
        回复
        
        obaby说道：
        
        2023年3月16日 18:49
        
        
        Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
        晚上我再试试，不行就直接发源码，python跑吧。啊哈哈哈
        
        回复
        
        obaby说道：
        
        2023年3月15日 21:44
        
        
        Google Chrome 110 Windows 10 中国–山东–青岛联通
        你的群辉是x86架构的还是arm架构的？跑虚拟机，我猜应该是x86架构的~~
        
        回复
        
        obaby说道：
        
        2023年3月15日 22:19
        
        
        Google Chrome 110 Windows 10 中国–山东–青岛联通
        编译了一下，问题太多了。哈哈哈。群辉下面的命令行工具缺失，各种错误，跑不起来
        
        回复
605579768说道：

2023年3月15日 15:22

Google Chrome 103 Windows 10 中国–安徽–合肥–巢湖市电信
问题是异常图片怎么补齐。。

回复
1. obaby说道：
  
  2023年3月15日 15:24
  
  Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
  补齐不了啊，因为不是网络超时导致的。你去访问下那个图片链接看看不就知道了？直接返回的服务器错误，怎么补齐？也不能无中生有啊。当然如果其他的图片站也有这套图，可以去其他的图片展下载。这样倒是能补齐一部分。
  
  回复
  1. 605579768说道：
    
    2023年3月15日 15:32
    
    Google Chrome 103 Windows 10 中国–安徽–合肥–巢湖市电信
    难受
    
    回复
    1. obaby说道：
      
      2023年3月15日 15:33
      
      美国
      那么多爬虫呢，换一个试试
      
      回复
叶小姐说道：

2023年3月15日 15:58

Firefox 110 Windows 10 美国
下载那么多小姐姐照片, 也不及姐姐万分之一美呢.

回复
1. obaby说道：
  
  2023年3月15日 16:55
  
  Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
  妹妹不要酱紫，姐姐会骄傲的~~
  
  回复
  1. 叶小姐说道：
    
    2023年3月15日 17:00
    
    Firefox 110 Windows 10 美国
    不嘛,不嘛,伦家就要.姐姐多美呀那些人都比不上姐姐让我心动…尤其是”职业女性”.
    
    好啦, 姐姐,我吃饭去啦, 拜拜. 下次见.
    
    回复
    1. obaby说道：
      
      2023年3月15日 17:01
      
      Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
      爱你哦~~
      
      回复
网友小宋说道：

2023年3月16日 02:13

Microsoft Edge 109 Windows 7 中国–河南–漯河电信
挺好，上面两个妹子，能给我发一个吗

回复
1. obaby说道：
  
  2023年3月16日 07:07
  
  Google Chrome 110 Android 10 中国–山东–青岛联通
  只能发图片哦，发不了真人。我也想要真人呢。
  
  回复
2. obaby说道：
  
  2023年3月16日 07:10
  
  Google Chrome 110 Android 10 中国–山东–青岛联通
  贵站打不开了？
  
  回复
  1. 网友小宋说道：
    
    2023年3月16日 13:48
    
    WebView 4 Android 12 中国中国移动
    怎么最近老是提示有些地区无法访问
    
    回复
    1. obaby说道：
      
      2023年3月16日 13:49
      
      Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
      我这里移动和联通以及手机流量都访问不了~~
      
      回复