美女图片整理【异常图片】

由于爬虫比较多，有的爬虫在下载的时候没有处理网络问题或者图片本山链接错误导致的图片异常。有的是处理了的，不要问为什么没加异常检测，问就是懒。

下载的图片会出现下面的问题，其实预览的时候就会发下问题了，另外打开这个图片其实会显示404或者502之类的错误页面。所以写了一段处理代码，主要两个功能：

1.删除小文件，至于多小自己去调整代码
2.如果目录下所有的文件都有问题，删除文件后同时删除目录

错误图片效果：

自动清理之后效果：

代码如下：

# 妹子图整理工具 by obaby
# http://h4ck.org.cn
# http://nai.dog
# 按 Shift+F10 执行或将其替换为您的代码。
# 按 双击 Shift 在所有地方搜索类、文件、工具窗口、操作和设置。
import os
from pathlib import Path
import hashlib
import shutil
from pyfiglet import Figlet

source_file_paths = [
    Path(r'I:\iknmv'),
]

dest_file_path = Path('I:\Beauty_Images')




def print_hack():
    print('*' * 100)
    # f = Figlet(font='slant')
    f = Figlet()
    print(f.renderText('obaby@mars'))
    print('美女图片清理工具 V1.0')
    print('Verson: 23.03.14')
    print('Blog: http://www.h4ck.org.cn')
    print('      http://nai.dog')
    print('*' * 100)

def check_empty_by_scandir(path):
    with os.scandir(path) as it:
        return not any(it)

def clean_images_in_dir(p):
    global done_paths
    print('=' * 200)
    print('[M] 开始复制目录' + p.name + ' ......')
    for dir in p.iterdir():

        for img in dir.glob('*.*'):
            # print(img)
            # 处理小于100k文件
            if int(img.stat().st_size) < 10000:
                # image_name = img.name
                # shutil.delete(img)
                try:
                    img.unlink()
                except :
                    pass
                print('[*]' + img.name + ' 已经删除')

        print('[*]' + dir.name + ' 目录清理完成')
        print('-' * 200)
        if check_empty_by_scandir(dir):
            try:
                dir.rmdir()
            except :
                pass

# 按间距中的绿色按钮以运行脚本。
if __name__ == '__main__':
    print_hack()
    # append_done_paths('c/dir')
    # done_list = get_done_paths()
    # print(done_list)
    # test_path = Path(r'G:\秀人集')
    # tp = Path(r'G:\秀人集\[XINGYAN星颜社]VOL.154_女神王雨纯脱深色日式和服露性感白色内衣配超薄肉丝诱惑写真82P')
    # print(tp.name)
    # ml = get_image_md5_in_path(Path(r'G:\秀人集\[XINGYAN星颜社]VOL.154_女神王雨纯脱深色日式和服露性感白色内衣配超薄肉丝诱惑写真82P'))
    # print(ml)
    print('*' * 100)
    print('[S] 开始处理图片：')
    for p in source_file_paths:
        clean_images_in_dir(p)

    print('[D] 所有目录完成清理。请欣赏图片吧。')
    print('*' * 100)