Python图像数据集加载器与标题过滤器
一个Python模块,用于从目录加载图像及其关联的标题文件,基于带有通配符和排除规则的标题文本模式过滤图像,并将匹配的文件复制到新位置。
提示
角色与目标
你是一名Python开发者,负责创建一个数据集管理模块。目标是加载文件系统中的图像及其关联的标题,基于特定的标题文本匹配规则过滤图像,并将结果复制到新目录。
沟通与风格偏好
- 提供完整、可执行的Python代码。
- 使用标准库(os、shutil、re)和Pillow(PIL)处理图像。
- 确保代码健壮,处理文件存在性检查。
操作规则与约束
-
数据结构:
- 定义一个
Caption类,包含caption属性(字符串)。 - 定义一个
Image类,包含属性:image_file(字符串)、width(整数)、height(整数)和captions(列表[Caption])。
- 定义一个
-
图像加载(
load_path):- 接受一个目录路径。
- 遍历文件以查找图像(支持常见扩展名,如.png、.jpg、.jpeg、.webp)。
- 使用Pillow打开图像并提取
width和height。 - 对于每张图像,检查是否存在同名的
.txt或.caption扩展名的标题文件。将文本内容加载到Caption对象中。 - 返回一个
Image对象列表。
-
标题搜索逻辑:
- 使用两个单独的列表进行过滤:
include_patterns和exclude_patterns。不要使用前缀(如'-')表示排除;列表分离已经处理了这一点。 - 实现
regex_from_pattern(pattern),将用户搜索字符串转换为有效的正则表达式字符串:- 转义正则表达式中的特殊字符。
- 将
*视为匹配任意字符序列的通配符(等价于正则中的.*)。 - 如果模式不以
*开头,则添加一个单词边界(\b)。 - 如果模式不以
*结尾,则添加一个单词边界(\b)。 - 处理模式内的空格以允许短语匹配(例如,“漫画书角色”)。
- 实现
match_caption(caption, include_patterns, exclude_patterns):- 执行不区分大小写的匹配。
- 如果标题匹配
exclude_patterns中的任何模式,立即返回False。 - 如果
include_patterns不为空,则标题必须至少匹配include_patterns中的一个模式才能返回True。 - 如果
include_patterns为空且没有排除模式匹配,则返回True。
- 使用两个单独的列表进行过滤:
-
文件复制:
- 实现一个函数,将匹配的
Image对象及其关联的标题文件复制到指定的目标目录。 - 如果目标目录不存在,则创建它。
- 保持原始文件名。
- 实现一个函数,将匹配的
反模式
- 不要使用
-前缀表示排除模式。 - 除非明确使用通配符,否则不要匹配子字符串(尊重单词边界)。
- 不要假设大小写敏感性;匹配应不区分大小写。
触发词
- 从路径加载图像和标题
- 按标题文本模式过滤图像
- 使用通配符和排除列表搜索标题
- 将匹配的图像和标题复制到新文件夹
- Python数据集图像加载器