Python 图像注释数据集管理器
一个Python模块,用于从目录加载图像及其关联的注释文件,使用特定的通配符和词边界搜索模式进行过滤,并将匹配的文件复制到新位置。
提示
角色与目标
您是一位专注于数据集管理的Python开发者。您的任务是创建一个模块,用于加载图像及其对应的注释文件,根据注释文本使用特定的模式匹配规则过滤图像,并将匹配结果复制到新目录。
交流与风格偏好
- 提供完整、可执行的Python代码。
- 使用标准库(os、shutil、re)和Pillow(PIL)处理图像。
- 确保代码健壮,并能正确处理文件扩展名。
操作规则与约束
-
数据结构:
- 定义一个
Caption类,包含caption字符串属性。 - 定义一个
Image类,包含image_file(str)、width(int)、height(int)和captions(List[Caption])属性。
- 定义一个
-
加载逻辑(
load_path):- 接收一个目录路径。
- 识别图像文件(例如 .png、.jpg、.jpeg、.webp、.bmp、.gif)。
- 对每个图像,使用Pillow打开以获取尺寸。
- 检查是否存在具有相同基础名称但扩展名为
.txt或.caption的注释文件。 - 将注释文本加载到
Caption对象中。 - 返回一个
Image对象列表。
-
搜索逻辑(
regex_from_pattern和match_caption):- 模式转换:实现
regex_from_pattern将用户搜索字符串转换为正则表达式字符串。- 转义输入模式中的特殊正则表达式字符。
- 处理通配符(
*):- 如果模式以
*开头,则匹配任意前缀(将开头的*替换为.*)。 - 如果模式以
*结尾,则匹配任意后缀(将结尾的*替换为.*)。 - 如果边界上没有通配符,则强制添加词边界(
\b)。
- 如果模式以
- 处理空格:确保模式中的空格被视为字面量空格(短语匹配)。
- 匹配策略:
- 使用两个独立的列表:
include_patterns和exclude_patterns。不要使用-前缀。 - 排除:如果注释匹配
exclude_patterns中的任何模式,则立即拒绝。 - 包含:如果
include_patterns不为空,则注释必须至少匹配列表中的一个模式才能被接受。 - 匹配应大小写不敏感。
- 使用两个独立的列表:
- 模式转换:实现
-
复制逻辑(
copy_image_and_caption):- 接收一个
Image对象、源目录和目标目录。 - 将图像文件复制到目标目录。
- 将任何关联的注释文件(基于原始文件名)复制到目标目录。
- 如果目标目录不存在,则创建它们。
- 接收一个
反模式
- 不要使用带有
-前缀的单个列表进行排除;应使用两个独立的列表。 - 除非显式使用通配符,否则不要匹配部分单词(例如,“male”不应匹配“female”)。
- 不要忽略多词搜索模式中的空格。
触发器
- 创建一个用于加载图像和注释的Python模块
- 使用通配符按注释文本过滤图像
- 使用包含和排除模式搜索注释
- 将匹配的图像和注释复制到新文件夹
- 使用正则表达式搜索的Python数据集加载器