图片转文稿(原生视觉转写)
核心原则
- 直接看图转写。 使用模型原生视觉理解读取页面,不调用任何 OCR 引擎、OCR API、OCR 命令行工具或带 OCR 的文档转换流程。
- 忠实优先于流畅。 不确定的字不得靠语感偷偷补齐;必须留下可追踪标记。
- 逐页闭环。 每一页都要经历:识别 → 记录首尾 → 复核 → 标记完成。
- 不虚报。 未逐页完成二次核对时,不得声称“完全准确”“错误率极低”或给出没有验证依据的准确率。
- 保护隐私。 默认只处理本地/当前会话中的图片,不上传到外部网站或第三方服务。
明确禁止
除非用户明确改变要求,否则不得:
- 运行
tesseract、paddleocr、easyocr、ocrmypdf、Apple Vision OCR、Google/Azure/AWS OCR 或同类服务; - 从 PDF 的隐藏文字层、现成 OCR 文本层或自动字幕层冒充“自己看图识别”;
- 用模糊的语义补全替代页面上的原文;
- 跳过页面后仍声称全文已经完成;
- 先用 OCR 生成底稿,再只做少量人工修订,却把结果描述为纯视觉转写。
允许使用的辅助操作:旋转图片、裁切边缘、放大、调亮、增强对比度、建立图片清单、统计字数、生成文稿文件。这些操作不得包含文字识别。
开始前
1. 确认输入
- 确认所有目标图片在当前会话或本地文件系统中可访问。
- 统计图片数量、文件名、尺寸、方向和明显的缺页/重复页。
- 图片缺失时,只询问缺失的目标,不要假装已有图片可用。
可运行:
python scripts/inventory_images.py <图片目录>
此脚本只读取文件名和图像尺寸,不识别文字。
2. 判断页面顺序
先按文件名和上传顺序建立初始顺序,再根据以下线索修正:
- 标题、题号、页码;
- 上一页末句与下一页首句是否衔接;
- “第1题/第2题”“参考答案(一)/(二)”等结构;
- 同一页左右露出的邻页内容只作为线索,不纳入当前页正文。
顺序不确定时,记录为“待确认”,不得强行拼接。
3. 选择输出模式
用户未指定时,默认生成:
- 忠实转写稿:最大限度保留标题、段落、题号、标点和页间边界;
- 整理文稿:去掉纸张换行造成的断行,统一空格和段落,但不改写原意;
- 存疑清单:列出所有无法确认、被裁切或疑似错字的位置。
用户只要一种格式时,按要求输出。
逐页转写流程
1. 分批处理
- 一次处理 1–4 页;密集小字页面优先 1–2 页一批。
- 完成一批后立刻写入中间文稿,不要把几十页全部留在临时上下文中。
- 每页添加内部页标记,例如:
<!-- PAGE: Image_001.jpg -->。最终整理稿可移除,忠实稿建议保留。
2. 视觉读取
对每页按以下顺序阅读:
- 页面标题和题号;
- 从上到下、从左到右逐段读取;
- 检查缩进、序号、括号、数字、专有名词;
- 记录该页正文的前 12–20 个字和后 12–20 个字;
- 检查页边、书脊、弯曲、反光和裁切区域。
不得把旁边露出的另一页、桌面花纹、手写批注误当正文。手写批注只有在用户要求时才单独转写,并标注“手写”。
3. 存疑标记
统一使用:
〔无法辨认〕:看不清且没有可靠候选;〔疑似:甲|备选:乙〕:存在两个以上合理读法;〔裁切缺字〕:原图未拍全;〔页序待确认〕:页面衔接无法确定;〔原文疑误〕:页面本身疑似存在错别字,但仍按原文抄录。
不要用方括号补出“应该是”的文字而不说明依据。
4. 页面台账
维护一份台账,至少包含:
| 页/文件 | 开头文字 | 结尾文字 | 存疑数 | 状态 |
|---|---|---|---|---|
| Image_001.jpg | …… | …… | 0 | 已复核 |
可复制 assets/transcription-ledger.md 作为模板。
二次复核
每一页必须重新看图核对一遍,重点检查:
- 标题、题号、段落是否遗漏;
- 同音/形近字:的/地/得、村委/村两委、群众/群体等;
- 人名、地名、政策名、机构名;
- 数字、日期、金额、百分比、电话号码、字数;
- 否定词“不、未、无”、程度词“仅、均、全部”等高影响词;
- 页首、页尾是否与相邻页面重复或断裂;
- 是否误录邻页露出的文字;
- 是否因页面弯曲而漏掉行首或行尾。
完成后把台账状态改为“已复核”。仍有疑问的页不要标为无误。
长文档完整性检查
转写完成后:
- 核对图片总数与台账页数;
- 搜索所有存疑标记;
- 检查是否有重复段落、缺页标记和断句异常;
- 计算实际字数,不凭感觉估算;
- 确认忠实稿与整理稿没有大段内容差异。
可运行:
python scripts/check_manuscript.py <文稿文件>
该脚本只做字数、页标记和存疑标记统计,不识别图片。
输出规则
忠实转写稿
- 保留题号、标题、原段落;
- 保留原文中明显存在的措辞和语法;
- 纸张自然换行可合并,但不得改变句子;
- 建议格式:Markdown 或 TXT。
整理文稿
- 修复因排版产生的断行;
- 统一中文标点、空格和段前段后;
- 不擅自润色、删减、改写;
- 如修复明显排版错误,需在存疑清单中说明。
Word 文档
用户要求 DOCX 时:
- 使用标题层级、正文段落和合理页边距;
- 不把每个原始图片页强制做成一个 Word 页面,除非用户要求版式复刻;
- 生成后必须检查是否有乱码、缺字、错位和异常分页;
- 同时保留一份纯文本或 Markdown 作为可核对底稿。
质量报告
交付时必须说明:
- 共处理多少张图片、多少页;
- 是否使用 OCR:明确写“未使用 OCR”或“经用户同意使用了 OCR”;
- 已复核页数;
- 尚有多少处存疑、裁切或页序问题;
- 输出文件名称;
- 准确率只能在有抽样或逐字对照依据时估算,并说明方法。没有独立对照时,写“未进行独立准确率测定”。
推荐交付表述:
已处理 18 张图片,18 页均完成两遍视觉核对;未使用 OCR。文稿中仍保留 7 处存疑标记,主要位于书脊弯曲和页边裁切区域。未进行独立准确率测定。
失败与降级策略
- 某一页过于模糊:先完成其他页面,再单独列出需要补拍的页;
- 页面严重倾斜:先旋转/裁切后再看图,不得自动 OCR;
- 跨页文字被裁切:保留
〔裁切缺字〕,请求补拍相邻页; - 文档太长导致上下文压力:按批次保存到文件,使用台账恢复进度;
- 模型无法可靠看清:坦白说明,不得以语义猜测填充。
完成标准
只有同时满足以下条件才算完成:
- 所有可用图片均已登记;
- 每页均有首尾记录和状态;
- 每页至少完成一次转写和一次视觉复核;
- 未解决问题全部进入存疑清单;
- 输出文件能够打开,正文不为空;
- 最终答复没有虚构准确率,也没有隐瞒 OCR 使用情况。