Umi-OCR 文字识别工具

• main分支可能含有开发中的新功能。若您想使用稳定版本，建议切换到最新的Release分支。
• 安装依赖库：pip install -r requirements.txt
• 运行 main.py 启动程序。测试无异常后，运行 to_exe.py 一键打包。
• 打包后，请将引擎组件 PaddleOCR-json 整个文件夹 放置于exe同目录下！
• 打包后，请将引擎组件 PaddleOCR-json 整个文件夹 放置于exe同目录下！！
• 打包后，请将引擎组件 PaddleOCR-json 整个文件夹 放置于exe同目录下！！！

“忽略区域”是指图片上指定位置与大小的矩形区域，完全处于这些区域内的文字块，将被排除。

• 点击 设置 选项卡中的 打开忽略区域编辑器 ，进入编辑器窗口。
• 将任意图片 拖入 该窗口，可预览该图片。将新图片拖入窗口可切换预览，但已绘制的忽略区域不会消失；可切换不同图片来仔细调整忽略区域。
• 绘制 忽略区域 ：拖入图片后，点击选中左起第一按钮 +忽略区域 A ，然后在图片上按住左键拖拽，绘制矩形区域。可 撤销 步骤。
• 绘制完后，点击 完成 返回软件主窗口。若不想应用此次绘制，则右上角X，取消。

简单案例见下。

简单排除视频截图中的水印：

1. 打开忽略区域设置窗口，拖入任一张截图。 稍等约1秒，面板上会显示出图片，识别到的文字区域会被虚线框起来。发现右上角的水印也被识别到了。
2. 点击选择 +忽略区域 A 。在画面上按住左键拖拽，绘制方框完全包裹住水印区域，范围可以大一些。可绘制多个方框。
3. 点击 完成 。返回主窗口， 开始任务 。

排除游戏截图中的两种UI：

• 假设有一组游戏截图，主要分为两类图片，这两类图片的文字位置和UI位置不太相同：
  • 甲类（上图左）为对话模式，字数少，要保留的台词文本在画面下方，要排除的UI分布于底端。
  • 乙类（上图右）为历史文本模式，字数多，从上到下都有要保留的文本（与甲类UI位置有重合），要排除的UI分布在两侧。

1. 拖入一张甲类图片。选择 +忽略区域 A ，绘制方框包裹住要排除的 底端UI 。可绘制多个方框。
2. 拖入一张乙类图片。选择 +识别区域 ，绘制方框包裹住 小部分要保留的文本 。注意只要该区域内含有任意保留文本即可，不需要画得很大，不需要包裹住所有保留文本；不能与甲类图中 可能存在的任何文本 重合。
3. 然后选择 +忽略区域 B ，绘制方框包裹住乙类图要排除的 两侧UI 。可绘制多个方框。
4. 点击 完成 。返回主窗口， 开始任务 。

忽略区域处理逻辑：

• 忽略区域A ：正常情况下，处于 忽略区域A 内的文字 不会 输出。

• 识别区域 ：当识别区域内存在文本时，忽略区域A失效 ；即处于忽略区域A内的文字也 会 被输出。

• 忽略区域B ：当 忽略区域A失效 时，忽略区域B才生效；即处于区域A内的文字 会 输出、区域B内的文字 不会 输出。

  识别区域	忽略区域A	忽略区域B
  × 不存在文字	√ 生效	× 失效
  √ 存在文字	× 失效	√ 生效

• “忽略区域配置”只针对一种分辨率生效。假如配置的分辨率是1920x1080，那么批量识别图片时，只有符合1920x1080的图片才会排除干扰文本；1920x1081的图片中的文字会全部输出。

• 拖入预览的图片必须分辨率相同。假如先拖入1920x1080的图片，再拖入其它分辨率的图片；软件会弹窗警告。只有点击 清空 删除当前已配置的忽略区域，才能拖入其他分辨率图片，并应用此分辨率。

方法一：下载 [Umi-OCR 多国语言识别扩展包] ，拷贝到软件目录即可。

点此跳转下载位置

扩展包内置语言：繁中,英,日,韩,俄,德,法

方法二：手动下载添加 PP-OCR 模型库

0. 模型分为三种：det检测，cls方向分类，rec识别。其中det和cls是多语言通用的，只需下载新语言的rec识别模型即可。
1. 前往 PP-OCR系列 V3多语言识别模型列表 ，下载一组rec识别模型。
   • 若V3模型列表里没有找到目标语言，可以去支持语言列表查看PPOCR有没有提供这种语言。若有，则可能它暂未推出V3模型，可以先使用旧版V2模型。（V3模型网址中的2.x一路换成更小的数字可以查看旧版页面）
2. 前往 PP-OCR系列 字典列表 ，下载对应语言的字典文件。（但V3英文字典en_dict.txt不是本目录下的那个，而是在上一级目录）
3. 将下载好的文件解压放进软件目录的 PaddleOCR-json 文件夹中。
4. 复制一份 PaddleOCR_json_config_[模板].txt ，改一下名。（文件名不允许有非英文字符！）
5. 打开复制好的 PaddleOCR_json_config_XX.txt ，将 rec路径 rec_model_dir 和 字典路径 rec_char_dict_path 改成目标语言的文件(夹)的名称。若模型库是v2版本，还必须加上一行 rec_img_h 32 。
6. 回到上一层目录 Umi-OCR ，打开 Umi-OCR_config.json ，在 "ocrConfig" 中添加新语言的信息。键为语言名称，值的 path 为config txt文件的名称。保持json格式，注意逗号。（修改config.json文件时，请确保未打开软件，否则配置可能被覆盖。）
7. 打开软件，检查设置页的识别语言下拉框是否已经能选择该语言。

v1.3.3 后支持通过命令行调用Umi-OCR，执行部分识图任务。

若软件未在运行，则命令行会启动软件并执行任务。若软件已在后台运行，则命令行会直接调用后台的软件执行任务。这样多次调用时可以节省初始化的时间。

注意命令行调用入口是程序目录的extra中的umiocr.exe，而不是软件常规入口（Umi-OCR 文字识别.exe）。

⚠︎ umiocr.exe在程序目录的extra文件夹中。 ⚠︎

命令行语法按照谷歌gflags规则： -命令 或 -命令=参数 或 -命令 参数

指令0：启动软件

若软件尚未启动，则任意指令均会启动软件主程序。

指令1：显示窗口

umiocr.exe 或 umiocr.exe -show

无论主窗口处于什么状态（最小化、收到托盘、被别的窗口覆盖），该指令都会让主窗口弹到最上层。

指令2：隐藏窗口

umiocr.exe -hide

将窗口收到托盘区或最小化。

show和hide这两个指令可以与其它指令混用，如 umiocr.exe -clipboard -show

指令3：关闭软件

umiocr.exe -exit

指令4：本地图片识别

umiocr.exe -img=图片.png

支持图片/文件夹；多个路径以逗号,分隔；含空格的路径加双引号""。如：

umiocr.exe -img="D:/图库,E:/my img/图片.png"

若路径含中文，请务必加双引号。

指令5：剪贴板识图

umiocr.exe -clipboard

指令6：截屏识图

umiocr.exe -screenshot

指令7：切换识别语言

umiocr.exe -language=序号

“序号”为软件设置里各个语言的排序，从0开始。从上往下数，比如简中排第一，那么是-language=0。繁中排第二，那么是-language=1。英文排第四，-language=3。以此类推。

发送指定按键

v1.3.5 起，支持快捷识图完成并将结果写入剪贴板后，发送一组指定按键，触发翻译软件进行翻译。当然也可以用于触发你的AHK脚本等，实现更多奇奇怪怪的功能。

v1.3.6 起，截图联动是一个单独的功能，由独立快捷键触发，与常规的截图OCR互不影响。

这是一个隐藏高级功能，请先勾选设置页底部的高级选项，重启软件。设置页的快捷识图板块会多出两组条目：

• 截图联动 快捷键：您可设置一组快捷键，来触发该功能。
• 联动发送按键：触发识图，并将识别结果写入剪贴板后，可以发送一组指定按键。次表示重复发送按键的次数。

经过测试，Umi-OCR可以顺利地与 CopyTranslator 及 沙拉查词 联动触发翻译，以下是配置方法。

联动 CopyTranslator

1. 下载 CopyTranslator。这里示例所用的版本是 v11 。

2. 如果不介意CopyTranslator监听剪贴板（每次剪贴板变动都尝试翻译），那么勾选Umi-OCR的自动复制结果 和CopyTranslator的监听剪贴板即可。

3. 如果不一定始终开启监听剪贴板，又希望Umi-OCR在任何情况下能唤起CopyTranslator，可以这样处理：CopyTranslator在设置里勾选双Ctrl+C翻译；Umi-OCR的联动发送按键录制为ctrl+c，2次。

联动 沙拉查词

1. 沙拉查词 是一款浏览器插件，支持Chrome、Edge等浏览器，这是下载页面。下面以Edge浏览器为例讲解配置方法。其他浏览器大同小异。（Firefox支持不完善，不推荐。）
2. 打开沙拉查词的插件设置页面，左边栏选择基本选项，右边栏勾选后台保持运行。（如果不勾选也能使用，但必须保持浏览器开启。）
3. 左边栏点击隐私设置，右边栏点击设置快捷键。
4. 在弹出的新页面中，将沙拉查词的在独立窗口中搜索剪贴板内容设置任意一组快捷键，然后右边改为全局。Umi-OCR的联动发送按键录制为相同快捷键，1次。
5. 回到沙拉查词的设置页，左边栏点击权限管理，勾选读取剪贴板。

• 除了默认的自动关机/待机外，您还可创建自己的计划任务，让软件在完成一次批量识别后执行自定义cmd命令。
• 在软件关闭的情况下，打开配置文件 Umi-OCR_config.json 。也可以先打开软件，点击设置页最底部的 打开设置文件 ，然后退出软件。
• 在okMission中添加一项元素。
• 键为任务名称，值为字典，其中code为cmd命令。多条命令可用&分隔。例：

  "我的任务": {"code": "cmd命令1 & 命令2"}

本功能默认关闭。

供内存占用十分敏感的用户使用，会有偶尔阻慢任务速度的副作用。 一般用户无需开启。

若有需要开启，请在设置页拉到底部，勾选高级选项，重启软件，然后：OCR识别引擎设置 → 自动清理内存 → 将任一参数改成>0的值 。

原理是满足任一条件（内存占用超限，或者一段时间没有执行任务）则重启引擎组件，释放当前引擎占用的所有内存。

1. 在任何地方创建一个文件夹，名字随意，将该文件夹的路径加入系统环境变量。
2. 软件创建一个快捷方式，改一个简短的名字，如umi。
3. 将快捷方式扔进第1步的文件夹中。
4. 任何时候按下Win+R，在弹窗中输入umi，即可打开软件。

• 提示：请不要起名为ocr，因为系统可能存在同名的注册路径，无法用此指令唤起第三方软件。

PaddleOCR引擎暂不支持在没有AVX指令集的CPU上运行，遇到该问题可尝试换用RapidOCR引擎。

下图指示如何判断该问题是否由缺失AVX引起。

常见的家用CPU一般都支持AVX指令集，如下：

可通过 CPU-Z 软件查看自己CPU的指令集信息。

由于windows缩放对屏幕坐标系带来的影响，若外接多块屏幕，且缩放比例不一致时，可能导致Umi-OCR内置截图模块异常，如画面不完整、窗口变形、识别不出文字等。

若出现这种情况，以下提供三种可替代的解决方案，您可选择一种使用。

1. 在系统设置里的【更改文本、应用等项目的大小】将所有屏幕调到相同数值。见下图左。

2. 软件附带了第二套截图方案：调用windows内置的“截图和草图”来完成截图并唤起OCR。可在软件设置里切换。（若系统截图后不能唤起OCR，请确保系统能通过 win+shift+S 触发截图，且自动复制到剪贴板 的开关不能关闭（默认是打开的）。见上图右。）

3. 禁用软件的DPI缩放。对Umi-OCR 文字识别.exe，右键 → 属性 → 兼容性 → 更改更高DPI设置 → 勾选替代高DPI缩放行为 。

测试机器：

测试集：

测试结果：

结论：

• 在启用mkldnn情况下，v1.2.6 及之后的版本，比前代的效率具有显著优势。新版调教倾向于榨干硬件的性能，内存占用高于旧版。
• 不启用mkldnn时，新版本效率不如前代。故您的CPU若不支持mkldnn（极早期AMD型号），可尝试使用 v1.2.5 的旧版本Umi-OCR。
• 虽然Paddle官方文档中说经过压缩剪枝蒸馏量化的slim版模型的性能指标会超过传统算法，但实测 v3 slim 模型的性能远不如原始版本，还可能伴随着内存泄漏的问题。也许是 PP-OCR C++ 引擎不适配。在该问题解决之前，Umi-OCR发行版提供原始版本模型。

开发者滴碎碎念

• 如果想用接口调用OCR，可试试 PaddleOCR-json 图片转文字程序 。
• PPOCR v2.6 (PaddleOCR-json v1.2.0) 版本提高了批量处理的平均速度，但代价是需要花费更长时间进行初始化。提高了启用mkldnn加速时的识别速度，但代价时不开启加速时效率更低。（CPU只要不是特别早期的AMD，一般都能使用mkldnn，但加速幅度可能不如同档次的Intel。）
• 未来将增加 openblas 版识别引擎，进一步优化AMD的效率。（有 生 之 年）
• 使用pyinstaller打包。可以运行根目录下的 to_exe.py 一键打包。
• 配置文件Umi-OCR_config.json在第一次运行程序时生成。若想自定义引擎组件的路径，可以修改其中的ocrToolPath属性。支持绝对/相对路径。可以实现多个前端共用一套引擎组件。
• v1.3.0 几乎重写了整个项目框架，将业务逻辑与UI代码解耦，划分出多个子模块。这些子模块我认为是比较方便拓展的：
  • 文件输出模块 ocr/output_*.py
  • 文本块后处理模块 ocr/tbou/*.py
• 添加一个新子模块的一般方法是：
  • 在 utils/config.py 里添加需要的配置项。在 _ConfigDict 里编写配置项参数后，可以自动生成tk.var变量，读、写本地配置文件。程序运行过程中，参数发生更改就会自动写入本地。
  • 在 ui/win_main.py 里添加需要的UI。需要tk.var动态变量时，直接 Config.getTK() 拿来绑定。
  • 继承模块父类，写业务逻辑。初始化时读入配置，事件方法里写对应的处理。
  • 模块尽量不要有过多对外接口，传参越多越容易乱。要什么去 Config 里拿就是了，比如要调用主窗口类的方法就用 Config.main ，要参数就 Config.get()。
• 反正 Config 就是中枢，是各个模块之间、模块与配置之间交流的全局接口。尽量不要跨线程同时读写。我是设计在执行任务时能修改到配置项的UI都给锁定，以免影响任务线程读取。
• 个人喜欢小而美，所以尽量不使用体积大的包。一直用tkinter而不用功能强大的QT也是这个原因，PYQT的体积近50m，几乎是整个项目打包后（不含引擎）的两倍大了。
• 注释超级多，不怕看不懂~ 不过有些代码写得比较丑，请见谅。

• 输出内容可选为markdown风格并嵌入图片路径。
• 设置项能保存。
• 自动打开输出文件or文件夹。
• 识别剪贴板中的图片。
• 任务进行时，禁用部分设置项。
• 计划任务：完成后自动关机/休眠等。
• 递归导入文件夹。
• 优化适配PaddleOCR v3模型。
• 增加OCR引擎进程常驻后台的模式，大幅缩短剪贴板识图等零碎任务动时间。
• 监控OCR引擎进程内存占用，并可随时强制停止该进程。
• 内置截图。
• 可最小化至系统托盘。
• 优化UI：以图标代替文字按钮。设置项悬停有气泡提示框。
• 自动检测Windows语言是否兼容
• 解决引擎Opencv对不同地区语言Windows的兼容性。
• 优化引擎参数设置。
• 排版后处理：匹配/合并同段落文本，支持横/竖排。
• 可设置窗口弹出模式（锁定置顶）。
• 重新快捷键模块，解决失效和录制不正确的Bug。
• 设置开机自启。
• 创建快捷方式到开始菜单、桌面。
• 多开提示。
• 截图时隐藏窗口。
• 结构输出到每个图片同名的单独txt文件
• 创建开机启动项时，可选不显示主窗口。
• OCR结果输出到每个图片同名的单独txt文件。
• 增加独立的设置语言窗口，可在多处点开，便于切换语言。
• 合并段落添加合并自然段-西文模式，可在英文段落换行时补充空格。
• 快捷识图可选自动清空面板，只显示本次识别结果，且隐藏时间信息。
• 通过命令行控制Umi-OCR。
• 弹出悬浮的识别成功与否的提示。
• 定时或超过限度时自动清理引擎内存占用。

• 文本纠错。
• 多国语言。
• 高分屏支持。
• PDF文档识别。
• 对图片重命名。
• 提高初始化速度。
• 忽略区域能保存预设。
• 缩减离线OCR模块的体积。
• 自动检测CPU指令集是否兼容。
• 优化界面设计，分离功能模块到不同标签页。
• 离线OCR模块增加 no_avx 和 openblas 版本。