查看原文
其他

数据治理 | 还在人工识别表格呢?Python 调用百度 OCR API 又快又准

完全有用的 数据Seminar 2022-12-31

目录

一、前言

二、注册百度AI平台,申请API

三、识别表格PDF

  1. 安装Python包

  2. PDF 文档转为图片

  3. 调用API,将图片识别为Excel表

  4. 批量识别并合并为一张表

四、总结

本文共4115个字,阅读大约需要12分钟,欢迎指正!

Part1前言

文档类型的转换(PDF,Excel等)对广大社科学者来说一直是一个不大不小,但又令人十分头疼的问题。往期的实用技能分享中我们介绍过如何OCR识别图片中的文本,也介绍过如何使用 Python 读取(可以复制内容的)PDF 中的表格,将其转为 Excel 表。此时细心的小伙伴会发现一个盲区:我们怎么把不可复制内容的PDF(或扫描件)表格转成 Excel 表呢?
本文正是为了解决这个问题而写。我们知道,面对扫描文件一般会使用 OCR 技术来识别其中的文本。使用软件的话会面临收费,不符合白嫖精神;自己训练模型费时费力还不一定有效果。如果你也有这样的问题,请往下看,我们教你免费使用百度公司的 OCR 产品。

Part2注册百度 AI 平台,申请 API

出于识别准确度和使用门槛的考虑,我们选择使用 百度 AI 平台提供的 OCR 服务,使用服务需要注册百度智能云账号,并申请 OCR 服务。这一步并不难,这里有一份非常详细的官方教程:https://ai.baidu.com/forum/topic/show/867951
申请成功页面如下图所示:
接下来我们使用 Python 调用我们前面申请到的 API 来识别 PDF 文档。

Part3识别表格 PDF

我们以一份 PDF 文档(共 3 页)为例进行演示,其内容不可复制,所以不能使用 Python 直接读取其中的内容,只能依靠 OCR 识别。
下图是 PDF 第一页中部分表格内容:

1安装 Python 包

使用 Python 调用百度 OCR API 需要安装 baidu-aip 库,在命令提示符中输入以下命令安装:
pip install baidu-aip

2PDF 文档转为图片

OCR 工具可以将图片识别为指定内容,而我们需要转换的文档是 PDF,所以需要先将 PDF 的每一页分别转为图片。PDF 转图片的代码如下:
import fitz
# 下面是待转换 PDF 的路径
pdf = './TEST/2019-2020 年全国碳排放权交易前2-4页.pdf'
doc = fitz.open(pdf)
for pg in range(doc.pageCount):
    page = doc[pg]   # 选择一页
    rotate = 0
    # 设置参数调整图片的质量
    X_, Y_ = 4, 4
    mat = fitz.Matrix(zoom_x, zoom_y).prerotate(rotate)
    pix = page.get_pixmap(matrix=mat, alpha=False)
    pix.save(f"./TEST/Pic/Page_{pg}.png")
如上图所示,代码运行后,在指定位置生成 3 张图片,分别对应 PDF 中的 3 页。

3调用 API,将图片识别为 Excel 表

首先,我们根据前面申请的 API key,生成一个 API 客户端,这是固定的代码写法,代码如下:
from aip import AipOcr   # 导入第一步安装的库
APP_ID = '根据实际填写'  
API_KEY = '根据实际填写'
SECRET_KEY = '根据实际填写'

client = AipOcr(APP_ID, API_KEY, SECRET_KEY)   # 根据 API key 生成客户端
第二步,将图片传入 API 客户端,等待服务器完成 OCR 识别。代码如下:
img = open("./TEST/Pic/Page_0.png",'rb').read() # 以二进制方式打开图片
table = client.tableRecognitionAsync(img)       # 调用 API 表格服务
print(table)  # 查看 API 返回结果
此时,服务器只返回给我们两个 id,接下来我们根据其中的 request_id 来获取识别的状态和识别的结果,代码如下:
ID = table['result'][0]['request_id']    # 取出 request_id
result = client.getTableRecognitionResult(ID) # 根据 id 尝试获取识别结果
result     # 查看请求结果
如上图所示,我们只需关注请求结果中的识别状态(因为 OCR 识别需要一定时间,当识别已完成时才能获取结果)和识别结果(url),百度 API 会将识别的结果存放在云端,我们需要根据请求结果中的 url 来获取识别结果。
最后一步,获取识别结果,并写入 Excel 表中(识别结果为二进制数据,只有写入 Excel 才能使用)。代码如下:
import requests   # 使用 requests 库抓取数据
dataurl = result['result']['result_data']   # 请求结果的 url
data = requests.get(dataurl)      # 根据 url 获取数据

# 在我们希望的文件夹下新建一个 Excel 表,将识别的结果写入其中
with open("./TEST/识别结果/table_Page_0.xlsx"'wb') as excel: # .表示Python当前工作目录
    excel.write(data.content)   # 将识别结果写入 Excel
    excel.close()
运行代码后,会在我们指定的位置(在上面的倒数第三行代码中,如果没有这个文件夹,我们需要主动创建)生成一个 Excel 表,如下图所示:
对比 PDF ,发现识别效果非常可观。实际上,只要是人眼能够分辨的文字,此 API 几乎都能准确识别

4批量识别并合并为一张表

绝大多数情况下,一份 PDF 含有多页,以上三小节介绍了 Python 调用百度 API 识别表格的完整过程,下面我们再演示一下如何批量识别多页。前面的步骤中,我们将一份 PDF(3 页)转换为 3 张图片,下面我们就来 OCR 识别这三张图片,并将这三张图片的识别结果合并为一张表,代码如下:
import time, requests, glob
from aip import AipOcr
import pandas as pd

APP_ID = '根据实际填写'
API_KEY = '根据实际填写'
SECRET_KEY = '根据实际填写'
client = AipOcr(APP_ID, API_KEY, SECRET_KEY)

path_list = glob.glob('./TEST/Pic/*.png')   # 获取 Pic 目录下所有 png 图片的路径
for pic_path in path_list:
    # 遍历所有图片的路径列表
    img = open(pic_path,'rb').read()           # 加载图片
    table = client.tableRecognitionAsync(img)     # 调用表格识别  API 进行识别
    request_id = table['result'][0]['request_id'# API 返回的请求 ID
    # 下面每隔两秒查看识别状态,直到识别完成,即可抓取识别结果
    result = client.getTableRecognitionResult(request_id)
    while result['result']['ret_msg'] != '已完成':
        # 通过 ID 获取识别结果,直至识别完成
        time.sleep(2)
        result = client.getTableRecognitionResult(request_id)
    dataurl = result['result']['result_data']     # 识别完成后结果存储的 url
    # 将结果写入 Excel 表,与图片同名
    imgname = pic_path.split('\\')[-1].split('.')[0]
    with open(f'./TEST/excel/{imgname}.xlsx''wb') as excel:
        excel.write(requests.get(dataurl).content)

# 以上代码运行后,会在事先创建的 excel 文件夹下中生成三份 excel 表
# 接下来我们使用 Pandas 将他们合并为一张表(前提是这三张表结构一致,即字段名一样)。

excel_paths = glob.glob('./TEST/excel/*.xlsx')
DATA = pd.DataFrame()
for path in excel_paths:
    Page_df = pd.read_excel(path)
    DATA = pd.concat([DATA, Page_df])
# 将合并的表保存为 Excel 表
DATA.to_excel('./TEST/excel/2019-2020 年全国碳排放权交易前2-4页.xlsx', index=False)
运行代码后,在我们指定的文件夹下就会生成三份单页的 Excel 表,以及一个合并的 Excel 表。
以上就是调用百度 API 批量识别表格的步骤了。

💡 提示:任何 OCR 产品都无法保证 100% 的识别准确率,如果你的数据非常非常重要,请谨慎使用 OCR 功能,或者使用后进行人工核对。

Part4总结

本期文章为大家介绍了如何使用百度 API 识别 PDF 表格或图片中的表格。如果你有这方面的需求,又恰好会一点 Python,那么就可以好好琢磨琢磨,把这个技能掌握住。最后,希望本期的技术分享能够给各位读者带来一点点帮助。
我们将在数据治理板块中推出一系列原创推文,帮助读者搭建一个完整的社科研究数据治理软硬件体系。该板块将涉及以下几个模块(点击标题即可跳转至相应合集):
  1. 计算机基础知识
  2. 编程基础
  3. 数据采集
  4. 数据存储
  5. 数据清洗
  6. 数据实验室搭建
  7. 数据治理特别篇



星标⭐我们不迷路!想要文章及时到,文末“在看”少不了!

点击搜索你感兴趣的内容吧

数据Seminar推荐搜索       基本无害数据清理

往期推荐


基本无害 | 第四章第一节(全)— 工具变量和因果关系

基本无害 | 管用的工具变量——工具变量和因果关系(三)

数据治理 | csv 总乱码?教你三招,习一即可!

基本无害 | 管用的工具变量——工具变量和因果关系(二)

数据治理 | 科研团队协同工作新神器!Git远程仓库的使用

基本无害 | 管用的工具变量——工具变量和因果关系(一)





数据Seminar




这里是大数据、分析技术与学术研究的三叉路口


文 | 两米哥


    欢迎扫描👇二维码添加关注    

点击下方“阅读全文”了解更多

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存