AWS 上的 Tesseract OCR Lambda 通过 virtualenv

Question

我整个星期都在尝试这个，所以这有点像冰雹玛丽。

我正在尝试将 Tesseract OCR package 升级到运行在 Python 上的 AWS Lambda（我还使用 PILLOW 进行图像预处理，因此选择了 Python）。

我了解如何使用 virtualenv 将 Python 包部署到 AWS 上，但是我似乎找不到将实际 Tesseract OCR 部署到环境中的方法（例如 /env/）

• 执行pip install py-tesseract会成功将 python 包装器部署到 /env/，但这依赖于 Tesseract 的单独（本地）安装
• 执行pip install tesseract-ocr让我在出现如下错误之前只有一定距离，我假设这是由于缺少 leptonica 依赖性。 但是，我不知道如何将 package up leptonica 放入 /env/（如果可能的话）

 tesseract_ocr.cpp:264:10: fatal error: 'leptonica/allheaders.h' file not found #include "leptonica/allheaders.h"

• 从https://bitbucket.org/3togo/python-tesseract/downloads下载 0.9.1 python-tesseract egg 文件并执行 easy_install 在查找依赖项时也会出错

Processing dependencies for python-tesseract==0.9.1 Searching for python-tesseract==0.9.1 Reading https://pypi.python.org/simple/python-tesseract/ Couldn't find index page for 'python-tesseract' (maybe misspelled?) Scanning index of all packages (this may take a while) Reading https://pypi.python.org/simple/ No local packages or download links found for python-tesseract==0.9.1

任何指针将不胜感激。

Answer 1

它不起作用的原因是因为这些 python 包只是 tesseract 的包装器。 您必须使用 AWS Linux 实例编译 tesseract，并将二进制文件和库复制到 lambda 函数的 zip 文件中。

1) 使用 64 位 Amazon Linux 启动 EC2 实例；

2）安装依赖：

sudo yum install gcc gcc-c++ make
sudo yum install autoconf aclocal automake
sudo yum install libtool
sudo yum install libjpeg-devel libpng-devel libpng-devel libtiff-devel zlib-devel

3）编译安装leptonica：

cd ~
mkdir leptonica
cd leptonica
wget http://www.leptonica.com/source/leptonica-1.73.tar.gz
tar -zxvf leptonica-1.73.tar.gz
cd leptonica-1.73
./configure
make
sudo make install

4）编译安装tesseract

cd ~
mkdir tesseract
cd tesseract
wget https://github.com/tesseract-ocr/tesseract/archive/3.04.01.tar.gz
tar -zxvf 3.04.01.tar.gz
cd tesseract-3.04.01
./autogen.sh
./configure
make
sudo make install

5) 下载语言traineddata到tessdata

cd /usr/local/share/tessdata
wget https://github.com/tesseract-ocr/tessdata/raw/3.04.00/eng.traineddata
export TESSDATA_PREFIX=/usr/local/share/

此时您应该能够在这个 EC2 实例上使用 tesseract。 要复制 tesseract 的二进制文件并在 lambda 函数上使用它，您需要将此实例中的一些文件复制到您上传到 lambda 的 zip 文件中。 我将发布所有命令以获取包含您需要的所有文件的 zip 文件。

6) 压缩在 lambda 上运行 tesseract 所需的所有东西

cd ~
mkdir tesseract-lambda
cd tesseract-lambda
cp /usr/local/bin/tesseract .
mkdir lib
cd lib
cp /usr/local/lib/libtesseract.so.3 .
cp /usr/local/lib/liblept.so.5 .
cp /usr/lib64/libpng12.so.0 .
cd ..

mkdir tessdata
cd tessdata
cp /usr/local/share/tessdata/eng.traineddata .
cd ..

cd ..
zip -r tesseract-lambda.zip tesseract-lambda

tesseract-lambda.zip 文件包含 lambda 运行 tesseract 所需的一切。 最后要做的是在 zip 文件的根目录添加 lambda 函数并将其上传到 lambda。 这是一个我没有测试过的例子，但应该可以工作。

7) 创建一个名为 main.py 的文件，编写一个与上面类似的 lambda 函数并将其添加到 tesseract-lambda.zip 的根目录：

from __future__ import print_function

import urllib
import boto3
import os
import subprocess

SCRIPT_DIR = os.path.dirname(os.path.abspath(__file__))
LIB_DIR = os.path.join(SCRIPT_DIR, 'lib')

s3 = boto3.client('s3')

def lambda_handler(event, context):

    # Get the bucket and object from the event
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.unquote_plus(event['Records'][0]['s3']['object']['key']).decode('utf8')

    try:
        print("Bucket: " + bucket)
        print("Key: " + key)

        imgfilepath = '/tmp/image.png'
        jsonfilepath = '/tmp/result.txt'
        exportfile = key + '.txt'

        print("Export: " + exportfile)

        s3.download_file(bucket, key, imgfilepath)

        command = 'LD_LIBRARY_PATH={} TESSDATA_PREFIX={} {}/tesseract {} {}'.format(
            LIB_DIR,
            SCRIPT_DIR,
            SCRIPT_DIR,
            imgfilepath,
            jsonfilepath,
        )

        try:
            output = subprocess.check_output(command, shell=True)
            print(output)
            s3.upload_file(jsonfilepath, bucket, exportfile)
        except subprocess.CalledProcessError as e:
            print(e.output)

    except Exception as e:
        print(e)
        print('Error processing object {} from bucket {}.'.format(key, bucket))
        raise e

在 AWS 控制台上创建 AWS Lambda 函数时，上传 zip 文件并将 Hanlder 设置为 main.lambda_handler。 这将告诉 AWS Lambda 在 zip 中查找 main.py 文件并调用函数 lambda_handler。

重要的

AWS Lambda 的环境不时发生变化。 例如，lambda env 的当前图像是 amzn-ami-hvm-2017.03.1.20170812-x86_64-gp2（当您阅读此答案时，它可能不是这个）。 如果 tesseract 开始返回分段错误，请在 Lambda 函数上运行“ldd tesseract”并查看所需库的输出（当前为 libtesseract.so.3 liblept.so.5 libpng12.so.0）。

感谢您的评论，塞尔吉奥阿科斯。

Answer 2

tesseract 4 的适应：

由于神经网络，Tesseract 在第 4 版中提供了很多改进。 我已经尝试了一些扫描，并且改进是相当可观的。 另外，在我的情况下，整个包装小了 25%。 版本 4 的计划发布日期是2018 年上半年。

构建步骤与 tesseract 3 类似，但有一些调整，这就是我想完整分享它们的原因。 我还用现成的二进制文件制作了一个github存储库（其中大部分基于上面 Jose 的帖子，这非常有帮助），还有一篇博客文章如何在 raspberrypi3 驱动的扫描仪步骤之后将其用作处理步骤。

要编译 tesseract4 二进制文件，请在新的 64 位 AWS AIM 实例上执行以下步骤：

编译leptonica

cd ~
sudo yum install clang -y
sudo yum install libpng-devel libtiff-devel zlib-devel libwebp-devel libjpeg-turbo-devel -y
wget https://github.com/DanBloomberg/leptonica/releases/download/1.75.1/leptonica-1.75.1.tar.gz
tar -xzvf leptonica-1.75.1.tar.gz
cd leptonica-1.75.1
./configure && make && sudo make install

编译 autoconf-archive

不幸的是，由于几个星期 tesseract 需要 autoconf-archive，这不适用于亚马逊 AIM，因此您需要自己编译它：

cd ~
wget http://mirror.switch.ch/ftp/mirror/gnu/autoconf-archive/autoconf-archive-2017.09.28.tar.xz
tar -xvf autoconf-archive-2017.09.28.tar.xz
cd autoconf-archive-2017.09.28
./configure && make && sudo make install
sudo cp m4/* /usr/share/aclocal/

编译tesseract

cd ~
sudo yum install git-core libtool pkgconfig -y
git clone --depth 1  https://github.com/tesseract-ocr/tesseract.git tesseract-ocr
cd tesseract-ocr
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig
./autogen.sh
./configure
make
sudo make install

获取所有需要的文件并压缩

cd ~
mkdir tesseract-standalone
cd tesseract-standalone
cp /usr/local/bin/tesseract .
mkdir lib
cp /usr/local/lib/libtesseract.so.4 lib/
cp /usr/local/lib/liblept.so.5 lib/
cp /usr/lib64/libjpeg.so.62 lib/
cp /usr/lib64/libwebp.so.4 lib/
cp /usr/lib64/libstdc++.so.6 lib/
mkdir tessdata
cd tessdata
wget https://github.com/tesseract-ocr/tessdata_fast/raw/master/osd.traineddata
wget https://github.com/tesseract-ocr/tessdata_fast/raw/master/eng.traineddata
# additionally any other language you want to use, e.g. `deu` for Deutsch
mkdir configs
cp /usr/local/share/tessdata/configs/pdf configs/
cp /usr/local/share/tessdata/pdf.ttf .
cd ..
zip -r ~/tesseract-standalone.zip *

Answer 3

使用 shell 脚本生成 zip 文件以编译代码 Tesseract 4 for Python 3.7

几天来，我一直在努力解决这个问题，试图让 Tesseract 4 在 Python 3.7 Lambda 函数上工作。 最后我找到了这篇文章和GitHub ，它描述了如何使用 shell 脚本为 tesseract、pytesseract、opencv 和枕头生成 zip 文件，这些脚本在 EC2 上使用 Docker 映像生成必要的 .zip 文件！ 使用这些步骤，该过程只需不到 20 分钟，并且可以可靠地重现。

总结步骤：

启动一个 Amazon Linux EC2 实例（t2 micro 就可以了）

sudo yum update
sudo yum install git-core -y
sudo yum install docker -y
sudo service docker start
sudo usermod -a -G docker ec2-user #allows ec2-user to call docker

运行第 5 个命令后，您需要注销并重新登录以使更改生效。

git clone https://github.com/amtam0/lambda-tesseract-api.git
cd lambda-tesseract-api/
bash build_tesseract4.sh #takes a few minutes
bash build_py37_pkgs.sh

这将为 tesseract、pytesseract、pillow 和 opencv 生成 .zip 文件。 为了与 lambda 一起使用，您还需要完成两个步骤。

1. 创建 Lambda 层，每个 zip 文件一个，并将这些层附加到您的 Lambda 函数。
2. 创建环境变量。 键：PYTHONPATH 和值：/opt/

（注意：您可能需要增加内存分配和超时）

此时，您已准备好上传代码并开始在 AWS Lambda 上使用 Tesseract！ 有关测试脚本，请参阅Medium 文章。

Answer 4

查看这篇关于如何使用 Docker 在 lambda 中设置 Tesseract 4.0.0 的中等文章。 它还展示了如何将 python 包转换为层

Answer 5

请注意， wget http://www.leptonica.com/source/leptonica-1.73.tar.gz不起作用。 他们已经转移到 leptonica.org 所以使用wget http://www.leptonica.org/source/leptonica-1.83.0.tar.gz