将手写笔记的图像转换为文本 [暂停]

Question

我有数百张手写笔记的图像。 它们是由不同的人写的，但它们是按顺序写的，所以你知道例如person1写了img1.jpg -> img100.jpg 。 笔迹风格因人而异，但笔记的某些部分始终是固定的，我想这可以帮助算法（它对我有帮助。）。

我尝试了tesseract ，但它在识别文本方面非常失败。 我在想，因为每个人都有大约 100 张图像，我是否可以通过提供少量示例（例如 5 个或更少）来训练算法，并且可以从中学习？ 还是数据不够？ 从四处搜索看来我需要实现一个CNN （例如本文）。

虽然我对ai的了解有限，我仍然可以通过图书馆和一些学习来做到这一点吗？ 如果是这样，我应该怎么做？

Answer 1

这被称为OCR ，并且已经取得了进展。 实际上，这是一个使用tesseract将图像文件解析为文本的简单示例：

try:
    from PIL import Image
except ImportError:
    import Image
import pytesseract


def ocr_core(file):
    text = pytesseract.image_to_string(file)
    return text


print(ocr_core('sample.png'))

但

我不太确定它是否可以识别不同类型的笔迹。 您可以自己尝试一下以找出答案。 如果您想尝试python示例，您需要导入tesseract但首先要在您的操作系统上安装tesseract并将其添加到您的PATH 。

Answer 2

市面上有很多 OCR，其中一些的性能比其他的好。 然而，这是一个最近随着深度神经网络而得到很大改进的领域。 我会考虑使用云提供商，例如 Azure、Google Cloud 或 Amazon。 您上传图片，他们会返回元数据。

例如： https://azure.microsoft.com/en-us/services/cognitive-services/computer-vision/

如果您出于任何原因不想使用云服务，我会考虑使用 TensorFlow... 但需要一些知识：

Tensorflow model 用于 OCR