从 PDF 篇科学论文中提取文本

Question

我想从 PDF 格式的科学文档中提取文本。 我首先使用 PyPDF2，但随机空格出现在几个单词的中间。 我目前正在使用 PyMUPDF

import fitz
import re

def extract_pdf_text(pdf_file_path):
    doc = fitz.open(pdf_file_path)
    text = ""
    for page in doc:
        text += page.get_text("text")#.replace("\n", " ")
    return text

pdf_path = "/home/xxx/Papers/xxxxx.pdf"
text = extract_pdf_text(pdf_path)
text = re.sub(r"�", " ", text)
url_pattern = re.compile(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+')
text = re.sub(url_pattern, 'replaced_link.', text)
text = re.sub(r"\s+", " ", text)

删除 �，用 fix word 替换 url 并删除多余的空格

目标是将文本分成句子（我使用 Spacy）。 但它在某些地方失败了，因为提取的文本在 pdf 的两个不同部分（例如标题和作者）中有一个空格。 我想用“\n”来粘贴它们。

如果我在句子中提取和发送我得到

[“查看本出版物的讨论、统计数据和作者简介：https://www.researchgate.net/publication/313756771 HDSKG：”，“从网页会议论文内容中获取领域特定知识图谱·2017 年 2 月”]

代替

[“查看此出版物的讨论、统计数据和作者简介：https://www.researchgate.net/publication/313756771”，“HDSKG：从网页内容中获取特定领域的知识图”，“会议论文·2017 年 2 月“]

Answer 1

感谢 Jorj McKie， get_text(sort=True)工作了一点，mb for text = re.sub(r"\s+", " ", text)删除了 "\n"。