阅读希伯来语 PDF 和 iText 7 得到 Gibrish

Question

我正在尝试阅读希伯来语 PDF，但我得到的是 Gibrish。

我正在使用@mkl 一年前给我的代码，当时我遇到了类似的问题，如下所述，但不幸的是，它不起作用。

for (int i = 1; i <= pdfDocument.GetNumberOfPages(); i++) {
  PdfPage page1 = pdfDocument.GetPage(i);
  PdfDictionary fontResources = page1.GetResources().GetResource(PdfName.Font);
  foreach (PdfObject font in fontResources.Values(true))
  {
    if (font is PdfDictionary fontDict)
        fontDict.Put(PdfName.Encoding, PdfName.IdentityH);
  }
  // get page size
  Rectangle pageSize = pdfDocument.GetPage(i).GetMediaBox();
  float pageHeight = pageSize.GetHeight();
  float pageWidth = pageSize.GetWidth();

  // set location
  Rectangle rect = new Rectangle(0, 0, pageWidth, pageHeight);
  TextRegionEventFilter regionFilter = new TextRegionEventFilter(rect);
                    
  ITextExtractionStrategy strategy = new FilteredTextEventListener(new LocationTextExtractionStrategy(), regionFilter);
  inputStr = PdfTextExtractor.GetTextFromPage(page1, strategy);

  // rest of code...
}

output (inputStr) 完全是胡言乱语：

�����������\n��������\n������ �����������������\n���\n�����������\n����������������\n��������������������������� ������\n���\n���������\n��������������������������\n����������������������\n�������

由于 PDF 有敏感数据，我真的不能公开分享...

感谢您的帮助，亚尼夫

Answer 1

The cause of this issue are invalid ToUnicode CMaps for all the fonts in the PDF: These CMaps may be valid for other uses but in the context of ToUnicode CMaps the PDF specification clearly restricts the data which may occur in this kind of CMap.

不过，可以启用 iText，通过一个小补丁来理解这一点。

问题

文档中的ToUnicode CMap 尤其无效，因为它们使用begincidrange ... endcidrange部分来映射字符代码，而不是规范要求的beginbfrange ... endbfrange和beginbfchar ... endbfchar部分。

碰巧 iText 确实像处理~bfrange部分一样处理ToUnicode CMaps 中的~cidrange部分。 （好吧，这不是偶然的，而是因为用于处理ToUnicode CMaps 的 class 扩展了一个抽象基础 class 用于处理任意 CMaps。）

不幸的是， ~cidrange范围有一个 integer 目标起始值（例如<0003> <0003> 32 ），而ToUnicode CMaps 中的~bfrange范围必须具有十六进制字符串目标起始值（例如<0000><005E><0020> ）。 因此，在 iText 中使用~cidrange范围解析这些ToUnicode CMap 失败并出现异常，留下没有条目的 map。 结果是文档中的任何字符代码都不能映射到任何有意义的内容，并且所有文本都被提取为替换字符 ('�')。

一种解决方法

解决此问题的一个明显方法是启用处理范围的代码以同时处理 integer 目标起始值，而不仅仅是十六进制字符串值。

应用该修复程序后，可以正确提取大多数字符。 您只需处理 RTL 脚本文本的错误顺序。

（我只测试了 Java 版本，但 .Net 版本也应该可以。）

Java

In the com.itextpdf.io.font.cmap.CMapToUnicode class ( com.itextpdf.io artifact) the following method is called to add mappings derived from ranges:

@Override
void addChar(String mark, CMapObject code) {
    if (mark.length() == 1) {
        char[] dest = createCharsFromDoubleBytes((byte[]) code.getValue());
        byteMappings.put((int) mark.charAt(0), dest);
    } else if (mark.length() == 2) {
        char[] dest = createCharsFromDoubleBytes((byte[]) code.getValue());
        byteMappings.put((mark.charAt(0) << 8) + mark.charAt(1), dest);
    } else {
        Logger logger = LoggerFactory.getLogger(CMapToUnicode.class);
        logger.warn(LogMessageConstant.TOUNICODE_CMAP_MORE_THAN_2_BYTES_NOT_SUPPORTED);
    }
}

这里code.getValue()没有任何测试被强制转换为byte[] ，因为这就是十六进制字符串在这里的表示方式。 相比之下，Integer 值将表示为Integer实例。 就这样

char[] dest = createCharsFromDoubleBytes((byte[]) code.getValue());

行必须替换为

char[] dest = (code.getValue() instanceof Integer) ? TextUtil.convertFromUtf32((Integer)code.getValue()) : createCharsFromDoubleBytes((byte[]) code.getValue());

线。

。网

In the iText.IO.Font.Cmap.CMapToUnicode class ( itext.io.netstandard assembly) the following method is called to add mappings derived from ranges:

internal override void AddChar(String mark, CMapObject code) {
    if (mark.Length == 1) {
        char[] dest = CreateCharsFromDoubleBytes((byte[])code.GetValue());
        byteMappings.Put((int)mark[0], dest);
    }
    else {
        if (mark.Length == 2) {
            char[] dest = CreateCharsFromDoubleBytes((byte[])code.GetValue());
            byteMappings.Put((mark[0] << 8) + mark[1], dest);
        }
        else {
            ILog logger = LogManager.GetLogger(typeof(iText.IO.Font.Cmap.CMapToUnicode));
            logger.Warn(iText.IO.LogMessageConstant.TOUNICODE_CMAP_MORE_THAN_2_BYTES_NOT_SUPPORTED);
        }
    }
}

这里code.GetValue()没有任何测试被强制转换为byte[] ，因为这就是十六进制字符串在这里的表示方式。 相比之下，Integer 值将表示为int实例。 就像在 Java 案例中一样，因此，更换

char[] dest = CreateCharsFromDoubleBytes((byte[])code.GetValue());

由

char[] dest = (code.GetValue() is int) ? TextUtil.ConvertFromUtf32((int)code.GetValue()) : CreateCharsFromDoubleBytes((byte[])code.GetValue());

线。