可扩展的工具包或方法来从凌乱的数据中嗅探文件格式？

Question

是否有任何框架使用声明性，模糊模式和/或有效格式的语法定义来支持文件格式嗅探？ 我正在寻找可以处理脏文件或格式不正确的文件（可能跨越多个版本的文件格式定义/方案），并使其易于编写基于规则或基于模式的嗅探器，以便根据自省对文件类型进行最佳猜测的工具。 。

我正在寻找声明性的内容，允许您描述性地定义格式，例如DSL，例如：

format A, v1.0:
  is tabular
  has a "id" and "name" column
  may have a "size" column
    with integer values in 1-10 range
 is tab-delimited
 usually ends in .txt or .tab

format A, v1.1:
  is tabular
  has a "id" column
  may have a "name" column
  may have a "size" column
    with integer values in 1-10 range
  is tab- or comma-separated 
  usually ends in .txt, .csv or .tab

关键在于，由于用户错误或从其他工具执行的导出效果不佳，传入文件的格式可能不正确，并且分类可能不确定。 因此，这将需要支持对格式定义的多个部分匹配以及有用的解释。 一个简单的投票方案可能足以对猜测进行排名（即发现的问题越多，比赛得分越低）。

例如，给定以上定义，以逗号分隔的“ test.txt”文件具有“ id”列和“ size”列而没有值，将导致嗅探器日志如下：

Probably format A, v1.1
  - but "size" column is empty

Possibly format A, v1.0
  - but "size" column is empty
  - but missing "name" column
  - but is comma-delimited

Python标准库中的Sniffer功能正在朝着正确的方向发展，但是我正在寻找更通用和可扩展的功能（并且不仅限于表格数据）。 关于在哪里寻找这样的东西有什么建议吗？

Answer 1

首先，我很高兴发现了这个问题-我也在考虑类似的问题（声明性解决方案，用于标记任何文件格式并将其与文件本身一起提供给可验证文件的工具）。

您所称的“嗅探器”被广泛称为“文件雕刻师”，这个人擅长雕刻： http : //en.wikipedia.org/wiki/Simson_Garfinkel

他不仅开发了出色的雕刻师，而且还提供了不完整文件的不同案例的定义。

因此，如果您正在使用某些特定的文件格式修复工具，请检查上述分类以找出问题的复杂程度。 例如，从不完全接收的数据流进行雕刻和从磁盘映像进行雕刻会明显延迟。 用碎片化的磁盘从磁盘映像进行雕刻会更加困难，而用无意义的数据填充一些视频文件，仅由视频播放器打开它就很容易-您只需要提供正确的格式即可。

希望能有所帮助。

问候