将二进制文件读入结构

Question

我正在尝试使用 C# 读取二进制数据。我拥有有关要读取的文件中数据布局的所有信息。 我能够“逐块”读取数据，即获取前 40 个字节的数据并将其转换为字符串，获取接下来的 40 个字节。

由于至少存在三个略有不同的数据版本，我想将数据直接读入结构。 感觉比“逐行”阅读要正确得多。

我尝试了以下方法但无济于事：

StructType aStruct;
int count = Marshal.SizeOf(typeof(StructType));
byte[] readBuffer = new byte[count];
BinaryReader reader = new BinaryReader(stream);
readBuffer = reader.ReadBytes(count);
GCHandle handle = GCHandle.Alloc(readBuffer, GCHandleType.Pinned);
aStruct = (StructType) Marshal.PtrToStructure(handle.AddrOfPinnedObject(), typeof(StructType));
handle.Free();

stream 是一个打开的 FileStream，我已从中开始读取。 我在使用Marshal.PtrToStructure时收到AccessViolationExceptio n。

stream 包含的信息比我试图阅读的要多，因为我对文件末尾的数据不感兴趣。

该结构定义如下：

[StructLayout(LayoutKind.Explicit)]
struct StructType
{
    [FieldOffset(0)]
    public string FileDate;
    [FieldOffset(8)]
    public string FileTime;
    [FieldOffset(16)]
    public int Id1;
    [FieldOffset(20)]
    public string Id2;
}

示例代码已从原始代码更改为使此问题更短。

我如何将文件中的二进制数据读取到结构中？

Answer 1

问题是结构中的字符串s 。 我发现像 byte/short/int 这样的编组类型不是问题； 但是当您需要编组为复杂类型（例如字符串）时，您需要您的结构显式模拟非托管类型。 您可以使用 MarshalAs 属性执行此操作。

对于您的示例，以下内容应该有效：

[StructLayout(LayoutKind.Explicit)]
struct StructType
{
    [FieldOffset(0)]
    [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 8)]
    public string FileDate;

    [FieldOffset(8)]
    [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 8)]
    public string FileTime;

    [FieldOffset(16)]
    public int Id1;

    [FieldOffset(20)]
    [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 66)] //Or however long Id2 is.
    public string Id2;
}

Answer 2

这是我正在使用的。
这对我阅读 Portable Executable Format 很成功。
这是一个泛型函数，所以T是你的struct类型。

public static T ByteToType<T>(BinaryReader reader)
{
    byte[] bytes = reader.ReadBytes(Marshal.SizeOf(typeof(T)));

    GCHandle handle = GCHandle.Alloc(bytes, GCHandleType.Pinned);
    T theStructure = (T)Marshal.PtrToStructure(handle.AddrOfPinnedObject(), typeof(T));
    handle.Free();

    return theStructure;
}

Answer 3

正如罗尼所说，我会使用 BinaryReader 并单独阅读每个字段。 我找不到包含此信息的文章链接，但据观察，如果结构包含少于 30-40 个左右的字段，则使用 BinaryReader 读取每个单独的字段可能比 Marshal.PtrToStruct 更快。 当我找到它时，我会发布该文章的链接。

文章链接在： http : //www.codeproject.com/Articles/10750/Fast-Binary-File-Reading-with-C

在编组结构数组时，PtrToStruct 会更快地占上风，因为您可以将字段计数视为字段 * 数组长度。

Answer 4

我看不出你的代码有任何问题。

就在我的脑海里，如果你尝试手动完成怎么办？ 它有效吗？

BinaryReader reader = new BinaryReader(stream);
StructType o = new StructType();
o.FileDate = Encoding.ASCII.GetString(reader.ReadBytes(8));
o.FileTime = Encoding.ASCII.GetString(reader.ReadBytes(8));
...
...
...

也试试

StructType o = new StructType();
byte[] buffer = new byte[Marshal.SizeOf(typeof(StructType))];
GCHandle handle = GCHandle.Alloc(buffer, GCHandleType.Pinned);
Marshal.StructureToPtr(o, handle.AddrOfPinnedObject(), false);
handle.Free();

然后在您的 BinaryReader 中使用buffer[]而不是从 FileStream 读取数据来查看您是否仍然收到 AccessViolation 异常。

我没有使用 BinaryFormatter 的运气，我想我必须有一个完全匹配文件内容的完整结构。

这是有道理的，BinaryFormatter 有自己的数据格式，与您的完全不兼容。

Answer 5

我没有使用 BinaryFormatter 的运气，我想我必须有一个完全匹配文件内容的完整结构。 我意识到最后我对很多文件内容都不感兴趣，所以我采用了将流的一部分读入字节缓冲区然后使用转换的解决方案

Encoding.ASCII.GetString()

对于字符串和

BitConverter.ToInt32()

对于整数。

稍后我将需要能够解析更多文件，但对于这个版本，我只用了几行代码就可以了。

Answer 6

直接读入结构是邪恶的——许多 C 程序因为不同的字节顺序、不同的字段编译器实现、打包、字长而失败......

您最擅长逐字节序列化和反序列化。 如果您愿意或只是习惯了 BinaryReader，请使用内置内容。

Answer 7

尝试这个：

using (FileStream stream = new FileStream(fileName, FileMode.Open))
{
    BinaryFormatter formatter = new BinaryFormatter();
    StructType aStruct = (StructType)formatter.Deserialize(filestream);
}

Answer 8

我有结构：

[StructLayout(LayoutKind.Explicit, Size = 21)]
    public struct RecordStruct
    {
        [FieldOffset(0)]
        public double Var1;

        [FieldOffset(8)]
        public byte var2

        [FieldOffset(9)]
        [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 12)]
        public string String1;
    }
}

并且我收到“非对象错误对齐或重叠” 。 基于此我发现： https://social.msdn.microsoft.com/Forums/vstudio/en-US/2f9ffce5-4c64-4ea7-a994-06b372b28c39/strange-issue-with-layoutkindexplicit?forum=clr

好的。 我想我明白这里发生了什么。 问题似乎与数组类型（object 类型）必须存储在 memory 中的 4 字节边界这一事实有关。但是，您真正想要做的是分别序列化这 6 个字节。

我认为问题在于 FieldOffset 和序列化规则之间的混合。 我认为 structlayout.sequential 可能对你有用，因为它实际上并没有修改结构的内存表示。 我认为 FieldOffset 实际上是在修改类型的内存布局。 这会导致问题，因为 .NET 框架需要 object 引用在适当的边界上对齐（看起来）。

所以我的结构被定义为显式的：

[StructLayout(LayoutKind.Explicit, Size = 21)]

因此我的字段指定了

[FieldOffset(<offset_number>)]

但是当您将结构更改为 Sequential 时，您可以摆脱这些偏移量并且错误将消失。 就像是：

[StructLayout(LayoutKind.Sequential, Size = 21)]
    public struct RecordStruct
    {
        public double Var1;

        public byte var2;

        [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 12)]
        public string String1;
    }
}