[英]How to read a binary file quickly in c#? (ReadOnlySpan vs MemoryStream)
我正在尝试尽可能快地解析二进制文件。 所以这就是我第一次尝试做的事情:
using (FileStream filestream = path.OpenRead()) {
using (var d = new GZipStream(filestream, CompressionMode.Decompress)) {
using (MemoryStream m = new MemoryStream()) {
d.CopyTo(m);
m.Position = 0;
using (BinaryReaderBigEndian b = new BinaryReaderBigEndian(m)) {
while (b.BaseStream.Position != b.BaseStream.Length) {
UInt32 value = b.ReadUInt32();
} } } } }
其中BinaryReaderBigEndian
类的实现如下:
public static class BinaryReaderBigEndian {
public BinaryReaderBigEndian(Stream stream) : base(stream) { }
public override UInt32 ReadUInt32() {
var x = base.ReadBytes(4);
Array.Reverse(x);
return BitConverter.ToUInt32(x, 0);
} }
然后,我尝试使用ReadOnlySpan
而不是MemoryStream
来提高性能。 所以,我尝试过:
using (FileStream filestream = path.OpenRead()) {
using (var d = new GZipStream(filestream, CompressionMode.Decompress)) {
using (MemoryStream m = new MemoryStream()) {
d.CopyTo(m);
int position = 0;
ReadOnlySpan<byte> stream = new ReadOnlySpan<byte>(m.ToArray());
while (position != stream.Length) {
UInt32 value = stream.ReadUInt32(position);
position += 4;
} } } }
BinaryReaderBigEndian
类在哪里更改:
public static class BinaryReaderBigEndian {
public override UInt32 ReadUInt32(this ReadOnlySpan<byte> stream, int start) {
var data = stream.Slice(start, 4).ToArray();
Array.Reverse(x);
return BitConverter.ToUInt32(x, 0);
} }
但不幸的是,我没有注意到任何进步。 那么,我在哪里做错了?
我在我的计算机上测量了你的代码( Intel Q9400,8 GiB RAM,SSD磁盘,Win10 x64 Home,.NET Framework 4/7/2,测试了15 MB(解压缩后)文件 ),结果如下:
无跨度版本: 520毫秒
跨度版本: 720毫秒
因此Span
版本实际上更慢! 为什么? 因为new ReadOnlySpan<byte>(m.ToArray())
执行整个文件的附加副本,并且ReadUInt32()
执行Span
许多切片(切片很便宜,但不是免费的)。 由于您执行了更多工作,因此您不能仅仅因为使用了Span
而预期性能会更好。
那我们能做得更好吗? 是。 事实证明, 代码中最慢的部分实际上是垃圾收集,这是由于在ReadUInt32()
方法中重复分配由.ToArray()
调用创建的4字节Array
引起的。 您可以通过自己实现ReadUInt32()
来避免它。 它非常简单,也消除了Span
切片的需要。 您还可以用new ReadOnlySpan<byte>(m.ToArray())
替换new ReadOnlySpan<byte>(m.GetBuffer()).Slice(0, (int)m.Length);
,执行廉价的切片而不是整个文件的副本。 所以现在代码看起来像这样:
public static void Read(FileInfo path)
{
using (FileStream filestream = path.OpenRead())
{
using (var d = new GZipStream(filestream, CompressionMode.Decompress))
{
using (MemoryStream m = new MemoryStream())
{
d.CopyTo(m);
int position = 0;
ReadOnlySpan<byte> stream = new ReadOnlySpan<byte>(m.GetBuffer()).Slice(0, (int)m.Length);
while (position != stream.Length)
{
UInt32 value = stream.ReadUInt32(position);
position += 4;
}
}
}
}
}
public static class BinaryReaderBigEndian
{
public static UInt32 ReadUInt32(this ReadOnlySpan<byte> stream, int start)
{
UInt32 res = 0;
for (int i = 0; i < 4; i++)
{
res = (res << 8) | (((UInt32)stream[start + i]) & 0xff);
}
return res;
}
}
通过这些更改,我从720毫秒下降到165毫秒 (快4倍)。 听起来很棒,不是吗? 但我们可以做得更好。 我们可以完全避免MemoryStream
复制和内联并进一步优化ReadUInt32()
:
public static void Read(FileInfo path)
{
using (FileStream filestream = path.OpenRead())
{
using (var d = new GZipStream(filestream, CompressionMode.Decompress))
{
var buffer = new byte[64 * 1024];
do
{
int bufferDataLength = FillBuffer(d, buffer);
if (bufferDataLength % 4 != 0)
throw new Exception("Stream length not divisible by 4");
if (bufferDataLength == 0)
break;
for (int i = 0; i < bufferDataLength; i += 4)
{
uint value = unchecked(
(((uint)buffer[i]) << 24)
| (((uint)buffer[i + 1]) << 16)
| (((uint)buffer[i + 2]) << 8)
| (((uint)buffer[i + 3]) << 0));
}
} while (true);
}
}
}
private static int FillBuffer(Stream stream, byte[] buffer)
{
int read = 0;
int totalRead = 0;
do
{
read = stream.Read(buffer, totalRead, buffer.Length - totalRead);
totalRead += read;
} while (read > 0 && totalRead < buffer.Length);
return totalRead;
}
现在它需要不到90毫秒 (比原始速度快8倍!)。 没有Span
! Span
在Span
情况下很有用,它允许执行切片并避免数组复制,但只是盲目地使用它不会提高性能。 毕竟, Span
性能特征与Array
相当 ,但并不是更好(并且只在具有特殊支持的运行时,例如.NET Core 2.1
)。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.