[英]Protobuf-net asking for TypeModel.CS when used with Generics for deserialization
我有数十亿个对象试图在序列化为HDD的B + Tree中构造它们。 我将BPlusTree库用于数据结构,并将protobuf-net用于序列化/反序列化。 在这方面,我将类定义为:
[ProtoContract]
public class B<C, M>
where C : IComparable<C>
where M : IData<C>
{
internal B()
{
lambda = new List<Lambda<C, M>>();
omega = 0;
}
internal B(C coordinate)
{
lambda = new List<Lambda<C, M>>();
e = coordinate;
omega = 0;
}
[ProtoMember(1)]
internal C e { set; get; }
[ProtoMember(2)]
internal List<Lambda<C, M>> lambda { private set; get; }
[ProtoMember(3)]
internal int omega { set; get; }
}
[ProtoContract]
public class Lambda<C, M>
where C : IComparable<C>
where M : IData<C>
{
internal Lambda() { }
internal Lambda(char tau, M atI)
{
this.tau = tau;
this.atI = atI;
}
[ProtoMember(1)]
internal char tau { private set; get; }
[ProtoMember(2)]
internal M atI { private set; get; }
}
并且我定义我的序列化器/反序列化器如下:
public class BSerializer<C, M> : ISerializer<B<C, M>>
where C : IComparable<C>
where M : IData<C>
{
public B<C, M> ReadFrom(System.IO.Stream stream)
{
return Serializer.Deserialize<B<C, M>>(stream);
}
public void WriteTo(B<C, M> value, System.IO.Stream stream)
{
Serializer.Serialize<B<C, M>>(stream, value);
}
}
然后,我将它们全部用于B + Tree( 此库 )数据结构中,该数据结构定义为:
var options = new BPlusTree<C, B<C, M>>.OptionsV2(CSerializer, BSerializer);
var myTree = new BPlusTree<C, B<C, M>>(options);
B + Tree被定义为键值对的字典。 我的key
(即C
)是一个整数,而序列化器是BPlusTree
库的默认序列化BPlusTree
。 我的Value
是使用protobuf-net
序列化的自定义对象B<C,M>
。
我的问题肯定发生了,但是几乎是随机的。 总是搜索Keys
,它突然开始反序列化Value
并且在第一次调用B<C, M> ReadFrom(System.IO.Stream stream)
它会请求TypeModel.CS
和ProtoReader.CS
文件。 我从NuGet
获得两个软件包。
检查代码,看起来调用代码假设序列化知道它们自己的长度。 从来源:
foreach (T i in items)
_serializer.WriteTo(i, io);
Protobuf消息不是自动终止的-google protobuf规范定义了append === merge。 因此,您需要给消息加上前缀。 幸运的是,您应该能够只切换到SerializeWithLengthPrefix
和DeserializeWithLengthPrefix
。 如果那不起作用,则值得整理一个完全可复制的示例,以便对其进行调查。
作为解决此问题的另一种方法,您还可以汇总内置Serailizer的行为:
class BSerializer<C, M> : ISerializer<B<C, M>>
where C : IComparable<C>
where M : IData<C>
{
public B<C, M> ReadFrom(System.IO.Stream stream)
{
byte[] value = CSharpTest.Net.Serialization.PrimitiveSerializer.Bytes.ReadFrom(stream);
return Serializer.Deserialize<B<C, M>>(new MemoryStream(value));
}
public void WriteTo(B<C, M> value, System.IO.Stream stream)
{
using (var memory = new MemoryStream())
{
Serializer.Serialize<B<C, M>>(memory, value);
CSharpTest.Net.Serialization.PrimitiveSerializer.Bytes.WriteTo(memory.ToArray(), stream);
}
}
}
注意:由于不必要的数据副本,此方法可能会导致性能问题。 但是,它可以帮助解决问题。
另一种可能性是简单地将树定义为BPlusTree<TKey, byte[]>
并提供PrimitiveSerializer.Bytes
作为值序列化器。 这将对象序列化的负担放在了调用方上,这可能是一件好事。 这样做有好处的原因有两个:
有关其他常见的序列化问题和一些示例,请阅读以下文章:
http://csharptest.net/1230/bplustree-and-custom-iserializer-implementations/
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.