Protobuf-net與泛型一起使用時要求TypeModel.CS反序列化

Question

我有數十億個對象試圖在序列化為HDD的B + Tree中構造它們。 我將BPlusTree庫用於數據結構，並將protobuf-net用於序列化/反序列化。 在這方面，我將類定義為：

    [ProtoContract]
    public class B<C, M>
        where C : IComparable<C>
        where M : IData<C>
    {
        internal B()
        {
            lambda = new List<Lambda<C, M>>();
            omega = 0;
        }

        internal B(C coordinate)
        {
            lambda = new List<Lambda<C, M>>();
            e = coordinate;
            omega = 0;
        }

        [ProtoMember(1)]
        internal C e { set; get; }

        [ProtoMember(2)]
        internal List<Lambda<C, M>> lambda { private set; get; }

        [ProtoMember(3)]
        internal int omega { set; get; }
    }


[ProtoContract]
public class Lambda<C, M>
    where C : IComparable<C>
    where M : IData<C>
{
    internal Lambda() { }

    internal Lambda(char tau, M atI)
    {
        this.tau = tau;
        this.atI = atI;
    }

    [ProtoMember(1)]
    internal char tau { private set; get; }

    [ProtoMember(2)]
    internal M atI { private set; get; }
}

並且我定義我的序列化器/反序列化器如下：

public class BSerializer<C, M> : ISerializer<B<C, M>>
        where C : IComparable<C>
        where M : IData<C>
    {
        public B<C, M> ReadFrom(System.IO.Stream stream)
        {
            return Serializer.Deserialize<B<C, M>>(stream);
        }

        public void WriteTo(B<C, M> value, System.IO.Stream stream)
        {
            Serializer.Serialize<B<C, M>>(stream, value);
        }
    }

然后，我將它們全部用於B + Tree（ 此庫 ）數據結構中，該數據結構定義為：

var options = new BPlusTree<C, B<C, M>>.OptionsV2(CSerializer, BSerializer);
var myTree = new BPlusTree<C, B<C, M>>(options);

B + Tree被定義為鍵值對的字典。 我的key （即C ）是一個整數，而序列化器是BPlusTree庫的默認序列化BPlusTree 。 我的Value是使用protobuf-net序列化的自定義對象B<C,M> 。

我的問題肯定發生了，但是幾乎是隨機的。 總是搜索Keys ，它突然開始反序列化Value並且在第一次調用B<C, M> ReadFrom(System.IO.Stream stream)它會請求TypeModel.CS和ProtoReader.CS文件。 我從NuGet獲得兩個軟件包。

Answer 1

檢查代碼，看起來調用代碼假設序列化知道它們自己的長度。 從來源：

foreach (T i in items)
    _serializer.WriteTo(i, io);

Protobuf消息不是自動終止的-google protobuf規范定義了append === merge。 因此，您需要給消息加上前綴。 幸運的是，您應該能夠只切換到SerializeWithLengthPrefix和DeserializeWithLengthPrefix 。 如果那不起作用，則值得整理一個完全可復制的示例，以便對其進行調查。

Answer 2

作為解決此問題的另一種方法，您還可以匯總內置Serailizer的行為：

    class BSerializer<C, M> : ISerializer<B<C, M>>
        where C : IComparable<C>
        where M : IData<C>
    {
        public B<C, M> ReadFrom(System.IO.Stream stream)
        {
            byte[] value = CSharpTest.Net.Serialization.PrimitiveSerializer.Bytes.ReadFrom(stream);
            return Serializer.Deserialize<B<C, M>>(new MemoryStream(value));
        }

        public void WriteTo(B<C, M> value, System.IO.Stream stream)
        {
            using (var memory = new MemoryStream())
            {
                Serializer.Serialize<B<C, M>>(memory, value);
                CSharpTest.Net.Serialization.PrimitiveSerializer.Bytes.WriteTo(memory.ToArray(), stream);
            }
        }
    }

注意：由於不必要的數據副本，此方法可能會導致性能問題。 但是，它可以幫助解決問題。

另一種可能性是簡單地將樹定義為BPlusTree<TKey, byte[]>並提供PrimitiveSerializer.Bytes作為值序列化器。 這將對象序列化的負擔放在了調用方上，這可能是一件好事。 這樣做有好處的原因有兩個：

1. 您的對象模型不再需要是不變的。
2. 如果對象的反序列化很昂貴，則在隨機訪問用途中可能會表現更好。

有關其他常見的序列化問題和一些示例，請閱讀以下文章：

http://csharptest.net/1230/bplustree-and-custom-iserializer-implementations/