用protobuf替换binaryformatter

Question

我需要替换一个将数据存储在文件中的库（序列化/反序列化），该库当前使用BinaryFormatter来实现，但是对于大型列表而言它的速度很慢。 关于stackoverflow的许多帖子都表明protobuf确实很出色，所以我正在尝试使用它。

为了在不重写大量代码的情况下进行替换，我的要求是：

• 必须序列化通用数据，因为我必须与Store<T>(T data)交互（大多数情况下，T用DataContract和/或Serializable属性标记）
• 我不能修改所有不同的objets类来添加protobuf属性，因此我需要一个不使用这些属性的通用方法
• 我不需要向后兼容：如果T对象模式更改（即new属性），则所有生成的文件都已过时，将被删除/重新创建

我的第一个天真的实现是这样的：

public bool Store<T>(string key, T data)
{
    var formatter = Serializer.CreateFormatter<T>();
    using (var fileStream = new FileStream(this.GetFilePath(key), FileMode.Create))
    {
        formatter.Serialize(fileStream, data);
        return true;
    }
}

但是后来我得到了这个例外：

类型不是预期的，并且不能推断出任何合同：My.Application.Namespace.ShortcutData

目前，我有点卡住了，找不到关于如何使用protobuf-net的好教程。

使用protobuf是否有可能达到这些要求？ 您有关于如何执行此操作的良好教程吗？

编辑：

问题确实是我需要告诉protobuf如何对数据进行反序列化。 这是我现在所拥有的：

public bool Store<T>(string key, T data)
{
    this.Register<T>();
    var formatter = Serializer.CreateFormatter<T>();
    using (var fileStream = new FileStream(this.GetFilePath(key), FileMode.Create))
    {
        formatter.Serialize(fileStream, data);
        fileStream.Close();
        return true;
    }
}

主要代码在Register方法中：

protected void Register(Type type)
{
    if (type.IsGenericType)
    {
        var arguments = type.GetGenericArguments();
        foreach (var argument in arguments)
            this.Register(argument);
    }

    if (!this._registeredTypes.Contains(type) && !type.IsValueType)
    {
        this._registeredTypes.Add(type);
        var properties = type.GetProperties();
        foreach (var property in properties)
        {
            this.Register(property.PropertyType);
        }

        try
        {
            ProtoBuf.Meta.RuntimeTypeModel.Default
                .Add(type, false)
                .Add(properties
                    .Where( p => p.CanWrite)
                    .OrderBy(x => x.Name)
                    .Select(x => x.Name)
                    .ToArray());
        }
        catch
        {
            // I've a problem here: I sometime have an error for an already registered type (??)
        }
    }
}

我知道这不是一个干净的代码，但这只是对现有代码的替换，第二步是紧跟protobuf的完整重写。

Answer 1

我才刚刚开始玩Protobuf-net ..所以请不要以为我的答案绝对是做事的“正确”方法。 毫无疑问，Marc Gravell一定会在某些时候为您提供答案，您一定要注意。

..但是，我前几天写的概念证明要求我获得大量的类，这些类必须快速序列化。 为此，我想到了这一点：

var assembly = Assembly.Load("Assembly.Name.Here");

foreach (var type in assembly.GetTypes().Where(x => typeof (IInterfaceEachClassImplements).IsAssignableFrom(x))) {
    RuntimeTypeModel
        .Default
        .Add(type, false)
        .Add(type.GetProperties()
            .Select(x => x.Name)
            .ToArray());
}

基本上，它将基于它们都实现的接口将每个类加载到protobuf-net类型模型中。

希望这可以为您指明正确的方向。

Answer 2

什么是ShortcutData ？ protobuf格式不包含任何类型的元数据，因此引擎有必要具备一些有关如何映射数据的知识。 这可以通过多种方式完成，包括通过各种属性。 也可以在运行时通过涉及RuntimeTypeModel代码来指定映射。 例如，如果我们的ShortcutData看起来像：

public class ShortcutData {
    public int Key {get;set;}
    public string Link {get;set;}
}

然后我们可以简单地做：

[ProtoContract]
public class ShortcutData {
    [ProtoMember(1)]
    public int Key {get;set;}
    [ProtoMember(2)]
    public string Link {get;set;}
}

其中1和2将成为protobuf字段标识符。 要序列化，您不需要使用格式化程序API。 只是：

public bool Store<T>(string key, T data)
{
    using (var fileStream = File.Create(GetFilePath(key)))
    {
        Serializer.Serialize<T>(fileStream, data);
        return true;
    }
}