使用 Newton Soft 从大约 5GB 的文件中反序列化非常大的复杂 JSON 数据

Question

我得到一个大小约为 5 到 8 GB 的巨大 json 数据文件，其中包含以下数据，其中包括公司信息和员工详细信息数组。 在 1 个文件中，只有 1 个公司信息，文件大小范围为 5GB - 8GB

我正在尝试将其反序列化为 c# object。 我无法将整个数据添加到字符串中，因为它会引发 memory 异常。

我正在使用 NewtonSoft Json

样本数据

{
"Companyname": "ABC Company",
"email": "info@abc.com",
"location": "NYC",
"department": [
    {
        "deptid": "15345",
        "deptname":"dept1",
        "projects": ["25A","26B","26C"],

        "employees":
          [
            {
             "empid": "1",
             "name":"john",
             "groupnumber":[234234,34243,343242,2342342]
            },
            {
             "empid": "2",
             "name":"Joseph",
             "groupnumber":[13245646,78945651,45641546,78978979]
            }
          ]
    },
    {
        "deptid": "5654",
        "deptname":"dept2",
        "projects": ["125A","226B","26CD"],

        "employees":
          [
            {
             "empid": "11",
             "name":"Jill",
             "groupnumber":[13224231,123133333,8765433,213132333]
            },
            {
             "empid": "122",
             "name":"Don",
             "groupnumber":[12344,123123234]
            }
          ]
    }   
]}

Class

public class CompanyDetails
{
    public string companyName{ get; set; }
    public string email { get; set; }
    public string location { get; set; }
    public List<Department> department { get; set; }
}

public class Department
{
    public string deptname { get; set; }
    public int deptid{ get; set; }
    public List<Project> projects{ get; set; }
    public List<Employee> employees{ get; set; }
}

public class Project
{
    public string projectReference { get; set; }
}

public class Department
{
    public int empid { get; set; }
    public string name { get; set; }
    public List<GroupNumber> groupnumber { get; set; }
}

public class GroupNumber
{
public long grpnumber { get; set; }
}

下面是我的 c 清晰代码。 它没有抛出任何错误。 但是公司数据 object 是空的

 using (StreamReader reader = new StreamReader(file.FullName))
           {
              var serializer = new JsonSerializer();
              CompanyDetails companyData = (CompanyDetails)serializer.Deserialize(reader, typeof(CompanyDetails));
           }

任何帮助深表感谢。

Answer 1

你必须修复课程。 例如

 public List<Project> projects{ get; set; }

应该

public List<string> projects { get; set; }

我一直在使用这些类，一切正常

public class CompanyDetails
{
    public string Companyname { get; set; }
    public string email { get; set; }
    public string location { get; set; }
    public List<Department> department { get; set; }
}

public class Department
{
    public string deptid { get; set; }
    public string deptname { get; set; }
    public List<string> projects { get; set; }
    public List<Employee> employees { get; set; }
}

public class Employee
{
    public string empid { get; set; }
    public string name { get; set; }
    public List<int> groupnumber { get; set; }
}

Answer 2

1. C# 模型中的属性名称需要与 JSON 中的键完全匹配才能正确反序列化。

2. 您需要在 using 语句中稍微更改代码，以将文件文本正确反序列化为 C# model。 请参阅以下评论中@dbc 共享的此链接https://www.newtonsoft.com/json/help/html/Performance.htm#MemoryUsage 。

3. 除此之外，你做得很好。

编辑解释

为了避免再次陷入困境，我彻底检查了这个答案。 显然，对于 memory 的使用效率和直接适用的解决方案，有一些热情的感受。 原谅之前提供的不回答和误导性的方向。