如何在Web服务调用中处理大量数据？

Question

我在c＃中调用了drupal RESET webservice调用，此webservice返回大量数据（超过30 mb）。我将此数据视为XML格式，但未处理那么多数据。 如果我将查询限制为有限的行数，则我的代码可以正常工作。 我只想知道如何处理通过C＃中的Web服务调用接收到的大量数据。

Answer 1

这个问题太广泛了。 我的意思是有很多可能的地方可以解决此问题。 您要解决的部分是什么？

通常，您可以执行以下操作：

1. 您在http层上压缩压缩。 这会降低解决方案的吞吐量。
2. 您可以选择其他序列化，例如json或protobuf，kryo
3. 您可以提供分页。 您可能已经做到了。 该解决方案为所有可能的查询提供合理的页面大小。
4. 您可以提供传入数据的流处理。 我认为REST并非旨在提供大型xml输出（数十mbs），但您可以在客户端上以流方式处理数据。 这样可以减少解决方案的内存需求。