使用Google云端硬盘API将文件上传到Google云端硬盘时，出现OutOfMemoryException

Question

这是一个网络应用程序。我想使用GoogleDrive API将大文件上传到Google Drive。 我的代码可以在较小的文件上正常工作。 但是，当涉及到较大的文件时，会发生错误。

我进行了很多搜索，但是找不到工作的解决方案以及某些没有答案的解决方案。

在将文件转换为byte []的代码部分中发生错误。

byte[] fileData = System.IO.File.ReadAllBytes(dir);

对于web.config，我曾尝试更改请求长度，但不适用于大文件。

<httpRuntime targetFramework="4.5" executionTimeout="520000" maxRequestLength="920000"  />

有人对此有解决方案吗？ 提前致谢！

下面是完整的代码。

---

using System;
using System.Diagnostics;
using DotNetOpenAuth.OAuth2;
using Google.Apis.Authentication.OAuth2;
using Google.Apis.Authentication.OAuth2.DotNetOpenAuth;
using Google.Apis.Drive.v2;
using Google.Apis.Drive.v2.Data;
using Google.Apis.Util;
using ASPSnippets.GoogleAPI;
using System.Web.Script.Serialization;
using System.Web;
using System.Collections.Generic;
using System.Net.Http;
using System.Net;
using System.IO;
using System.Reflection;

namespace GoogleDriveAutoUpdate
{
    public partial class GoogleDriveSample : System.Web.UI.Page
    {
        static int flagUpdateFile;
        protected string[] dirs = Directory.GetFiles(@"C:\Users\RNKP74\Desktop\GoogleDrive");


        protected void Page_Load(object sender, EventArgs e)
        {
            GoogleConnect.ClientId = "";
            GoogleConnect.ClientSecret = "";
            GoogleConnect.RedirectUri = Request.Url.AbsoluteUri.Split('?')[0];
            GoogleConnect.API = EnumAPI.Drive;

            if (string.IsNullOrEmpty(Request.QueryString["code"]))
                GoogleConnect.Authorize("https://www.googleapis.com/auth/drive.file");

            if (flagUpdateFile == 0)
                UploadFile();
        }

        protected HttpPostedFile ConstructHttpPostedFile(byte[] data, string filename, string contentType = null)
        {
            // Get the System.Web assembly reference
            Assembly systemWebAssembly = typeof(HttpPostedFileBase).Assembly;
            // Get the types of the two internal types we need
            Type typeHttpRawUploadedContent = systemWebAssembly.GetType("System.Web.HttpRawUploadedContent");
            Type typeHttpInputStream = systemWebAssembly.GetType("System.Web.HttpInputStream");

            // Prepare the signatures of the constructors we want.
            Type[] uploadedParams = { typeof(int), typeof(int) };
            Type[] streamParams = { typeHttpRawUploadedContent, typeof(int), typeof(int) };
            Type[] parameters = { typeof(string), typeof(string), typeHttpInputStream };

            // Create an HttpRawUploadedContent instance
            object uploadedContent = typeHttpRawUploadedContent
                .GetConstructor(BindingFlags.NonPublic | BindingFlags.Instance, null, uploadedParams, null)
                .Invoke(new object[] { data.Length, data.Length });

            // Call the AddBytes method
            typeHttpRawUploadedContent
                .GetMethod("AddBytes", BindingFlags.NonPublic | BindingFlags.Instance)
                .Invoke(uploadedContent, new object[] { data, 0, data.Length });

            // This is necessary if you will be using the returned content (ie to Save)
            typeHttpRawUploadedContent
                .GetMethod("DoneAddingBytes", BindingFlags.NonPublic | BindingFlags.Instance)
                .Invoke(uploadedContent, null);

            // Create an HttpInputStream instance
            object stream = (Stream)typeHttpInputStream
                .GetConstructor(BindingFlags.NonPublic | BindingFlags.Instance, null, streamParams, null)
                .Invoke(new object[] { uploadedContent, 0, data.Length });

            // Create an HttpPostedFile instance
            HttpPostedFile postedFile = (HttpPostedFile)typeof(HttpPostedFile)
                .GetConstructor(BindingFlags.NonPublic | BindingFlags.Instance, null, parameters, null)
                .Invoke(new object[] { filename, contentType, stream });

            return postedFile;
        }

        protected void UploadFile()
        {
            int successCount = 0;
            HttpFileCollection MyFileCollection = Request.Files;
            Response.Write("Total number file = " + dirs.Length + "<br/>");

            foreach (string dir in dirs)
            {

                byte[] fileData = System.IO.File.ReadAllBytes(dir);
                string fileName = Path.GetFileName(dir);
                flagUpdateFile = 1;
                //Content Type is null
                Session["File"] = ConstructHttpPostedFile(fileData, fileName);

                //Token return from Google API
                if (!string.IsNullOrEmpty(Request.QueryString["code"]) && flagUpdateFile == 1)
                {
                    string code = Request.QueryString["code"];
                    string json = GoogleConnect.PostFile(code, (HttpPostedFile)Session["File"], "");
                    flagUpdateFile = 0;
                    System.IO.File.Delete(dir);
                    successCount++;
                }

                if (Request.QueryString["error"] == "access_denied")
                {
                    ClientScript.RegisterClientScriptBlock(this.GetType(), "alert", "alert('Access denied.')", true);
                    Console.Write("Access denied,check your Authorized redirect URIs!");
                }

                HttpContext.Current.Session.Remove("File");
                HttpContext.Current.Session.Abandon();

            }
            Response.Write("Total file uploaded = " + successCount);
            successCount = 0;
            Response.Write("<span id='Label1' style='color:red'><br/>Sucess if the number is identical</span>");

        }


    }
}

Answer 1

我承认我不知道GoogleDrive API，但是您的代码似乎异常复杂。 为什么要进行反射，为什么要对每个文件进行反射？ 当您从一开始就使用FileStream时，为什么不将整个文件复制到内存中，为什么将整个文件加载到字节数组中只是为了将其放入MemoryStream呢？

我想说您需要简化代码。 所有的反思？ 编写代码的实际两行要写入。 然后使用文件流作为InputStream 。

您似乎想将所有文件放入单个请求中。 API似乎希望您在一个请求中放入单个文件。 也许你应该那样做。

Answer 2

根据MSDN，您可以在web.config上将其设置为：

<configuration>
  <runtime>
    <gcAllowVeryLargeObjects enabled="true" />
  </runtime>
</configuration>

但它说：

true: Arrays greater than 2 GB in total size are enabled on 64-bit platforms.

因此它不能在32位上运行，这意味着您还需要在64位上运行池。

参考： http : //msdn.microsoft.com/en-us/library/hh285054.aspx