使連接保持活動狀態以從.csv文件讀取批量數據

Question

我有一個具有200萬條記錄的.csv文件，我的目標是將其寫入hbase數據庫。

編碼：

try { using (FileStream reader = File.OpenRead(@"C:\Data.csv")) 
            using (TextFieldParser parser = new TextFieldParser(reader))
            {
                parser.TrimWhiteSpace = true; // if you want
                parser.Delimiters = new[] { " " };
                parser.HasFieldsEnclosedInQuotes = true;

                while (!parser.EndOfData)
                {
                    //Process the data
                       hbaseClient.StoreCells(hbaseTableName, set);
                 }
             } } catch(Exception e) {

}

上傳多達80萬條記錄的數據后，出現超時異常。 有什么我可以避免超時的方法嗎？

Answer 1

每次執行此操作時都會發生這種情況嗎？ 嘗試2-3次，看看是否重復。 它是在添加某些記錄之后發生的事實，這意味着發生了除數據問題以外的事情。 超時異常表示服務器可能已關閉或由於網絡問題。 請嘗試多次重復相同的操作，如果錯誤仍然存​​在，則應該是另一個原因。 另外，請添加整個異常堆棧跟蹤，以更好地理解